작성자: 윤상웅

FB: https://www.facebook.com/sangwoong.yoon.24/

FB Page (웅쌍ML): https://www.facebook.com/woongssangML

github: https://swyoon.github.io/

twitter: https://twitter.com/WoongSSang

Pytorch모델을 Keras로 변환한 뒤 Tensorflow.js로 변환하는 삽질 과정의 기록.

브라우저에서 Pytorch 모델을 실행시키기 위하여, TensorFlow.js 모델로 변환하는 과정을 다룬다. 이를 위해서는 모델을 아래와 같이 여러 단계를 거쳐서 변환을 해야만 한다.

Pytorch → ONNX → Keras → TensorFlow.js

이렇게만 봐도 벌써 쉽지는 않을 거라는 느낌이 팍 들죠? 실제로 그랬다^^ 마체테 한 자루를 쥐고 열대우림을 헤쳐나가는 느낌으로 문제들을 해결하며 전진해보자.

Pytorch → Keras

• Pytorch → ONNX → Keras 의 변환은 pytorch2keras (https://github.com/gmalivenko/pytorch2keras) 라는 라이브러리를 이용한다. 개인이 만든 거 같은데 이거 유지보수가 아주 잘 되지는 않는 것 같다.
• Pytorch2Keras는 내부적으로 먼저 모델을 ONNX로 변환한 뒤 Keras로 변환한다.

Pytorch → ONNX

• 내부적으로 torch.onnx.export() 함수를 사용한다.
• nn.UpSample 이나 nn.interpolate 와 같은 연산을 지원하기 위해서는 torch.onnx.export() 에 opset_version=11 이라는 인자를 추가해주어야 한다. Operation set의 버젼이라는 뜻이다.
• 라이브러리의 코드를 임의로 수정하기 위해서는 여러 가지 방법이 있긴 하지만, editable 모드로 설치하는 것이 제일 편함. repo를 clone한 뒤 repo의 루트에서 pip install -e . 로 설치

ONNX → Keras

• Pytorch2Keras에서 내부적으로 onnx2keras (https://github.com/gmalivenko/onnx2keras) 라이브러리를 사용한다. 같은 사람이 만들었다. onnx 연산들을 한땀한땀 keras 연산으로 바꿔주는 연산이다.