hugginface & pytorch 함께 어떻게 쓸까

결론. pytorch의 DataLoader을 활용하고, huggingface의 pretrained 모델을 pytorch 모델에 전달하여 활용하자.

 

pytorch 모델을 huggingface의 trainer에 적용해보려고 했는데, 잘 되지 않았다.

하려면 시간이 더 필요한데, 한다고 해서 그렇게 파급력이 있을 것 같진 않다.

 

지금 보기에 최선은

huggingface의 모델을 들고오고, 훈련과 inference는 pytorch로 활용하는 것이다.

tokenizer을 바로 모델에 넣을 수 있게끔 해보려 했는데, 잘 안됐다.

 

모델을 활용함에 있어 먼저 해야하는 것은 입출력을 파악하는 것이다.

모델을 모르는 상태에서 huggingface의 ~~ForSequenceClassification 등의 편의 API를 활용하는건

해당 모델의 blackbox를 더 강하게 느끼게 한다.