감정 분석 AI (kobert / onnxruntime 이슈)

목표

SKT의 kobert 모델을 사용해서 사용자의 감정을 7가지로 분류한다

감정 레이블 : 기쁨, 슬픔, 분노, 역겨움, 공포, 놀람, 중립

 

kobert?

GitHub - SKTBrain/KoBERT: Korean BERT pre-trained cased (KoBERT)

 

데이터 셋

모두 Aihub 공개 데이터

1. 단발성 대화 데이터 셋
2. 연속성 대화 데이터 셋 (데이터 정제 필요)
3. 단발성과 연속성 대화 데이터셋 (데이터 통합 및 정제 필요)

위의 3가지의 데이터 셋으로 학습시켜 가장 좋은 성능의 모델을 사용하려 한다

 

파라미터

max_len = 64
batch_size = 64
warmup_ratio = 0.1
num_epochs = 5
max_grad_norm = 1
log_interval = 200
learning_rate =  5e-5

 

선택지 1) 단발성 대화 데이터 셋

하고 싶은 말을 입력해주세요 : 오늘 너무 지친다 >> 입력하신 내용에서 슬픔이 느껴집니다.
하고 싶은 말을 입력해주세요 : 날씨가 너무 좋아 >> 입력하신 내용에서 행복이 느껴집니다.
하고 싶은 말을 입력해주세요 : 학교에 가고 싶어 >> 입력하신 내용에서 슬픔이 느껴집니다.
하고 싶은 말을 입력해주세요 : 얼른 내일이 왔으면 좋겠다 >> 입력하신 내용에서 중립이 느껴집니다.
하고 싶은 말을 입력해주세요 : 내일 또 출근이야,, >> 입력하신 내용에서 놀람이 느껴집니다.
하고 싶은 말을 입력해주세요 : 내일 학교에 가고 싶어 >> 입력하신 내용에서 슬픔이 느껴집니다.
하고 싶은 말을 입력해주세요 : 내일 학교에 가고 싶어!! >> 입력하신 내용에서 행복이 느껴집니다.
하고 싶은 말을 입력해주세요 : 얼른 학교 가고 싶다 ㅎㅎ >> 입력하신 내용에서 중립이 느껴집니다.
하고 싶은 말을 입력해주세요 : 얼른 내일이 왔으면 좋겠다~ >> 입력하신 내용에서 중립이 느껴집니다.
하고 싶은 말을 입력해주세요 : 얼른 내일이 왔으면 좋겠다! >> 입력하신 내용에서 중립이 느껴집니다.
하고 싶은 말을 입력해주세요 : 얼른 내일이 왔으면 좋겠다!! >> 입력하신 내용에서 분노가 느껴집니다.
하고 싶은 말을 입력해주세요 : 얼른 내일이 왔으면 좋겠다!! ㅎㅎ >> 입력하신 내용에서 행복이 느껴집니다.
하고 싶은 말을 입력해주세요 : 죽고 싶어 >> 입력하신 내용에서 슬픔이 느껴집니다.
하고 싶은 말을 입력해주세요 : 걔 정말 짜증 나 >> 입력하신 내용에서 혐오가 느껴집니다.
하고 싶은 말을 입력해주세요 : 강아지 보고 싶어 ㅠㅠ >> 입력하신 내용에서 슬픔이 느껴집니다.
하고 싶은 말을 입력해주세요 : 아싸 내일 제육볶음 나온다 >> 입력하신 내용에서 중립이 느껴집니다.
하고 싶은 말을 입력해주세요 : 아이언맨 개꿀잼 >> 입력하신 내용에서 행복이 느껴집니다.

 

선택지 2) 연속성 대화 데이터 셋

하고 싶은 말을 입력해주세요 : 무료하다 >> 입력하신 내용에서 행복이 느껴집니다.
하고 싶은 말을 입력해주세요 : 내일도 일하러 가야 해,, >> 입력하신 내용에서 공포가 느껴집니다.
하고 싶은 말을 입력해주세요 : 벌써 거기까지 갔어? >> 입력하신 내용에서 놀람이 느껴집니다.
하고 싶은 말을 입력해주세요 : 내일 맛있는 밥 먹어야지~ >> 입력하신 내용에서 중립이 느껴집니다.
하고 싶은 말을 입력해주세요 : 수제비가 맛있다 >> 입력하신 내용에서 행복이 느껴집니다.
하고 싶은 말을 입력해주세요 : 아 주식 공부해야지 >> 입력하신 내용에서 중립이 느껴집니다.
하고 싶은 말을 입력해주세요 : 오늘 너무 지친다 >> 입력하신 내용에서 슬픔이 느껴집니다.
하고 싶은 말을 입력해주세요 : 날씨가 너무 좋아 >> 입력하신 내용에서 행복이 느껴집니다.
하고 싶은 말을 입력해주세요 : 학교에 가고 싶어 >> 입력하신 내용에서 슬픔이 느껴집니다.
하고 싶은 말을 입력해주세요 : 얼른 내일이 왔으면 좋겠다 >> 입력하신 내용에서 중립이 느껴집니다.
하고 싶은 말을 입력해주세요 : 내일 또 출근이야,, >> 입력하신 내용에서 슬픔이 느껴집니다.
하고 싶은 말을 입력해주세요 : 얼른 학교에 가고 싶어 >> 입력하신 내용에서 중립이 느껴집니다.
하고 싶은 말을 입력해주세요 : 내일 학교에 가고 싶어!! >> 입력하신 내용에서 행복이 느껴집니다.
하고 싶은 말을 입력해주세요 : 얼른 내일이 왔으면 좋겠다! >> 입력하신 내용에서 분노가 느껴집니다.
하고 싶은 말을 입력해주세요 : 얼른 내일이 왔으면 좋겠다!! >> 입력하신 내용에서 분노가 느껴집니다.
하고 싶은 말을 입력해주세요 : 얼른 내일이 왔으면 좋겠다!! ㅎㅎ >> 입력하신 내용에서 중립이 느껴집니다.
하고 싶은 말을 입력해주세요 : 죽고 싶어 >> 입력하신 내용에서 슬픔이 느껴집니다.
하고 싶은 말을 입력해주세요 : 걔 정말 짜증 나 >> 입력하신 내용에서 슬픔이 느껴집니다.
하고 싶은 말을 입력해주세요 : 강아지 보고 싶어 ㅠㅠ >> 입력하신 내용에서 슬픔이 느껴집니다.
하고 싶은 말을 입력해주세요 : 아싸 내일 제육볶음 나온다 >> 입력하신 내용에서 중립이 느껴집니다.
하고 싶은 말을 입력해주세요 : 아이언맨 개꿀잼 >> 입력하신 내용에서 행복이 느껴집니다.

 

선택지 3) 단발성과 연속성 대화 데이터 셋 (best)

하고 싶은 말을 입력해주세요 : 무료하다 >> 입력하신 내용에서 행복이 느껴집니다.
하고 싶은 말을 입력해주세요 : 내일도 일하러 가야 해,, >> 입력하신 내용에서 슬픔이 느껴집니다.
하고 싶은 말을 입력해주세요 : 벌써 거기까지 갔어? >> 입력하신 내용에서 놀람이 느껴집니다.
하고 싶은 말을 입력해주세요 : 내일 맛있는 밥 먹어야지~ >> 입력하신 내용에서 중립이 느껴집니다.
하고 싶은 말을 입력해주세요 : 수제비가 맛있다 >> 입력하신 내용에서 행복이 느껴집니다.
하고 싶은 말을 입력해주세요 : 아 주식 공부해야지 >> 입력하신 내용에서 중립이 느껴집니다.
하고 싶은 말을 입력해주세요 : 오늘 너무 지친다 >> 입력하신 내용에서 슬픔이 느껴집니다.
하고 싶은 말을 입력해주세요 : 날씨가 너무 좋아 >> 입력하신 내용에서 행복이 느껴집니다.
하고 싶은 말을 입력해주세요 : 학교에 가고 싶어 >> 입력하신 내용에서 슬픔이 느껴집니다.
하고 싶은 말을 입력해주세요 : 내일 학교에 가고 싶어!! >> 입력하신 내용에서 중립이 느껴집니다.
하고 싶은 말을 입력해주세요 : 얼른 내일이 왔으면 좋겠다!! >> 입력하신 내용에서 행복이 느껴집니다.
하고 싶은 말을 입력해주세요 : 얼른 내일이 왔으면 좋겠다! >> 입력하신 내용에서 행복이 느껴집니다.
하고 싶은 말을 입력해주세요 : 얼른 내일이 왔으면 좋겠다!! ㅎㅎ >> 입력하신 내용에서 행복이 느껴집니다.
하고 싶은 말을 입력해주세요 : 죽고 싶어 >> 입력하신 내용에서 분노가 느껴집니다.
하고 싶은 말을 입력해주세요 : 걔 정말 짜증 나 >> 입력하신 내용에서 혐오가 느껴집니다.
하고 싶은 말을 입력해주세요 : 강아지 보고 싶어 ㅠㅠ >> 입력하신 내용에서 슬픔이 느껴집니다.
하고 싶은 말을 입력해주세요 : 아싸 내일 제육볶음 나온다 >> 입력하신 내용에서 중립이 느껴집니다.
하고 싶은 말을 입력해주세요 : 아이언맨 개꿀잼 >> 입력하신 내용에서 행복이 느껴집니다.

 

비교해봤을 때 데이터셋의 크기가 가장 큰 단발성과 연속성 대화 데이터 셋으로 학습시켰을 때

가장 일상대화에서 좋은 감정 분석 성능을 보였다

 

* 데이터 셋 정제가 잘 되어있지 않으면 토큰화에서 오류가 나므로 유의한다 *

 

개발하며 겪은 이슈

1. onnxruntime 이슈

(이 오류를 겪고 계시다면 결론부터 보세요)

onnxruntime 설치가 안돼서 kobert 모델을 가져오지 못하는 이슈 발생

onnxruntime 0.3.0버전은 pip install onnxruntime==0.3.0으로 안 깔려요

또 공식 홈페이지에서도 방법이 없습니다...

방법은 이거 하나뿐이니까 그대로 따라 하기 (6시간 만에 성공했어요) 🥲

 

위에 링크에서 본인 스펙에 맞는 파일 다운

• OS
• python 버전 확인 (cp3.7 ⇒ 파이썬 3.7.x)

최신 파이썬 버전은 3.10이기 때문에 가상 환경 삭제

(그냥 폴더 자체를 휴지통으로 ㄱ ㄱ)

파이썬 홈페이지에서 다시 깔기

Welcome to Python.org

Welcome to Python.org

파이썬 버전 3부터 지원하는 venv로 가상 환경을 설치합니다

python3 -m venv venv
#프로젝트 폴더에서 위의 명령어 치면 venv 라는 폴더명으로 가상환경 설치됩니다

그리고 위에서 다운로드한

onnxruntime-0.3.0-cp37-cp37m-macosx_10_7_x86_64.whl

요런 파일 프로젝트 파일 안에 넣고 install 하면 성공!

 

로컬에서는 성공했지만,,

이 오류는 GCP에서 환경 설정을 할 때 또 발생해서 결국 SKT에 이슈 요청을 하게 됩니다

https://github.com/SKTBrain/KoBERT/issues/75

onnxruntime==0.3.0 설치에 관한 문의 · Issue #75 · SKTBrain/KoBERT

2. kobert.utils 이슈

!pip install git+https://git@github.com/SKTBrain/KoBERT.git@master

# 를 하고 코드를 진행하다보면

#kobert
from kobert.utils.utils import download, get_tokenizer # 이 줄에서 오류가 남
from kobert.pytorch_kobert import get_pytorch_kobert_model

어쩐 일인지 skt의 kobert 코드에는 kobert > utils > utils.py 가 있지만

git install 받은 파일에는 utils 폴더가 없어요... 어메이징

bert 코드를 직접 clone 받고 그 안의 utils 폴더를 가상 환경 안에다 직접 넣어주면 해결됩니다

venv > lib > python3.x > kobert > (여기에 넣어주세요)

 

3. FileNotFound 에러

영문을 모르겠는 오류

path from repository root로 해결

 

4. git push 에러

fatal: the remote end hung up unexpectedly

git config --global http.postBuffer 123456

이 방법은 파일크기가 100MB 이하일때만 가능
숫자 예시) 50MB 일때 50*1024*1024

ai 모델 pt파일 용량 큰 관계로 수동으로 설정해야 할 듯!!!

 

 

 

 

 

참고한 사이트

https://www.dinolabs.ai/m/271