Generator based AI

Generator based AI

1. Approach
- tf-idf로 추출한 label값과 value의 시작 글자를 입력받아 첫 번째 글자를 예측
- 이 글자를 다시 반복해서 모델에 집어넣어 두 번째 글자를 예측
- 이 과정을 "eos"가 출력될 때까지 반복

2. Dataset
- value: target value
- label: mobile element의 tf-idf로 라벨링한 대표값

3. Embedding
- 기존: label값에 대하여 one hot encoding 사용
- one hot의 단점: text를 숫자로 바꿔주지만 단어간 유사도를 측정하기 어려움
- 또한 미등록 단어(out of vocabulary)문제 발생
- 따라서 BERT model을 사용하기로함.

4. Classifier
- LSTM에서 처리한 결과를 바탕으로 다음 글자가 무엇이 될 지 예측

5. Training
- MatricCalculator: 학습/검증 데이터에 대한 정확도를 기록
- save_checkpoint: 모델의 파라미터를 파일로 저장
- load_checkpoint: 저장한 모델 파라미터를 불러와 모델에 씌움
- save_dict_to_json: 모델의 학습경과를 json 파일로 저장

6. Beam-Search
- 매 스탭마다 beam 갯수(K)만큼 후보를 유지하면서 서치를 하는 방식
- K 개의 예측한 후보값 중 random 한 값을 return하도록 개선 (다양한 input data 제공을 위해)