lecture09 1교시 word2vec 2

word2vec CBOW SG모델 한계

• 각 단어별로 모든 단어 입력 필요, 데이터 량 막대함
• 모든 단어의 확률값 연산 필요, 학습 layer 연산 부하 큼

 

Hierachical softmax 

• 연산 부하를 줄이기위해 tree 구조 도입
• 트리 구조로 정리된 단어에 binary code(주소) 부여
• 트리 엣지에 확률값 부여, 최대화 되도록 학습

출처 AI SCHOOL

 

Negative sampling 

• 정답이 아닌 모든 단어를 연산하면 부하큼
• 오답 단어(negative samples)가 일부만 포함되어도 학습을 반복하여 정답 추출 가능
• 오답 단어에 대한 연산 줄어듬
• 오답 단어는 5~15개 추천
• 오답 단어 추출은 출현 빈도가 높으면 더 많이 뽑히게

 

Sub sampling

• 빈도수에 기반하여 특정 단어 제외(관사 전치사 등)
• $P(w_i)=1-\sqrt{\frac{t}{f(w_i)}}$ 단어 빈도가 높을수록 제외