junny1997 개발 일지

Transformer Seq2seq보다 성능, 속도 높아 관심 (Seq2seq은 RNN 사용해 순차적처리, 병렬처리 어려워 시간 오래걸림) self attention machanism만을 사용해 문장 인코딩, 번역 수행, 병렬처리 가능 Attention Q 번역 대상 단어의 hidden state , K 비교할 모든 단어들의 벡터, V Self attention은 순차없이 자신을 포함한 모든 단어와의 관계를 한번에 연산 Multi head attention 여러관점의 여러 attention을 병렬로 사용, 여러시각 주목(모호함 해소) Positional encoding Self attention을 사용하는 Transformer는 순차적이지 않기 때문에 어순을 파악 못하는 문제 발생 단어 벡터에 위치정보 ..

Attention mechanism 기계 번역에서 처음 도입, lstm으로도 중요정보가 희석됨 디코딩 중 인코딩된 모든 state들과의 내적 (similarity) 내적 값(similarity)이 높은 state로 attention output 생성, 중요 state 판별 매 디코딩 step 마다 반복Attention mechanism

Basic neural machine translation (NMT) RNN으로 인코딩 후 번역 생성 Basic NMT는 마지막 state 통해서 수행 Attention mechanism은 모든 state를 선형조합 state 생성

Long short-term memory (LSTM) 중요정보가 희석되는 RNN 한계 극복 중요한 정보 선택 다음 state에 전달 (cell 정보저장, gate 정보 선택) forget gate: 불필요 정보 삭제 input gate: 새 input에서 중요정보 추출 candidate values: input 변형, 과거 state에 맞춤 new cell state: forget gate, input gate로 정보 갱신 output gate: cell state 추출 정보 양 정함 hidden state: cell state, output gate 에 의해 결정된 정보

다음 character 예측 import tensorflow as tf import numpy as np from tensorflow.contrib import rnn sentence = ("if you want to build a ship, don't drum up people together to " "collect wood and don't assign them tasks and work, but rather " "teach them to long for the endless immensity of the sea.") # 딕셔너리 생성 char_set = list(set(sentence)) char_dic = {w: i for i, w in enumerate(char_set)} print(char_..

from pytube import YouTube import os import json def cln_txt(txt): return txt.replace('-', '').replace(' ', '_').replace('/', '~').replace('(', '').replace(')', '').replace('|','').replace('\\', '') def download_data(url, v_type='video/mp4', res=['1080p', '720p']): crawl_result = {'url': url} # url 딕셔너리 생성 yt = YouTube(url) # 영상정보 저장 streams = yt.streams # 스트림 crawl_result['title'] = yt.title # ..

RNN (Recurrent neural network) Sequential data(시계열 데이터) 등 연속적인 input 처리 위한 모델 input과 과거 데이터 조합, 생성, 갱신 hidden state로 weight mapping을 매번 새로운 input을 추가하여 수행 (누적) 모든 시점의 데이터를 포함한 마지막 데이터로 예측 수행 $h_t=f(x_t|h_{t-1})=tanh(Wx_t+Uh_{t-1})$ (W, U hidden state로 맵핑하여 추가)

word2vec CBOW SG모델 한계 각 단어별로 모든 단어 입력 필요, 데이터 량 막대함 모든 단어의 확률값 연산 필요, 학습 layer 연산 부하 큼 Hierachical softmax 연산 부하를 줄이기위해 tree 구조 도입 트리 구조로 정리된 단어에 binary code(주소) 부여 트리 엣지에 확률값 부여, 최대화 되도록 학습 Negative sampling 정답이 아닌 모든 단어를 연산하면 부하큼 오답 단어(negative samples)가 일부만 포함되어도 학습을 반복하여 정답 추출 가능 오답 단어에 대한 연산 줄어듬 오답 단어는 5~15개 추천 오답 단어 추출은 출현 빈도가 높으면 더 많이 뽑히게 Sub sampling 빈도수에 기반하여 특정 단어 제외(관사 전치사 등) $P(w_i)=..

스택을 활용해서 문자열을 반전해보세요. def reverse_with_stack(input) s = Stack() … print(reverse_with_stack(“AI School”)) loohcS IA class Stack(object): def __init__(self): self.items = [] def isEmpty(self): return not bool(self.items) #bool 리스트 null일때 true def push(self, value): self.items.append(value) def size(self): return len(self.items) def __repr__(self): #프린트시 리스트안의 데이터 표시 return '{}'.format(self.items) ..

from gensim.models.keyedvectors import KeyedVectors # 구글 뉴스 pretrained rate 로드, analogy task 실행 model = KeyedVectors.load_word2vec_format("./data/GoogleNews-vectors-negative300.bin.gz", binary=True, limit=30000) score, predictions = model.evaluate_word_analogies('./data/analogy_task.txt') print(model['apple']) # model.similarity 벡터 거리 계산 print("similarity between apple and fruit: {}".format(mode..