lecture01 1교시 개념정리

Process of Learning

• 1. Evaluation (Forward propagation) 데이터 입력
• 2. Loss and Gradient (Backpropagation) 오차 계산 및 반영
• 3. Update (Optimize) 업데이트

 

Perceptron

• 하나의 신경세포 입력 처리 출력 (w1*x1+w2*x2+b=0)
• Activation Function (퍼셉트론의 정보 판단)
• Multi-layer percetron 을 구성하여 복잡한 데이터 분류

 

Activation Function

• Step Function

 

$h(x)=\left\{\begin{matrix}
0\quad(x\leq0)\\ 
1\quad(x> 0)
\end{matrix}\right.$

step function

• Sigmoid Function

 

  $h(x)=\frac{1}{1+exp(-x)}$

sigmoid function

• ReLU Function

 

  $h(x)=\left\{\begin{matrix}x\quad(x>0)\\ 0\quad(x\leq 0)\end{matrix}\right.$

relu function

Feedforward

• Softmax Function
• Loss Function (Mean Squared Error, Cross entropy error)