- 인공 신경망은 생물학적 신경망에서 영감을 얻어 만들어 졌다.
여러 자극이 수상돌기(input)를 통하여 들어오며 어느정도 이상의 자극이 들어오면 축색돌기를 통해 다른 세포로 전달한다.
인공신경망은 다음 그림처럼 여러 개의 입력값과 출력값을 가지며,
입력값들의 가중치 합을 활성화 함수에 통과시켜 변형 시키고, 이과정을 반복적으로 진행하여 최종 결과값을 낸다.
예를 들면 수식으로 위와 같다 시그마(σ)는 활성화 함수를 의미한다.
y = W2 ( σ ( W1 * X + b1 ) )+b2
y = W4 ( σ ( W3 ( σ ( W2 ( σ ( W1 * X + b1 ) )+b2 ) )+b3 ) )+b4
수식을 보면 y=W*X+b가 계속 반복 되는데 이것은 행렬 연산과 같다.
x * w + b(상수)
[x00,x01,x02.......] [x10,x11,x12.......] [x20,x21,x22.......] [x30,x31,x32.......] . . . .
|
[x00,x01,x02.......] [x10,x11,x12.......] [x20,x21,x22.......] [x30,x31,x32.......] . . . .
|
[b0] [b1] [b2] [b3] . . . .
|
x에서 열 단위로 데이터가 구분되기 때문에 순서가 바뀐것이고 b는 행렬의 덧셈이아닌 편차를 더하기 때문에 그냥 상수라고 생각하면 될것 같다.
가장 많이 쓰이는 활성화 함수는 시그모이드와 하이퍼볼릭 탄젠트가 있다. 하지만 최근에는 렐루를 많이 사용한다.
- 시그모이드는 결과값이 0~1인 완만한 곡선 형태이다
- 하이퍼볼릭 탄젠트 함수는 -1에서 1의 값을 가진다.
- 두 함수는 모든 구간에서 미분이 가능하다.
미분과 편미분 공부하고 47페이지를 이해하고 있는데 조금 이해될것 같다.
좀더 공부해야겟다 연쇄법칙은 잘모르겟다 ㅠㅠ; 미적분 안배워가지고 이해중;;
편미분 유튜브 강의 <<개념이 이해가 안되서요;
https://www.youtube.com/watch?v=iV6knNujS78&t=919s