계단활성화함수(Step)

• =하드리미터
• 임계값 이상이면 1, 아니면0
• 퍼셉트론에서 쓰임

시그모이드 활성화함수(로지스틱)

• 미분계산 쉬움
• 뉴련의 출력을 0~1로 보장
• y=1/(1+exp(-x)
• 다층퍼셉트론의 역전파때문에 사용

소프트맥스

• 시그모이드 함수의 일반화한 형태
• 각 클래스에 대한 확률을 얻을 수 있다.
• 소프트맥스는 클래스 분류 문제를 풀 때 (점수 벡터)를 (각 클래스별 확률)로 변환하기 위해 흔히 사용하는 함수.
  • 각 점수에 지수(exp)를 취한 후, 정규화 상수로 나누어 총합이 1이 되도록 계산합니다.
•