[개념정리] 딥러닝에서의 Inductive Bias

딥러닝에서 중요한 개념인 Inductive Bias에 대해 설명하겠습니다.

(1). Inductive Bias란?

• 학습 모델이 training 과정에서 봐오지 못한 data를 직면했을 때, 보다 정확한 예측을 위해 추가적인 가정을 하는 것
• (예). CNN에서 : vision task는 지역적으로 가까운 부분에서 정보를 많이 얻을 수 있다.
  • Transformer보다 CNN에서 inductive bias가 강하다.
• (예). RNN에서 : 시계열적으로 가까운 부분에서 정보를 많이 얻을 수 있다.
• (예). Transitional Equivariance, Transitional Invariance

 

(2). Transitional Equivariance vs. Transitional Invariance

1.  Transitional Equivariance

• 입력 위치가 변하면, 출력도 동일하게 위치가 변함을 의미
• CNN은 근본적으로 transitional equivariance한 성격을 가짐
  • 예시 : 커널 안에서의 input 위치 (1,3) -> output에서의 위치 (1,3)
  • 예시 : 커널 안에서의 input 위치 (3,1) -> output에서의 위치 (3,1)
  • 즉 사물의 위치가 바뀌면 activation 위치도 바뀜

2. Transitional Invariance

• 입력 위치가 변해도 출력은 변하지 않음을 의미
• CNN이 transitional invariance 특징을 갖는 이유
  
  • Max pooling
    • 모양, 위치가 조금 다를 경우에는, 동일하게 인식함
    • k x k 범위 내 translation에서는 invariant함
  • Softmax
    
    • Classification 과정에서, object 위치와 상관 없이 패턴이 동일하다면 동일한 output을 갖게 된다.