Lecture 14a Learning layers of features by stacking RBMs

Training a deep network by stacking RBMs

• • First train a layer of features that receive input directly from the pixels.
• • Then treat the activations of the trained features as if they were pixels and learn features of features in a second hidden layer.
• • Then do it again.

• • It can be proved that each time we add another layer of features we improve a variational lower bound on the log probability of generating the training data.

  • – The proof is complicated and only applies to unreal cases.
  • – It is based on a neat equivalence between an RBM and an infinitely deep belief net (see lecture 14b).

• • 픽셀에서 직접 입력을 받는 피쳐 레이어를 먼저 학습시킵니다.

• • 그런 다음 훈련 된 피쳐의 활성화를 마치 픽셀 인 것처럼 처리하고 두 번째 숨겨진 레이어에서 피쳐의 피쳐를 학습합니다.

• • 그런 다음 다시하십시오.

• • 다른 계층의 특징을 추가 할 때마다 훈련 데이터를 생성하는 로그 확률에 대한 변화 하한선을 개선한다는 것이 증명 될 수 있습니다.

  • 증명은 복잡하고 비현실적인 경우에만 적용됩니다.
  • 그것은 RBM과 무한히 깊은 belief net (룰 14b 참조) 사이의 깔끔한 동등성에 기초를두고 있습니다.