[정리노트] [AutoEncoder의 모든것] Chap 0. AutoEncoder란 무엇인가? 핵심만 짚어보자

What is AutoEncoder?

AutoEncoder WIkipedia

본 포스팅은 이활석님의 'AutoEncoder의 모든 것'에 대한 강연 자료를 바탕으로 학습을 하며 정리한 문서입니다. 이활석님의 동의를 받아 출처를 밝히며 강의 자료의 일부를 인용해왔습니다. 

AutoEncoder의 모든것(포스팅 리스트)

AutoEncoder의 모든것 😀(Last Update 20.07.16.Thur - Chap4. VAE Architecture)

👉🏻 시작합니다! 🎈

Chap0. AutoEncoder란 무엇인가? 핵심만 짚어보자

👉🏻 Deep Neural Network의 학습방법 📗
- Backpropagation과 MLE
Chap1. Deep Neural Network의 학습 방법에 대해 알아보자(딥러닝 학습방법)😃

👉🏻 Manifold Learning이란 무엇인가? 📑

- Manifold Learning 및 Dimensionality Reduction에 대해 알아보자
Chap2. Manifold Learning이란 무엇인가

 

👉🏻 AutoEncoder 탐구하기 ⌛️
Chap3. AutoEncoder란 무엇인가(feat. 자세히 알아보자)

👉🏻 Variational AutoEncoder에 대해 알아보자 ☕️
Chap4. Variational AutoEncoder란 무엇인가(feat. 자세히 알아보자)

👉🏻 VAE 파생 모델에 대해 알아보자
- Conditional VAE, Adversarial AutoEncoder에 대해 알아보자
Chap4. VAE Architecture - Conditional VAE, Adversarial AutoEncoder

AutoEncoder란 무엇인가

• Keywords
  • Unsupervised learning
  • Representation learning
  • Dimensionality reduction
  • Generative model learning

keywords들을 하나씩 살펴보는 과정에서 다음의 질문들이 생길 수 있습니다.

 

Q. what is dimensionality reduction?

구글링을 하면 다음의 내용을 찾을 수 있습니다.

Dimensionality reduction, or dimension reduction, is the transformation of data from a high-dimensional space into a low-dimensional space so that the low-dimensional representation retains some meaningful properties of the original data, ideally close to its intrinsic dimension.

즉 높은 차원(high-dimensional space)을 낮은 차원(low-dimensional space)으로 변경시키는 과정에서 원본 데이터의 의미 있는 속성들(meaningful properties)을 추출하는 것입니다. 이상적으로 이렇게 추출된 특징들은 본질적인 차원이 될 수 있습니다.

 

Q. what is representation learning?

Deep Learning ∈ Representation Learning ∈ Machine Learning ∈ AI

 

Q. What is ML density estimation?

Ian Good Fellow의 Taxonomy

Maximum Likelihood Density Estimation.

이번 장의 핵심은 바로 이 MLE와 Deep Neural Network의 학습 방법이 같다는 것을 이해하는 데 있습니다.

 

다시 본론으로 돌아오겠습니다.

AutoEncoder를 요약하면 4개의 핵심 키워드로 요약할 수 있습니다.

 

• 4가지 keyword
  • 학습 방법 - Unsupervised learning
  • Loss는 negative ML로 해석 - ML density estimation
  • 차원 축소 - Manifold learning
  • 디코더는 생성 모델의 역할 수행 - Generative model learning

4가지 핵심 키워드를 떠올리며 Chap1에 대해 공부해보겠습니다.

Chapter 1, 2 끝나고 점심시간(20.07.11.Sat)

Chapter 3, 4

 

목차(Contents)

'AutoEncoder의 모든것'에 전체 목차는 다음과 같습니다.

• Deep learning에 대하여...
• Manifold Learning이란 무엇인가?
• VAE
• AE
• AutoEncoder를 가지고 할 수 있는 것들...

방대한 내용이지만 반복해서 공부하다 보면 이활석님께서 본 강연을 통해 전달하고자 하는 핵심들에 대해 더 가까워 질 수 있을 것으로 기대합니다. 그럼 Chap1부터 시작하도록 하겠습니다.

 

AutoEncoder의 모든것 Chap1. Deep Neural Network의 학습 방법에 대해 알아보자