Introduction
높은 해상도와 다양성을 지닌 generative framework인 Diffusion model에 대해 분석하고 소개하는 페이지입니다.
여러 Reference를 참고하여 직접 작성하였습니다.
Summary
-
Score based Generative Models (NCSN)
Random noise에서 시작해 score 값을 따라 높은 확률값이 있는 공간에서 data를 생성하는 것.
-
Diffusion Models (DDPM)
Noise를 제거하는 과정을 학습해 random noise로부터 data 생성
-
Score-based Generative Modeling with SDEs
SDE라는 framework으로 NCSN과 DDPM을 통합함.
What is Diffusion?
- Diffusion destroys structure!
- 최초의 연기 (smoke)는 점차 uniform 하게 분포할 것이다.
- 이를 역으로 추론해보면 최초의 연기를 알 수 있지 않을까?
- Physical intuition: 짧은 sequence 안에서의 forward diffusion, reverse diffusion 모두 Gaussian 일 수 있다.
Score-based Generative Models
- Generative modeling by estimating gradients of the data distribution (Song et al. 2019)
- 데이터는 모집단에서 샘플링된다.