title: "Introduction to Diffusion Models"
description: "Introduction to Diffusion Models"
floatFirstTOC: right

Introduction

높은 해상도와 다양성을 지닌 generative framework인 Diffusion model에 대해 분석하고 소개하는 페이지입니다.

여러 Reference를 참고하여 직접 작성하였습니다.

Summary

• Score based Generative Models (NCSN)

  Random noise에서 시작해 score 값을 따라 높은 확률값이 있는 공간에서 data를 생성하는 것.

• Diffusion Models (DDPM)

  Noise를 제거하는 과정을 학습해 random noise로부터 data 생성

• Score-based Generative Modeling with SDEs

  SDE라는 framework으로 NCSN과 DDPM을 통합함.

What is Diffusion?

• Diffusion destroys structure!
• 최초의 연기 (smoke)는 점차 uniform 하게 분포할 것이다.
• 이를 역으로 추론해보면 최초의 연기를 알 수 있지 않을까?
• Physical intuition: 짧은 sequence 안에서의 forward diffusion, reverse diffusion 모두 Gaussian 일 수 있다.

Score-based Generative Models

• Generative modeling by estimating gradients of the data distribution (Song et al. 2019)