목차

Multi-task learning

• Models & Training
• Challenges
• Case study of real-world multi-task learning

Meta-Learning

• Problem formulation
• General recipe of meta-learning algorithms
• Black-box adaptation approaches

Multi-task Learning

What is a task?

A task: $\mathcal{T}_i = \{p_i(\mathbf{x}), p_i(\mathbf{y} | \mathbf{x}), \mathcal{L}_i\}$ → a data generating distributions

Examples of tasks:

Multi-task classification은 모든 task의 $\mathcal{L}_i$가 같음.

Multi-label learning은 모든 task의 $\mathcal{L}_i, p_i(\mathbf{x})$가 같음

** $\mathcal{L}_i$가 다른 경우는? label이 mixed되어 있거나, 여러 task를 고려할 때.

Model: $f_\theta(\mathbf{y}| \mathbf{x})$가 아닌 $f_\theta(\mathbf{y}|\mathbf{x}, \mathbf{z}_i)$

각 task를 구분할 수 있는 condition $\mathbf{z}_i$를 어떻게 적용할 수 있나?

• 각 task를 shared parameter 없이 각각 다른 네트워크에서 학습하거나, 모든 parameter를 share 하거나, 그 중간 어디쯤..

즉 condition $\mathbf{z}_i$를 선택하는 것은 parameter를 언제, 어떻게 share할지 결정하는 것과 같다!

이 중에서는 multiplicative conditioning이 좋은 idea이긴 하지만 다른 neural network tuning과 마찬가지로 task에 따라 좋은게 다르다.

Objective: $\min_\theta \sum^T_{i=1} \mathcal{L}_i(\theta, \mathcal{D}_i)$