Agent하면 주로 robot을 미하는데, robot이 비록 아직 많이 부족하지만, 역설적이게도 우리가 intelligence에 대한 개념을 배울 수 있도록 해준다.
Agent는 여러 task, object, environment 등에 대해 일반화할 수 있어야하고 무엇인가를 이해하는데에 있어서 common sense도 있어야 한다.
Robot RL, 혹은 여러 RL에 대한 연구들은 대부분 하나의 environment에서 하나의 task를 학습하고, 그것은 대부분 supervision과 guidance를 필요로 한다. RL 뿐만 아니라 machine translation, speech recognition, object detection에서도 이런 연구가 대부분이다.
2000년대의 computer vision은 engineer들의 hand-designed feature에 의존해 이미지에서 해당 feature를 만들고, SVM 등의 classifier를 붙여서 진행되었다. 2010년 대에는 deep learning 기반의 end-to-end training으로 unstructured input(pixel, language, sensor reading...)을 다룰 수 있게 되었다.
What if you want a more general-purpose AI system?
고정된 task 하나에 대한 framework이 아니라 여러 environment와 task에 대해 일반화 성능을 가진 AI system이 필요하다.
What if you don't have a large dataset?
그 후 계속된 연구들은 크고, 다양한 data를 기반으로 진행되어 일반화 성능을 끌어올렸다. 하지만 큰 dataset을 구할 수 없는 경우에는 딥러닝을 쉽게 적용할 수 없다.
What if your data has a long tail?
또 data의 distribution이 uniform하지 않고 long tail이라면 어떨까? 이런 상황은 supervised learning setting이 학습을 잘 수행하지 못 한다.