[Convolutional Pose Machines]라는 제목의 논문을 읽기 시작했다.
Abstract
: pose machine에 대해 언급한다. 이 연구에서는 convolutional network를 pose machine framework에 incorporate하여 pose estimation을 위한 image feature와 image-dependent spatial model을 배우도록 한다.
Introduction
- articulated pose estimation을 위해 convolutional pose machine (CPM)을 제안한다.
- CPM은 1) long-range dependency를 배울 수 있다, 2) learning과 inference 사이의 tight integration이 있다, 3) modular하고 sequential한 design이다라는 pose machine의 장점과 1) image와 spatial context의 feature representation을 data로부터 직접 배울 수 있다, 2) differentiable하다, 3) 큰 training dataset을 efficient하게 다룰 수 있다는 convolutional neural network의 장점을 모두 가지고 있다고 설명한다. 솔직히 pose machine을 처음 들어봐서 잘 공감이 되지는 않았다.
- CPM은 convolutional network의 sequence로 구성되며 각각은 2D belief map을 구성한다. 각 stage에서 이전 단계에서 만든 image feature와 belief map이 input으로 이용된다.
Pose Machines
- pose machine은 multi-class predicotr의 sequence로 이루어져 있다. 첫 번째 stage의 classifier는 belief map을 만들고 이어지는 stage에서는 (1) image data의 feature와 (2) 앞선 classifier의 contextual information을 바탕으로 refinement가 일어난다.
Convolutional Pose Machines
- 첫 번째 stage의 convolutional pose machine은 local image evidence로부터 belief map을 만든다.
- 각 landscape가 consistent한 geometric configuration을 따른다는 점으로부터 이어지는 stage에서는 이전 stage의 noisy한 belief map의 spatial context로부터 feature를 뽑아 이용할 수 있다.
