[RL] Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles

[Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles]이라는 제목의 논문을 읽기 시작했다.

 

Abstract

: neural network에서 predictive uncertainty를 quantify하는 것이 어렵고 풀리지 않은 문제임을 설명한다. 현재 SoTA로서 Bayesian NN을 예시로 든다. 하지만 상당한 수정이 필요학 computationalkly expensive하다는 점을 지적한다. 따라서 구현하기 간단하고, 쉽게 parallelize할 수 있으며, 매우 적은 hyper-parameter tuning이 필요한 alternative를 제안한다.

 

Introduction

: deep neural network(NN)가 predictive uncertainty를 잘 quantify하지 못하며 overconfident한 prediction을 만듦을 지적한다. ground truth가 없기 때문에 challenging함을 밝힌다. calibration과 domain shift라는 두 가지 measure에 집중한다. Bayesian NN과 Monte Carlo dropout (MC-dropout)에 대해 소개한다. 마지막으로 ensemble model에 대해 강조한다.

Deep Ensembles: A Simple Recipe for Predictive Uncertainty Estimation

1) training criterion으로 proper한 scoring rule을 사용하기, 2) adversatiral training을 통해 predictive distribution을 smooth하게 만들기, 3) ensemble을 훈련시키기의 세 가지 전략을 이용한다.

 

y|x ~ q이고 predictive distribution이 p일 때 S(p, q) <= S(q, q)가 성립하는 S를 proper scoring rule로 정의한다. 많은 N loss가 proper scoring rule이 됨을 밝힌다.

 

MSE는 predictive uncertainty를 capture하지 못한다. 연구에서는 mean과 variance를 뱉어내는 output layer를 이용했다.

 

adverial example을 original training example에 가깝지만 NN에 의해 misclassification되는 것으로 정의한다. adversarial example을 만드는 방법으로 fast gradient sign method를 소개한다. 이를 augmentation에 이용하는 adversarial training이 classifier의 robustness를 높이는데 도움이 됨을 설명한다. 이 연구에서는 adversarial training을 predictive distirbution을 smoothen하는데 이용한다.

 

ensemble model을 randomiztion-based와 boosting-based approach로 나누어 설명한다. ensemble을 uuniformly-weighted mixture model로 생각하고 train하였음을 밝힌다.