다채로운 세상 속을 누비며

[Learning Deconvolution Network for Semantic Segmentation]이라는 제목의 논문을 읽기 시작했다. Abstract : VGG 16-layer net 기반의 segmentation을 위한 novel한 algorithm을 제안한다. deconvolution network를 소개한다. deconvolution과 unpooling layer로 구성되어 있으며 pixelwise class label을 찾아서 segmentation mask를 prediction한다. 또한 proposal-wise prediction을 더하여 기존의 FCN이 갖는 한계점을 극복했다고 서술한다. Introduction : classification problem에서의 높은 성능에 부응..

[Fully Convoltional Networks for Semantic Segmentation]이라는 제목의 논문을 읽기 시작했다. Abstract : convolutional network가 feature의 hierarchy를 내뱉는 powerful한 visual model이라는 점을 먼저 언급한다. CNN 자체로도 segmantic segemntation에서 SoTA를 exceed함을 보여준다. 더하여, shortcut connection을 이용한 novel structure를 define했다고 밝힌다. Introduction : 모든 pixel에 대한 prediction을 내놓는 것이 coarse에서 fine inference로 나아가는 next step임을 설명한다. fully con..

[State Entropy Maximization with Random Encoders for Efficient Exploration]이라는 제목의 논문을 읽기 시작했다. Abstract : high-dimensional observations pace에서 efficient한 exploration이 여전히 challenge로 남아 있음을 설명한다. 이에 state entropy를 intrinsic reward로 이용하는 Random Encoders for Efficient Exploration (RE3)라는 방법을 제안한다. k-nearest neighbor entropy estimator를 이용해 convolutional encoder가 주는 low-dimensional representation s..

[Task-Agnostic Exploration via Policy Gradient of a Non-Parametric State Entropy Estimate]라는 제목의 논문을 읽기 시작했다. Abstract : 먼저 reward-free environment에서 model이 optimal한 task-agnostic exploration policy를 배우기 위해 어떤 intrinsic objective가 suitable한 것인지 질문을 제시한다. state distribution의 entropy가 sensible한 target임을 주장한다. k-nearest neighbors estimate를 이용하게 때문에 model-free하다는 부분을 강조한다. Introduction : reinfo..

[SUNRISE: A Simple Unified Framework for Ensemble Learning in Deep Reinforcement Learning]이라는 제목의 논문을 읽기 시작했다. Abstract : off-policy deep reinforcement learning이 Q-learning의 instability와 exploration과 exploitation 사이의 균형을 맞추는 등 여러 issue가 있음을 밝힌다. 이에 SUNRISE를 제안한다. SUNRISE는 ensemble 기반의 weighted Bellman backup과 efficient한 exploration을 위해 높은 upper-confidence bound에 따라 action을 select하는 inference me..

[UCB Exploration via Q-Ensembles]라는 제목의 논문을 읽기 시작했다. Abstract : Q*-function의 ensemble이 deep reinforcement learning에서 effective한 exploration에 leverage될 수 있다는 점을 설명한다. upper-confidence bound (UCB)에 기반한 exploration strategy를 제안한다. Introduction : deep reinforcement learning이 high-dimensional observation을 action으로 mapping하는 방법을 배운다고 설명한다. bootstrapped DQN에 대해 소개한다. Q-ensemble에 기반한 새로운 방법을 제안한다. ..

[Self-Supervised Exploration via Disagreement]라는 제목의 논문을 읽기 시작했다. Abstract : efficient한 exploration이 sensorimotor learning에서 long-standing problem이었음을 밝히며 글을 연다. video game과 simulation에서 advance가 있었지만 이들 formulation은 stochastic dynamics가 있는 environment에서 stuck하거나 real robotics setup에 적용하기에는 너무 비효율적이라는 문제를 제기한다. active learning 분야에서 영감을 받은 exploration formulation을 제안한다. 구체적으로는 ensemble model을 훈련..

[Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles]이라는 제목의 논문을 읽기 시작했다. Abstract : neural network에서 predictive uncertainty를 quantify하는 것이 어렵고 풀리지 않은 문제임을 설명한다. 현재 SoTA로서 Bayesian NN을 예시로 든다. 하지만 상당한 수정이 필요학 computationalkly expensive하다는 점을 지적한다. 따라서 구현하기 간단하고, 쉽게 parallelize할 수 있으며, 매우 적은 hyper-parameter tuning이 필요한 alternative를 제안한다. Introduction : deep neural netwo..

[Exploration by Random Network Distillation]이라는 제목의 논문을 읽기 시작했다. Abstract : 쉽게 구현할 수 있고 minimal한 computational overhead를 갖는 exploration bonus를 제안한다고 밝힌다. observation의 feature에 대한 prediction error를 이용해 bonus를 준다고 한다. 더하여, intrinsic과 extrinsic reward를 flexible하게 합치는 method를 보여준다. 그 결과 Atari game에서 significant한 progress를 확인할 수 있었다. Introduction : extrinsic reward가 sparse하거나 찾기 힘들 때 reinforcemen..

[Curiosity-driven Exploration by Self-supervised Prediction]이라는 제목의 논문을 읽기 시작했다. Abstract : 많은 real-world scenario에서 agent에게 extrinsic하게 주어지는 reward는 매우 sparse함을 설명한다. 이러한 상황에서 curiosity가 intrinsic reward signal로서 agent가 environment를 exploration하도록 한다는 점을 밝힌다. Introduction : motiavtion 또는 curiosity가 새로운 state를 발견하기 위해 environment를 explore할 필요를 설명한다고 서술한다. 이는 reinforcement learning에서 reward가..