Deep Residual Learning for Image Recognition

論文

• Deep Residual Learning for Image Recognition
• Paper: https://arxiv.org/abs/1512.03385
• Submission Date: 2015.12

要旨

• CNNにおいて深い層で発生しうる勾配消失を防ぐアーキテクチャ（Residual Block）を提案した（提案されたネットワークをResNetと呼ぶ）
• ImageNetのデータセットを用いたクラス分類コンペティション（ILSVRC 2015）で優勝したネットワークである

提案手法

• これまでは、深いネットワーク（50層以上）では勾配消失が発生し浅いネットワークよりも精度が落ちることがあったが、これを解決するためにResidual Blockを提案した
• Residual Blockはいくつかの層をスキップしたショートカット接続によって実現され、ショートカットを通じて勾配が直接次の層に伝搬するため、深い層でも勾配が消失しにくい
• ショートカット接続は、パラメータの追加がなく実装も容易である

Residual Blockのアーキテクチャ図

結果

• Image Netデータセットを用いた画像のクラス分類問題において、Top-5 error 3.57%を達成した
• PASCALやCOCOデータセットを用いた物体検出問題においても、VGG-16よりも高い精度を達成した

関連研究

• Very deep convolutional networks for large-scale image recognition, ICLR2015
  • 本研究でも比較されている手法の1つ
  • VGGの略称で、ResNetと同じく広く用いられている

所感

• CNNおいてブレークスルーの1つとなった研究であり、後の研究もResNetの影響を受けたものが多く見られる