Faster R-CNN: Towards real-time object detection with region proposal networks

論文

• Faster R-CNN: Towards real-time object detection with region proposal networks
• Paper: https://arxiv.org/abs/1506.01497
• Submission Date: 2015.6

要旨

• 物体検出におけるRegion ProposalをCNNで実現した手法（RPN）を提案した
• 既存手法（Selective Search）に比べ、速度と精度が向上した（特に速度は大幅に改善した）

提案手法

• 物体検出では、Region Proposal（物体の領域候補の検出）を実施したあと、それぞれの候補に対して回帰（領域の推定）と分類（物体のクラス分類）と2Stepで行う*1
• 2Step目の回帰とクラス分類では、CNNが用いられるようになったが、1Step目のRegion Proposalは古典的な手法（Selective Search）が用いられており速度に問題があった
• そこで、本研究ではRegion ProposalにおいてもCNNを利用したRegion Proposal Network (RPN)を提案した
  • これにより物体検出のすべての処理が1つのネットワークで処理できるようになった
• Faster R-CNNでは、Fast R-CNNと同様CNNで特徴抽出を行った後、RPNでRegion Proposalを行う

Faster R-CNNのアーキテクチャ図

• RPNでは、feature mapを入力とし、物体領域の位置と物体らしさを表すスコア（objectness score）の2つを出力する
  • feature mapのnxn（実験ではn=3）のwindowをスライドさせ、1のwindowで予め用意しておくアスペクト比やサイズの異なるk個のanchorごとに出力する
  • 計算回数は、feature mapのサイズWH（だいたい2400）とanchor数k（実験ではk=9）の積WHkとなる

RPNのアーキテクチャ図

結果

• 既存手法（Fast R-CNN）よりも高い精度を達成した
• 処理時間においても、GPUを用いて5fpsと大幅に改善した

MS COCO datasetにおける結果

処理時間の比較（ms）

• GPU（K40）を用いた処理時間、ただしSelective Search（SS）はCPU

関連研究

• Fast R-CNN, ICCV2015
• Selective Search for Object Recognition, 2013

*1:後の研究であるSSDやYOLOではまとめて1Stepで行う