Perceive-to-Reason: Decoupling Perception and Reasoning for Fine-Grained Visual Reasoning
Abstractの概要
本論文は、知覚と推論を明示的に分離する、きめ細かい視覚的推論のためのフレームワークであるPerceive-to-Reason（P2R）を提案している。P2Rでは、モデルはまずPerceiver（知覚器）として質問に関連する証拠を局所化し、次にアノテーションされた画像と切り取られた領域を使用して、Reasoner（推論器）として質問に答える。解答のみの教師データでこの分離されたパイプラインを訓練するために、著者らはPRA-GRPO（役割を認識する強化学習戦略）を導入しており、これは一方の役割を固定しつつ、知覚に焦点を当てた更新と推論に焦点を当てた更新を交互に行うものである。この手法はQwen3-VL-Instructバックボーン上に構築され、高解像度の視覚的推論ベンチマークや、より広範なマルチモーダルベンチマークで評価されている。
新規性
主な新規性は、きめ細かい視覚的推論を、統一されたモデル内での証拠の局所化と解答生成という別々の段階として明示的に2段階で定式化した点にある。また本論文は、正解のバウンディングボックスを使用せず、最終的な解答の教師データのみを使用して両方の段階を訓練する、交互の役割認識型強化学習戦略であるPRA-GRPOを導入している。
成果
Qwen3-VL-Instructの2B、4B、8Bバックボーン全体にわたり、P2RはV-Star、HR-Bench-4K、およびHR-Bench-8Kでの性能を一貫して向上させている。たとえば、P2R-4BはV-Starで93.2%、HR-Bench-4Kで81.9%、HR-Bench-8Kで80.5%に達し、論文では2B、4B、8Bの各バリアントの対応するバックボーンに対してそれぞれ平均8.1%、11.0%、9.7%の向上が報告されている。これらの向上はMME-RealWorld-LiteやReasonSegグラウンディング評価にも及んでおり、主要な高解像度設定を超えたより広範な転移が示されている。
論文の注目点
- P2Rは、きめ細かい視覚的推論を、Perceiverが関連する証拠を局所化したあとに、Reasonerがアノテーションおよび切り取りされた視覚入力から質問に答えるという2段階のプロセスとして再定式化している。
- PRA-GRPOは共有パラメータの下で知覚と推論の更新を交互に行い、バウンディングボックスのアノテーションを必要とせずに、最終的な解答の正確さをより特定可能な訓練シグナルへと変換する。
- 経験的に、この手法は高解像度ベンチマークにおいて複数のスケールのQwen3-VL-Instructの性能を改善し、さらに広範なマルチモーダル推論およびグラウンディングタスクにおいても性能の向上を示している。
参考リンク
- arXiv: https://arxiv.org/abs/2607.01191v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2607.01191v1
- Hugging Face Papers: https://huggingface.co/papers/2607.01191
- GitHub: https://github.com/ZJU-REAL/Perceive-to-Reason
- Hugging Face: https://huggingface.co/hongxingli/P2R-4B