Generalized CycleGRPO for Fine-Grained Multimodal Understanding and Grounding
Abstractの概要
本論文では、空間、時間、および時空間の領域空間全体で機能する、きめ細かなマルチモーダル理解とグラウンディングのための統合強化学習フレームワークであるGeneralized CycleGRPOを提案します。本手法は、モデルが入力領域から記述を生成し、その記述を元の領域へ再度局所化する閉じた「領域-テキスト-領域」ループを構築し、検証可能な報酬として幾何学的重複を利用します。これにより、強化学習中に参照テキストや外部報酬モデル、LLMによる判定を必要とせず、領域アノテーションのみを用いて領域キャプショニングと局所化の共同最適化が可能になります。また、動画キャプショニングにおける発生レベルの識別性を評価するため、同一動画内の意味的に類似した再発事象から対象の発生事象を区別できるかを評価するベンチマークDOVEを導入しています。
新規性
本論文は、CycleGRPOを2D画像領域から時間インターバルおよび時空間トラジェクトリへと、統合された幾何学的形状に依存しない強化学習の定式化の下で一般化しています。生成された記述に対する自己評価的で検証可能な報酬信号としてモデル自身の局所化能力を活用し、時間的動画キャプショニングにおける発生レベルの識別性を特異的に評価するDOVEを導入しています。
成果
空間ベンチマークにおいて、Generalized CycleGRPOはGroundingSuiteでSAMTokの全体gIoUを57.5%から68.2%に、GRESで平均gIoUを71.2%から78.7%に向上させました。時間タスクでは、Charadesで51.9%のtIoUを達成し、Qwen3-VL初期化と比較してDOVE Temporal Evidence Coverageを14.8%から33.3%に向上させたほか、OMTG-4B初期化時にもCharades、ActivityNet、QVHighlights全体でtIoUを改善しました。Open-o3-Video-4Bを用いた時空間推論では、V-STaRのmLGMを47.2%から49.8%に、TVGBenchのmIoUを21.1%から28.5%へと引き上げました。
論文の注目点
- Generalized CycleGRPOは、重複に基づく報酬を伴う閉じた領域-テキスト-領域のサイクルを通じてキャプショニングと局所化を共同で学習し、強化学習時の参照キャプションや外部批評器の必要性を排除します。
- このフレームワークは、ドメイン固有のシリアライザと重複尺度を使用することで、空間マスクやボックス、時間インターバル、時空間エビデンスを共通の強化学習定式化の下で統合します。
- 本論文では、インターバル条件付き動画キャプショニングが同一クエリの再発事象から対象イベントを区別するための発生固有の時間的エビデンスを保持しているかを測定する、人間検証済みのベンチマークDOVEを導入しています。