論文の概要: Generalized CycleGRPO for Fine-Grained Multimodal Understanding and Grounding

• arxiv url: http://arxiv.org/abs/2610.29552v1
• Date: Wed, 21 Oct 2026 10:39:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.315935
• Title: Generalized CycleGRPO for Fine-Grained Multimodal Understanding and Grounding
• Title（参考訳）: 微粒化マルチモーダル理解とグラウンド化のための一般化サイクルGRPO
• Abstract要約: 本稿では、領域理解と局所化を結合した最初の統合強化学習フレームワークであるGeneralized CycleSuiteを紹介する。 CycleOはSAMTokの全体的なgIoUを57.5%から68.7%に改善し、GRESでは平均gIoUを71.2%から78.2%に改善する。 時間的タスクでは、チャラードでは51.9%のtIoU、DOVEでは33.3%のタイムアビデンスを達成している。
• 参考スコア（独自算出の注目度）: 86.59310092295141
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-grained multimodal intelligence requires models to both understand a designated region and localize it from language. Existing methods learn these directions with separate objectives and task-specific annotations. We present Generalized CycleGRPO, the first unified reinforcement learning framework coupling region understanding and localization across spatial, temporal, and spatio-temporal domains. Given a region, a multimodal large language model generates candidate descriptions and then localizes each description to reconstruct the input region. Reconstruction overlap provides a verifiable reward for captioning, while individual localization rewards improve the inverse mapping. A common region-space formulation extends this cycle from image masks and boxes to video intervals and timestamped spatial evidence, without reference captions or an external language-model judge during reinforcement learning. In videos, the cycle encourages descriptions that distinguish a target event from similar recurrences. We introduce DOVE (Distinctive Occurrence-level Video-caption Evaluation), a human-verified contrastive benchmark for this temporal distinctiveness. CycleGRPO improves SAMTok's overall gIoU from 57.5% to 68.2% on GroundingSuite and average gIoU from 71.2% to 78.7% on GRES. For temporal tasks, it achieves 51.9% tIoU on Charades and 33.3% Temporal Evidence Coverage on DOVE, compared with 45.6% and 14.8% for the Qwen3-VL initialization. These results establish region-text cycle consistency as a general self-evaluation principle for multimodal understanding and localization. Models, code, and DOVE are available at https://devinxzhang.github.io/Generalized-CycleGRPO-Page/.
• Abstract（参考訳）: きめ細かいマルチモーダルインテリジェンスは、指定された領域を理解し、それを言語からローカライズするモデルを必要とする。 既存のメソッドは、これらの方向を別々の目的とタスク固有のアノテーションで学習する。 本稿では,空間的,時間的,時空間的領域にまたがる領域理解と局所化を結合した最初の統合強化学習フレームワークであるGeneralized CycleGRPOを提案する。 ある領域が与えられたとき、多モーダルな大言語モデルが候補記述を生成し、各記述をローカライズして入力領域を再構築する。 レコンストラクションの重複はキャプションに対して検証可能な報酬を与え、個々のローカライゼーション報酬は逆マッピングを改善する。 共通領域空間の定式化は、このサイクルを画像マスクやボックスからビデオ間隔、タイムスタンプ付き空間証拠まで拡張する。 ビデオでは、このサイクルは、ターゲットイベントと同じような再発を区別する記述を奨励する。 本稿では,この時間的特徴を人間に検証したコントラストベンチマークであるDOVE(Distinctive Occurrence-level Video-caption Evaluation)を紹介する。 CycleGRPOはSAMTokの全体的なgIoUを57.5%から68.2%に、GRESでは平均gIoUを71.2%から78.7%に改善している。 時間的タスクでは、カレードの51.9%、DOVEの33.3%、Qwen3-VLの初期化の45.6%と14.8%を達成している。 これらの結果は、マルチモーダル理解とローカライゼーションのための一般的な自己評価原理として、リージョン・テキスト・サイクルの整合性を確立する。 モデル、コード、DOVEはhttps://devinxzhang.github.io/ Generalized-CycleGRPO-Page/で入手できる。

関連論文リスト

• OpenEarth-OVS44: A Multimodal Remote Sensing Dataset for Open-Vocabulary Segmentation [28.72619366171209]
  リモートセンシングでは、オープン語彙セグメンテーションは多様な地域にわたって柔軟でスケーラブルな土地被覆理解のために重要である。 提案するOpenEarth-OVS44は,2,832枚のRGB画像と1,341枚の厳密に登録されたRGB-SARペアから,290,587個の専門家検証セグメントを持つマルチモーダルベンチマークである。 代表的なオープンボキャブラリセグメンテーションモデルの実験では、未確認のカテゴリでは7.1 mIoU点、観察されたカテゴリでは27.6 mIoU点の改善が示されている。
  論文  参考訳（メタデータ） (2026-10-21T12:25:26Z)
• LongEarth-R1: Benchmarking and Aligning Vision-Language Models for Long-Horizon Earth Observation Reasoning [63.001172313432114]
  ロングホライゾン地球観測推論は、多段階の地理的進化を組織化し、空間的変化を局所化し、時間的異常を検出し、拡張された画像列から未来を推測するモデルを必要とする。 我々は、明示的なシーケンス識別子と構造化されたチェーン・オブ・シントによる教師付き微調整によりLongEarthを開発する。 LongEarth-R1は、標準のリモートセンシングベンチマークで競争力を維持しながら、12のロングシーケンスタスクで最高の結果を得る。
  論文  参考訳（メタデータ） (2026-08-13T15:14:59Z)
• Actor as Its Own Critic: Unifying Region Understanding and Localization via CycleGRPO [43.173161414861966]
  Cycle Group Relative Policy Optimization (CycleGRPO) は、マルチモーダル大言語モデル(MLLM)の領域理解とローカライゼーションを共同で最適化する。 1つのMLLMはまずアクターとして地域キャプションを生成し、その後すぐに批評家に移行し、生成されたテキストを空間領域に戻す。 テキストキャプションのセマンティックな識別性を評価するために、品質を意識したトークンレベルのサイクル一貫性報酬を用いる。
  論文  参考訳（メタデータ） (2026-07-13T14:00:57Z)
• ROGLE: Robust Global-Local Alignment with Automated Region Supervision for Text-Based Person Search [12.859616063162491]
  テキストベースパーソンサーチモデルは、大域的な表現バイアスと短いキャプションでのトレーニングから受け継がれた意味空間性のために、きめ細かな理解に苦慮している。 ROGLEは、自動化された領域間マッチング戦略により、コストのかかる手作業によるアノテーションへの依存を克服する統合フレームワークである。 また、P-VLGベンチマーク(P-VLG Benchmark)についても紹介する。
  論文  参考訳（メタデータ） (2026-06-01T07:41:44Z)
• Where on Earth? A Vision-Language Benchmark for Probing Model Geolocation Skills Across Scales [61.03549470159347]
  視覚言語モデル (VLM) は急速に進歩しているが, オープンワールド環境における画像位置決め能力は, 網羅的に評価されていない。 我々は、視覚認識、ステップバイステップ推論、エビデンス利用を評価するVLM画像位置情報の総合ベンチマークであるEarthWhereを提示する。
  論文  参考訳（メタデータ） (2025-10-13T01:12:21Z)
• Structured Video-Language Modeling with Temporal Grouping and Spatial Grounding [112.3913646778859]
  簡単なビデオ言語モデリングフレームワークであるS-ViLMを提案する。 これには、学習領域オブジェクトのアライメントと時間認識機能を促進するために、クリップ間の空間的接地と、クリップ内の時間的グループ化という、2つの新しい設計が含まれている。 S-ViLMは4つの下流タスクにおいて、最先端の手法を大幅に超えている。
  論文  参考訳（メタデータ） (2023-03-28T22:45:07Z)
• Context-aware Biaffine Localizing Network for Temporal Sentence Grounding [61.18824806906945]
  本論文では時間文接地(TSG)の問題について述べる。 TSGは、文章クエリによって、未トリムのビデオから特定のセグメントの時間境界を特定することを目指しています。 ビデオ内の開始と終了の全てのインデックスをバイアフィン機構で同時にスコア付けする,新しいローカリゼーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-22T03:13:05Z)
• Watching You: Global-guided Reciprocal Learning for Video-based Person Re-identification [82.6971648465279]
  映像に基づくRe-IDのための新しいグローバルガイド相互学習フレームワークを提案する。 我々のアプローチは他の最先端のアプローチよりも優れたパフォーマンスを達成できます。
  論文  参考訳（メタデータ） (2021-03-07T12:27:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。