論文の概要: SER: Learning to Ground Video Reasoning with Semantic Evidence Rewards

• arxiv url: http://arxiv.org/abs/2606.24726v1
• Date: Tue, 23 Jun 2026 15:50:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 22:16:49.044703
• Title: SER: Learning to Ground Video Reasoning with Semantic Evidence Rewards
• Title（参考訳）: SER:セマンティック・エビデンス・リワードによる地上ビデオ推論の学習
• Authors: Sheng Xia, Zhengqin Lai, Tianxiang Jiang, Kanghui Tian, Shoujun Zhou, Bin Li, Yi Wang,
• Abstract要約: 制約されたタスクとしてRLを改革するためのセマンティックエビデンス・リワード(SER)を提案する。 ピクセルレベルのアノテーションを計算する代わりに、SERはVLMを拡張したレフェリーを使用してモデル生成のエビデンスのクレームを評価する。 VLMベンチマークでは、SERは49.6%を獲得し、強いエビデンスベースラインよりも3.0ポイント向上した。
• 参考スコア（独自算出の注目度）: 8.705689021755221
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video MLLMs often struggle with fine-grained spatio-temporal reasoning, sometimes generating correct answers based on irrelevant frames or objects. Although outputting spatio-temporal evidence during reasoning is a promising direction, existing RL frameworks typically rely on geometry-only (IoU) rewards, which can be sensitive to boundary perturbations and overlook semantic alignment. To address this, we propose Semantic Evidence Reward (SER), which reformulates spatio-temporal evidence grounding as a constrained verification task. Instead of computing pixel-level overlap, SER uses a referee VLM as a local checker to evaluate model-generated evidence claims across two dimensions: relevance and localization quality, combined with a temporal penalty. This design reduces the reliance on dense box annotations and enables training directly on standard video QA data. On the V-STAR benchmark, SER achieves 49.6% mLGM, improving by 3.0 points over the strong evidence-grounded baseline Open-o3-Video, demonstrating its potential in enhancing both answer accuracy and evidence grounding.
• Abstract（参考訳）: ビデオMLLMは時空間の微妙な推論に苦しむことが多く、時には無関係なフレームやオブジェクトに基づいて正しい答えを生成する。 推論中に時空間的証拠を出力することは有望な方向であるが、既存のRLフレームワークは通常幾何学のみの報酬(IoU)に依存しており、境界摂動や見落としの意味的アライメントに敏感である。 そこで,本稿では,制約付き検証課題としての時空間的証拠を再構成するセマンティック・エビデンス・リワード(SER)を提案する。 ピクセルレベルの重なりを計算する代わりに、SERはレフェリーVLMを局所チェッカーとして使用し、2次元にわたるモデル生成証拠の主張を評価する。 この設計は、高密度なボックスアノテーションへの依存を減らし、標準的なビデオQAデータを直接トレーニングすることができる。 V-STARベンチマークでは、SERは49.6%のmLGMを達成し、強力なエビデンスベースラインであるOpen-o3-Videoよりも3.0ポイント改善した。

関連論文リスト

• Reason, Then Re-reason: Cross-view Revisiting Improves Spatial Reasoning [37.09676301107883]
  空間的推論は再考可能であるべきだと論じる。 トレーニング不要な2段階の推論時間フレームワークであるReReを提案する。 ReReによってオープンソースのMLLMが大幅に向上し、プロプライエタリな最先端のパフォーマンスに匹敵することを示す。
  論文  参考訳（メタデータ） (2026-06-10T05:52:14Z)
• ReVSI: Rebuilding Visual Spatial Intelligence Evaluation for Accurate Assessment of VLM 3D Reasoning [59.558706734431276]
  空間知能の現在の評価は、現代の視覚言語モデル(VLM)設定下で体系的に無効にすることができる。 本稿では,各QAペアが実際の入力の下で応答可能で正しいことを保証するためのベンチマークとプロトコルであるReVSIを紹介する。
  論文  参考訳（メタデータ） (2026-04-27T10:45:51Z)
• VideoZeroBench: Probing the Limits of Video MLLMs with Spatio-Temporal Evidence Verification [73.02304272829785]
  VideoBenchは、証拠を厳格に検証する長ビデオ応答のための階層的なベンチマークだ。 これは、13のドメインに500の注釈付き質問を手動で記述し、時間間隔と空間境界ボックスを組み合わせて証拠とする。 GeminiPro-3-Proでさえ、標準のエンドツーエンドのQA設定で17%未満の質問に正しく答えている。 その結果,表面レベルでの回答の正しさと真正な証拠に基づく推論との間に大きなギャップが生じた。
  論文  参考訳（メタデータ） (2026-04-02T03:29:43Z)
• Reinforcing Consistency in Video MLLMs with Structured Rewards [14.560061824569333]
  マルチモーダル大言語モデル (MLLM) はビデオ理解において顕著な進歩を遂げている。 本研究では,この障害モードを,キャプションを事実的・時間的クレームに分解する構成整合監査を通じて検討する。 本研究の目的は,(1)実物,属性,関係性に対する実例対応のシーングラフ報酬,(2)イベントの順序と繰り返しに対する時間報酬,(3)階層的自己検証のためのビデオグラウンド付VQA報酬の3つの相補的な構成要素を統合することである。
  論文  参考訳（メタデータ） (2026-04-01T23:15:34Z)
• VisionCoach: Reinforcing Grounded Video Reasoning via Visual-Perception Prompting [58.508924874097715]
  VisonCoach は,(1) ビデオと質問に対して適切なプロンプト型を予測する Visual Prompt Selector と,(2) 視覚的プロンプトガイダンスとオブジェクトグラウンド報酬の下で RL で最適化された Spatio-Reasoner の2つのコンポーネントから構成される。 この結果から,トレーニング中の視覚的プロンプトが映像推論を改善するのに対し,注意散布センスは推論時にプロンプトを必要とせず,この能力を実現することが示唆された。
  論文  参考訳（メタデータ） (2026-03-15T23:32:02Z)
• Open-o3 Video: Grounded Video Reasoning with Explicit Spatio-Temporal Evidence [70.2803680525165]
  我々は、明示的な証拠をビデオ推論に統合する非エージェントフレームワークであるOpen-o3 Videoを紹介した。 このモデルは、キーオブジェクトとバウンディングボックスをその答えとともに強調し、推論を具体的な視覚的な観察で基礎付けることができる。 V-STARベンチマークでは、Open-o3 Videoは最先端のパフォーマンスを達成し、mAMを14.4%、mLタイムスタンプを24.2%向上させた。
  論文  参考訳（メタデータ） (2025-10-23T14:05:56Z)
• When and What: Diffusion-Grounded VideoLLM with Entity Aware Segmentation for Long Video Understanding [12.410012029024342]
  我々は,3つの重要なイノベーションを導入することで,制限を克服するビデオLLMであるGrounded VideoDiTを紹介する。 第一に、拡散時間遅延(DTL)エンコーダは境界感度を高め、時間的一貫性を維持する。 第二に、オブジェクト基底表現は、クエリエンティティを局所化された視覚的エビデンスに明示的に結合し、アライメントを強化する。 第三に、離散時間的タイムスタンプトークンを持つ混合トークンスキームは明示的なモデリングを提供し、きめ細かい時間的推論を可能にする。
  論文  参考訳（メタデータ） (2025-08-21T15:12:14Z)
• Weakly-Supervised Video Object Grounding via Causal Intervention [82.68192973503119]
  我々は、モデル学習中にのみビデオ文アノテーションが利用できる、弱教師付きビデオオブジェクトグラウンドディング(WSVOG)の課題をターゲットにしている。 文で記述されたオブジェクトをビデオの視覚領域にローカライズすることを目的としており、パターン分析や機械学習に必要な基本的な機能である。
  論文  参考訳（メタデータ） (2021-12-01T13:13:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。