論文の概要: Plan-and-Verify Video Reward Reasoning with Spatio-Temporal Scene Graph Grounding

• arxiv url: http://arxiv.org/abs/2606.11838v1
• Date: Wed, 10 Jun 2026 09:18:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.383554
• Title: Plan-and-Verify Video Reward Reasoning with Spatio-Temporal Scene Graph Grounding
• Title（参考訳）: 時空間グラフグラウンドを用いたプラン・アンド・検証ビデオリワード推論
• Authors: Hyomin Kim, Junghye Kim, Joanie Hayoun Chung, Yoonjin Oh, Kyungjae Lee, Sungbin Lim, Sungwoong Kim,
• Abstract要約: テキスト・トゥ・ビデオ(T2V)生成のモデルは、しばしば細粒度のセマンティックアライメントに失敗する。 本稿では,これらの制約に対処するビデオ報酬モデルであるSG-PVRを提案する。 映像からエンティティ、属性、時間的接地関係を符号化する構造的時間的シーングラフを抽出し、永続的な構造的視覚参照として保持する。
• 参考スコア（独自算出の注目度）: 14.871440395759464
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reward models for text-to-video (T2V) generation guide post-training but often fail at fine-grained semantic alignment. We trace this to two structural weaknesses in existing reasoning-based reward models: they do not systematically verify every condition described in the prompt, and the visual evidence supporting each judgment remains implicit in their free-form reasoning. We propose SG-PVR, a video reward model that addresses these limitations through plan-and-verify reasoning grounded in spatio-temporal scene graphs. The verification plan decomposes the prompt into atomic claims, ensuring every requirement is checked. The spatio-temporal scene graph, encoding entities, attributes, and temporally-grounded relations, is extracted from the video and maintained as a persistent structured visual reference throughout reasoning. Each claim is verified against both the video and the scene graph, anchoring judgments in explicit visual evidence. SG-PVR achieves strong performance on semantic alignment, including fine-grained temporal semantics. As a test-time reranker, it further enhances compositional alignment in T2V generation.
• Abstract（参考訳）: テキスト・ツー・ビデオ(T2V)生成ガイドのリワードモデルは、トレーニング後のガイドであるが、細かなセマンティックアライメントでは失敗することが多い。 我々は、既存の推論に基づく報酬モデルにおける2つの構造的弱点に辿り着く:それらはプロンプトに記述された全ての条件を体系的に検証するものではなく、各判断を支持する視覚的証拠は、自由形推論において暗黙的に残っている。 SG-PVRは,時空間グラフに基づくプラン・アンド・ビジュアライズ推論により,これらの制約に対処するビデオ報酬モデルである。 検証計画は、プロンプトをアトミックなクレームに分解し、すべての要求がチェックされることを保証する。 エンティティ、属性、時間的接地関係を符号化した時空間図をビデオから抽出し、推論を通して永続的な構造化された視覚的参照として保持する。 各クレームはビデオとシーングラフの両方に対して検証され、明確な視覚的証拠として判断を固定する。 SG-PVRは、微細な時間的意味論を含むセマンティックアライメントにおいて強いパフォーマンスを達成する。 テストタイムリランカとして、T2V生成における組成アライメントをさらに強化する。

関連論文リスト

• STORM: Internalized Modeling for Spatial-Temporal Reasoning in Video-Language Models [81.32710031596591]
  ビデオ推論タスクには、動きの追跡、時間順、フレーム全体の視覚状態の進化が必要である。 視覚言語モデル(LVLM)上に構築された既存の手法はしばしば、チェーン・オブ・ソート(CoT)を通じて推論を外部化することでこの問題に対処する。 STORMSは,LVLMに明示的なテキストCoTではなく,有界な連続的な潜在軌道を推論する2段階のフレームワークである。
  論文  参考訳（メタデータ） (2026-05-25T16:33:00Z)
• Foresee-to-Ground: From Predictive Temporal Perception to Evidence-Driven Reasoning for Video Temporal Grounding [86.37002814396674]
  ビデオ時間グラウンドのためのフォアシー・ツー・グラウンド(F2G)を提案する。 F2Gは予測的時間知覚とエビデンス駆動推論を統合している。 さまざまなベンチマークでグラウンド化の精度を一貫して向上させる。
  論文  参考訳（メタデータ） (2026-05-21T04:03:25Z)
• Process-of-Thought Reasoning for Videos [33.74677144833003]
  Process-of-Thought (PoT) Reasoning for Videosは、ビデオ推論を軽量で検証可能なステップのシーケンスに構造化することで、推論プロセスを明確にするフレームワークである。 PoT は (i) 時間的エビデンス選択、 (ii) ステップワイズ状態更新、 (iii) 制限された応答合成をインターリーブし、ビデオエビデンスのトレーサビリティを維持しながら仮説を段階的に洗練することを可能にする。
  論文  参考訳（メタデータ） (2026-02-07T20:25:46Z)
• Video-R2: Reinforcing Consistent and Grounded Reasoning in Multimodal Language Models [56.851611990473174]
  動的ビジュアルコンテンツに対する推論は、大きな言語モデルにとって依然として中心的な課題である。 本稿では,時間的精度と推論一貫性を両立させる強化学習手法を提案する。 結果のモデルであるVideo R2は、複数のベンチマークでTAC、VAS、精度を一貫して向上させる。
  論文  参考訳（メタデータ） (2025-11-28T18:59:58Z)
• When and What: Diffusion-Grounded VideoLLM with Entity Aware Segmentation for Long Video Understanding [12.410012029024342]
  我々は,3つの重要なイノベーションを導入することで,制限を克服するビデオLLMであるGrounded VideoDiTを紹介する。 第一に、拡散時間遅延(DTL)エンコーダは境界感度を高め、時間的一貫性を維持する。 第二に、オブジェクト基底表現は、クエリエンティティを局所化された視覚的エビデンスに明示的に結合し、アライメントを強化する。 第三に、離散時間的タイムスタンプトークンを持つ混合トークンスキームは明示的なモデリングを提供し、きめ細かい時間的推論を可能にする。
  論文  参考訳（メタデータ） (2025-08-21T15:12:14Z)
• TAR-TVG: Enhancing VLMs with Timestamp Anchor-Constrained Reasoning for Temporal Video Grounding [28.79516973256083]
  時間的ビデオグラウンディングは、自然言語クエリに対応するビデオセグメントを正確にローカライズすることを目的としている。 テンポラルビデオグラウンド(TAR-TVG)のためのタイムスタンプアンカー制約推論を提案する。 TAR-TVGは、思考内容の明示的な監督を強制するために、推論プロセス内にタイムスタンプアンカーを導入する。
  論文  参考訳（メタデータ） (2025-08-11T06:59:32Z)
• Constructing Holistic Spatio-Temporal Scene Graph for Video Semantic Role Labeling [96.64607294592062]
  Video Semantic Label Roleing (VidSRL)は、与えられたビデオから健全なイベントを検出することを目的としている。 近年、VidSRLの手法が提案されているが、2つの重要な欠点を負う可能性がある。
  論文  参考訳（メタデータ） (2023-08-09T17:20:14Z)
• Jointly Visual- and Semantic-Aware Graph Memory Networks for Temporal Sentence Localization in Videos [67.12603318660689]
  階層型ビジュアル・セマンティック・アウェア推論ネットワーク(HVSARN)を提案する。 HVSARNは、オブジェクトレベルからフレームレベルへの視覚的および意味論的クエリ推論を可能にする。 3つのデータセットの実験では、HVSARNが新しい最先端のパフォーマンスを達成することが示されています。
  論文  参考訳（メタデータ） (2023-03-02T08:00:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。