論文の概要: From Evaluation to Enhancement: Benchmarking and Improving Think-with-Video Reasoning for Video Generative Models
- arxiv url: http://arxiv.org/abs/2609.11242v1
- Date: Thu, 10 Sep 2026 08:40:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 23:53:35.258936
- Title: From Evaluation to Enhancement: Benchmarking and Improving Think-with-Video Reasoning for Video Generative Models
- Title（参考訳）: 評価から強化へ:映像生成モデルのための思考推論によるベンチマークと改善
- Abstract要約: VWG-Bench (Video World Generalist Benchmark)は、9つの推論次元と38のきめ細かいタスクにまたがる包括的なベンチマークである。
本稿では,モデルに依存しないプロンプトリライタであるVid-PRE (Video Reason Prompter and Enhancer)を提案する。
- 参考スコア（独自算出の注目度）: 42.398664944109676
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Video generation has advanced to produce visually compelling and temporally coherent results. Yet, whether these models can genuinely think with video--executing symbolic rules, respecting physical laws, and pursuing intentional goals--remains an open question. Existing benchmarks only partially address this, often conflating visual quality with cognitive correctness. We introduce VWG-Bench (Video World Generalist Benchmark), a comprehensive benchmark spanning 9 reasoning dimensions and 38 fine-grained tasks. To enable precise diagnosis, we design a three-level VLM-as-Judge protocol that independently assesses video-level fluency, task-level rule adherence, and sample-level goal realization. Evaluations of leading models reveal a striking gap: while models achieve strong rendering scores, they consistently fail on logic-heavy and rule-constrained tasks. To address this, we propose Vid-PRE (Video Prompt Reasoner and Enhancer), a model-agnostic prompt rewriter that offloads the cognitive burden of reasoning to a dedicated VLM. Trained via reinforcement learning with purely text-based rewards, Vid-PRE produces concise, constraint-aware prompts without the instability of video-level reward signals. Experiments show that Vid-PRE yields substantial reasoning improvements across multiple generators without architectural modifications. Together, VWG-Bench and Vid-PRE offer a rigorous diagnostic lens and a scalable path toward true think-with-video capabilities. All data and code are publicly available at https://huggingface.co/datasets/KlingTeam/VWG-Bench.
- Abstract（参考訳）: ビデオ生成は視覚的に魅力的で時間的に一貫性のある結果を生み出すために進歩してきた。
しかし、これらのモデルが、ビデオで象徴的なルールを実践し、物理的法則を尊重し、意図的な目標を追求することで真に考えることができるかどうかについては、未解決の疑問が残る。
既存のベンチマークはこの問題に部分的に対処するだけであり、視覚的品質と認知的正しさを混同することが多い。
VWG-Bench (Video World Generalist Benchmark)は、9つの推論次元と38のきめ細かいタスクにまたがる包括的なベンチマークである。
正確な診断を可能にするために,ビデオレベルの流速,タスクレベルの規則順守,サンプルレベルの目標実現を独立に評価する3レベルVLM-as-Judgeプロトコルを設計する。
モデルが強いレンダリングスコアを達成する一方で、ロジック重大でルール制約のあるタスクでは常に失敗します。
そこで本研究では,Vid-PRE (Video Prompt Reasoner and Enhancer)を提案する。
Vid-PREは、純粋にテキストベースの報酬による強化学習によって訓練され、ビデオレベルの報酬信号の不安定さを伴わずに、簡潔で制約対応のプロンプトを生成する。
実験により、Vid-PREは、アーキテクチャの変更なしに複数のジェネレータ間で実質的な推論の改善をもたらすことが示された。
VWG-BenchとVid-PREは、厳格な診断レンズと、真の思考とビデオ機能へのスケーラブルな道を提供する。
すべてのデータとコードはhttps://huggingface.co/datasets/KlingTeam/VWG-Benchで公開されている。
関連論文リスト
- VLMs are Good Teachers for Video Reasoning via Adaptive Test-Time Optimization [34.39134324001484]
視覚言語モデル(VLM)の役割を「教師」に移行させるパラダイムシフトを導入する。
VLMの教師は、タスク固有のルールを識別可能な報酬に抽出し、LoRAモジュールのテストタイムオンライン最適化を通じてVReasonerを定式化する。
この戦略は、適応的なテスト時間最適化を可能にし、Vの本質的な境界を越えて推論能力を拡張する。
論文 参考訳（メタデータ） (2026-06-01T17:54:26Z) - CogOmniControl: Reasoning-Driven Controllable Video Generation via Creative Intent Cognition [64.38611644311136]
我々は、制御可能なビデオ生成を創造的な意図認識と生成に分解する推論駆動フレームワークであるCag OmniControlを紹介する。
具体的には,アニメ制作データを用いて,特殊なCagVLMを訓練する。
一般的なVLMと比較すると、よりプロ的で明確な出力を生成し、スパースや抽象的な条件からユーザの創造的意図を正確に認識する。
論文 参考訳（メタデータ） (2026-05-19T15:29:33Z) - CollabVR: Collaborative Video Reasoning with Vision-Language and Video Generation Models [41.60751475372144]
ビデオ生成モデル(VGM)は、ゴール指向タスクにおいて繰り返し発生する障害モードを示す。
ステップレベルの批判においてVLMとVGMを結合するクローズドループフレームワークであるVLM-VGMコラボレーションビデオ推論(CollabVR)を提案する。
Gen-ViReとVBVR-Benchでは、CollabVRはシングル推論、Pass@$k$、マッチした計算における以前のテストタイムスケーリングベースラインよりも、オープンソースとクローズドソース両方のVGMを改善している。
論文 参考訳（メタデータ） (2026-05-09T06:39:17Z) - Video-MME-v2: Towards the Next Stage in Benchmarks for Comprehensive Video Understanding [98.3098451637867]
Video-MME-v2は、ビデオ理解の堅牢性と忠実さを厳格に評価するために設計された総合的なベンチマークである。
データ品質を保証するため、Video-MME-v2は厳格に制御された人間のアノテーションパイプラインを通して構築される。
論文 参考訳（メタデータ） (2026-04-06T17:59:56Z) - Think with Grounding: Curriculum Reinforced Reasoning with Video Grounding for Long Video Understanding [38.87967229483403]
Video-TwGは、新しいThink-with-Groundingパラダイムを採用したカリキュラム強化フレームワークである。
Video-TwGは、複雑な補助モジュールや注釈付き推論トレースに頼ることなく、簡単にエンドツーエンドでトレーニングすることができる。
提案アルゴリズムは, 微粒な接地報酬, 自己確認擬似報酬, 精度保証機構を特徴とする。
論文 参考訳（メタデータ） (2026-02-21T03:16:23Z) - Video-CoM: Interactive Video Reasoning via Chain of Manipulations [78.64256470920166]
Interactive Video Reasoningを導入し、モデルが「ビデオについて考える」ことができるようにします。
当社のモデルである Video CoM は,CoM (Chain of Manipulations) を介し,証拠を収集・精査するための反復的な視覚行動を行う。
Video CoMは9つのビデオ推論ベンチマークで強い結果を出し、最近のアートモデルと比べて平均性能を3.6%向上させた。
論文 参考訳（メタデータ） (2025-11-28T18:59:57Z) - VideoSSR: Video Self-Supervised Reinforcement Learning [62.25888935329454]
RLVR(Reinforcement Learning with Verifiable Rewards)は、MLLM(Multimodal Large Language Models)の映像理解能力を大幅に向上させた。
ビデオ内のリッチで本質的な情報は、高品質で検証可能なトレーニングデータの自己生成に利用できますか?
論文 参考訳（メタデータ） (2025-11-09T08:36:40Z) - Vgent: Graph-based Retrieval-Reasoning-Augmented Generation For Long Video Understanding [56.45689495743107]
Vgentは、長いビデオ理解のためにLVLMを強化するグラフベースの検索推論拡張生成フレームワークである。
我々は,3つの長ビデオ理解ベンチマークを用いて,様々なオープンソースLVLMを用いてフレームワークの評価を行った。
論文 参考訳（メタデータ） (2025-10-15T19:14:58Z) - VideoEspresso: A Large-Scale Chain-of-Thought Dataset for Fine-Grained Video Reasoning via Core Frame Selection [61.54044967253421]
空間的詳細と時間的コヒーレンスを保持するビデオQAペアを特徴とする,新しいデータセットであるVideoEspressoを紹介する。
GPT-4o を用いた QA ペア生成にあたり, 冗長性を抑えるためにセマンティック・アウェア法を用いて構成パイプラインを構築した。
フレームセレクタと2段階の命令微調整推論LVLMを備えたハイブリッドLVLM協調フレームワークを提案する。
論文 参考訳（メタデータ） (2024-11-22T08:33:36Z) - Needle In A Video Haystack: A Scalable Synthetic Evaluator for Video MLLMs [20.168429351519055]
ビデオ理解はマルチモーダル大言語モデル(LMLM)にとって重要な次のステップである
合成ビデオ生成によるベンチマーク構築フレームワークであるVideoNIAH(Video Needle In A Haystack)を提案する。
我々は、プロプライエタリモデルとオープンソースモデルの両方を包括的に評価し、ビデオ理解能力の重大な違いを明らかにする。
論文 参考訳（メタデータ） (2024-06-13T17:50:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。