論文の概要: OpenCoF: Learning to Reason Through Video Generation
- arxiv url: http://arxiv.org/abs/2607.08763v1
- Date: Thu, 09 Jul 2026 17:58:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-10 14:45:27.628582
- Title: OpenCoF: Learning to Reason Through Video Generation
- Title（参考訳）: OpenCoF:ビデオ生成を通じて推論を学ぶ
- Abstract要約: 推論は、特に信頼性の高い決定が論理的な結果を理解する必要がある場合、大規模モデルのコア機能となっている。
最近のビデオ生成モデルは、以前のChain-of-Thought(CoT)とは異なる推論パスを提供する
我々は、11のタスクファミリーにまたがる推論ビデオデータセットからなるフレームワークOpenCoFと、多様な時間的監督がCoFの振る舞いを改善するかどうかを研究するための微調整ビデオモデルWan-CoFを紹介する。
- 参考スコア（独自算出の注目度）: 67.0484140851674
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reasoning has become a core capability for large models, especially when reliable decisions require understanding logical consequences. Recent video generation models offer a reasoning path distinct from previous Chain-of-Thought (CoT): reasoning can unfold through temporally connected frames, known as Chain-of-Frame (CoF) reasoning. However, existing video generators are primarily trained on general video corpora, still lacking diverse supervision and dedicated designs for CoF reasoning. To address this gap, we introduce OpenCoF, a framework comprising the OpenCoF-17K dataset, a reasoning video dataset spanning 11 task families, and Wan-CoF, a fine-tuned video model for studying whether diverse temporal supervision improves CoF behavior. Across four video reasoning benchmarks, Wan-CoF achieves considerable gains over the Wan2.2-I2V-A14B baseline. Building on this, we empirically explore more advanced designs for CoF capabilities, i.e., equipping the model with visual and textual reasoning tokens. This mechanism respectively captures low-level visual cues and high-level semantic priors for spatial and temporal reasoning. Through performance comparisons and attention analysis, we examine how these tokens contribute across model depth, denoising steps, space, and time. Our results suggest that stronger video reasoning requires both broad temporal supervision and explicit mechanisms for organizing intermediate reasoning state. We open-source the dataset, model, and code to facilitate future research on reasoning-oriented video generation.
- Abstract（参考訳）: 推論は、特に信頼性の高い決定が論理的な結果を理解する必要がある場合、大規模モデルのコア機能となっている。
最近のビデオ生成モデルは、以前のChain-of-Thought(CoT)とは異なる推論パスを提供しており、Chain-of-Frame(CoF)推論として知られる時間的に接続されたフレームを通じて推論を展開できる。
しかし、既存のビデオジェネレータは主に一般的なビデオコーパスで訓練されており、CoF推論のための様々な監督と専用の設計が不足している。
このギャップに対処するため、OpenCoFはOpenCoF-17Kデータセット、11のタスクファミリーにまたがる推論ビデオデータセット、Wan-CoFは、多様な時間的監督がCoFの振る舞いを改善するかどうかを研究するための微調整ビデオモデルである。
4つのビデオ推論ベンチマークで、Wan-CoFはWan2.2-I2V-A14Bベースラインよりも大幅に向上した。
これに基づいて、我々は、より高度なCoF機能の設計、すなわち、視覚的およびテキスト的推論トークンを備えたモデルを実証的に探索する。
このメカニズムはそれぞれ、空間的および時間的推論のための低レベルの視覚的手がかりと高レベルの意味的先行をキャプチャする。
性能比較と注目分析を通じて,これらのトークンがモデル深度,ステップ,空間,時間にわたってどのように寄与するかを検討する。
以上の結果から,より強力な映像推論には広範な時間的監督と,中間的推論状態の整理のための明示的なメカニズムが必要であることが示唆された。
我々は、推論指向のビデオ生成の今後の研究を促進するために、データセット、モデル、コードをオープンソース化する。
関連論文リスト
- TimeThink: Reasoning with Time for Video LLMs [28.549802513886046]
ビデオLLMにおける時間的エビデンス発見をガイドする強化学習フレームワークであるTimeThinkを提案する。
私たちのキーとなる考え方は、時間的手がかりステップをビデオ推論の基本的な最適化プリミティブとして扱うことです。
スケーラブルなトレーニングを実現するため,時間的エビデンスセグメントを自動的に抽出したデータセットであるTimeThink-RFT-20Kを構築した。
論文 参考訳（メタデータ） (2026-07-06T13:50:15Z) - MME-CoF-Pro: Evaluating Reasoning Coherence in Video Generative Models with Text and Visual Hints [95.27042253462963]
MME-CoF-Proはビデオモデルにおける推論コヒーレンスを評価するベンチマークである。
MME-CoF-Proは、視覚論理学から科学的推論まで、16のカテゴリにわたる303のサンプルを含んでいる。
論文 参考訳（メタデータ） (2026-03-20T17:59:56Z) - Think-as-You-See: Streaming Chain-of-Thought Reasoning for Large Vision-Language Models [14.21980212001207]
ビデオデータのストリーミング特性に触発されて,LVLMのストリーミング推論パラダイムを2つ検討する。
ストリーミング入力の整合性を向上するために,真の並列推論を可能にする統合フレームワークである textbfThink-as-You-See (TaYS) を提案する。
論文 参考訳（メタデータ） (2026-03-03T11:24:55Z) - Rethinking Chain-of-Thought Reasoning for Videos [19.579424881079447]
思考の連鎖(CoT)推論は自然言語処理における複雑なタスクの解決に成功している。
最近のマルチモーダル大言語モデル(MLLM)は、このパラダイムをビデオ推論に拡張している。
経験的観察によって動機づけられた我々は、簡潔な推論と少ない視覚的トークンの組み合わせは、効果的なビデオ推論に十分である、という仮説を立てた。
論文 参考訳（メタデータ） (2025-12-10T13:05:55Z) - Video-R2: Reinforcing Consistent and Grounded Reasoning in Multimodal Language Models [56.851611990473174]
動的ビジュアルコンテンツに対する推論は、大きな言語モデルにとって依然として中心的な課題である。
本稿では,時間的精度と推論一貫性を両立させる強化学習手法を提案する。
結果のモデルであるVideo R2は、複数のベンチマークでTAC、VAS、精度を一貫して向上させる。
論文 参考訳（メタデータ） (2025-11-28T18:59:58Z) - Are Video Models Ready as Zero-Shot Reasoners? An Empirical Study with the MME-CoF Benchmark [124.00111584020834]
我々は、ビデオモデルがゼロショット推論器として機能する準備が整っているかどうかを実証研究する。
私たちは、人気の高いVeo-3に注力しています。
我々は,空間的,幾何学的,物理的,時間的,具体的論理を含む12次元にわたる推論行動を評価する。
論文 参考訳（メタデータ） (2025-10-30T17:59:55Z) - StreamingCoT: A Dataset for Temporal Dynamics and Multimodal Chain-of-Thought Reasoning in Streaming VideoQA [60.86024022291499]
ストリーミングビデオストリームにおける時間的に進化する推論のために明示的に設計された最初のデータセットであるStreamingCoTを紹介する。
本フレームワークは,秒単位の高密度な記述を生成し,類似性融合により時間依存性のセマンティックセグメントを構築する。
このデータセットは、ストリーミングビデオ理解、複雑な時間的推論、マルチモーダル推論の研究を促進する基盤を確立する。
論文 参考訳（メタデータ） (2025-10-29T09:47:38Z) - VidBridge-R1: Bridging QA and Captioning for RL-based Video Understanding Models with Intermediate Proxy Tasks [41.90092896728809]
VidBridge-R1は、"Reason-Then-Respond"パラダイムの競合を効果的に橋渡しする、世界初の多目的ビデオ推論モデルである。
大規模な実験により、VidBridge-R1は1つのモデルにおいて、QAとキャプションの両方で大きなパフォーマンス向上を達成することが示された。
論文 参考訳（メタデータ） (2025-06-10T03:57:53Z) - VideoEspresso: A Large-Scale Chain-of-Thought Dataset for Fine-Grained Video Reasoning via Core Frame Selection [61.54044967253421]
空間的詳細と時間的コヒーレンスを保持するビデオQAペアを特徴とする,新しいデータセットであるVideoEspressoを紹介する。
GPT-4o を用いた QA ペア生成にあたり, 冗長性を抑えるためにセマンティック・アウェア法を用いて構成パイプラインを構築した。
フレームセレクタと2段階の命令微調整推論LVLMを備えたハイブリッドLVLM協調フレームワークを提案する。
論文 参考訳（メタデータ） (2024-11-22T08:33:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。