論文の概要: Beyond Visual CoT: Internalized Visual Thinking for Proactive Video Reasoning
- arxiv url: http://arxiv.org/abs/2608.15869v1
- Date: Sun, 16 Aug 2026 17:35:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.456097
- Title: Beyond Visual CoT: Internalized Visual Thinking for Proactive Video Reasoning
- Title（参考訳）: プロアクティブビデオ推論のための内部化されたビジュアル思考
- Abstract要約: マルチモーダルな大規模言語モデルは、空間的、時間的、具体的環境を推論するために視覚的連鎖(Visual CoT)をますます利用している。
モデルが推論を直接推論しながら、トレーニング中に視覚的に思考することを学ぶことができるかどうかを問う。
テキストによる予測と、ラベルのないビデオに対する次の埋め込み予測を共同で最適化するフレームワークであるInnalized Visual Thinking (IVT)を紹介した。
- 参考スコア（独自算出の注目度）: 15.521458272682308
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal large language models increasingly use visual chain-of-thought (Visual CoT) to reason about spatial, temporal, and embodied environments. By generating intermediate reasoning images, Visual CoT provides an intuitive mechanism for visual foresight but introduces substantial inference overhead, which is particularly problematic for proactive video reasoning. We ask whether models can learn to think visually during training while reasoning directly at inference. We introduce Internalized Visual Thinking (IVT), a post-training framework that jointly optimizes textual prediction and next-embedding prediction over unlabeled videos. Given a partially observed video, IVT predicts latent representations of future frames together with the target textual answer, encouraging the model to capture motion, object transitions, interactions, and latent intent. At inference, IVT generates the answer directly without synthesizing or re-encoding future frames. We conduct controlled studies across target representations, decoder designs, prediction horizons, data mixtures, training curricula, and predictive objectives. IVT improves over direct-answer fine-tuning on all six evaluation settings while retaining the same inference pathway. Compared with explicit Visual CoT, IVT achieves comparable or better performance and reduces average end-to-end latency by more than 5x. Together, our findings suggest that explicit pixel-space generation at inference time, as used in visual chain-of-thought, may not be necessary for effective proactive video reasoning. Predictive world modeling can be internalized during training to produce multimodal reasoners that are both more accurate and substantially more efficient.
- Abstract（参考訳）: マルチモーダルな大規模言語モデルは、空間的、時間的、具体的環境を推論するために視覚的連鎖(Visual CoT)をますます利用している。
中間的推論画像を生成することで、Visual CoTは視覚的フォレストに対する直感的なメカニズムを提供するが、かなりの推測オーバーヘッドをもたらすため、特にプロアクティブなビデオ推論では問題となる。
モデルが推論を直接推論しながら、トレーニング中に視覚的に思考することを学ぶことができるかどうかを問う。
テキストによる予測と、ラベルのないビデオに対する次の埋め込み予測を共同で最適化する、トレーニング後のフレームワークであるInnalized Visual Thinking (IVT)を紹介する。
部分的に観察されたビデオから、IVTは将来のフレームの潜在表現と対象のテキスト応答を予測し、モデルに動き、オブジェクト遷移、相互作用、潜在意図を捉えるよう促す。
推論時にIVTは、将来のフレームを合成または再エンコードすることなく、直接答えを生成する。
我々は、対象表現、デコーダ設計、予測水平線、データ混合、訓練カリキュラム、予測目的を横断する制御された研究を行う。
IVTは、同一の推論経路を維持しながら、6つの評価設定の全てについて直接答える微調整を改善する。
明示的なVisual CoTと比較すると、IVTは同等または改善されたパフォーマンスを実現し、平均的なエンドツーエンドレイテンシを5倍以上削減する。
この結果から,視覚連鎖で用いられるように,投射時の明示的なピクセル空間生成は,効果的なプロアクティブなビデオ推論には必要ではない可能性が示唆された。
予測的世界モデリングはトレーニング中に内部化され、より正確かつ実質的に効率の良いマルチモーダル推論器を生成することができる。
関連論文リスト
- From Frames to Temporal Graphs: In-Context Egocentric Action Recognition with Vision-Language Models [67.00247936789127]
エゴセントリックビデオにおけるアクション推論は、手-対象相互作用のきめ細かい遷移を捉える必要がある。
本稿では,映像をテンポラルアクショングラフに変換することによって,視覚知覚を象徴的推論から切り離すことを提案する。
論文 参考訳（メタデータ） (2026-06-13T18:00:42Z) - VTI-CoT: Visual-Textual Interleaved Chain of Thought for Video Reasoning [10.735514435202662]
ビデオ推論は、複雑な時間的出来事とビデオ内の因果関係を理解することを目的としている。
既存のChain-of-Thought(CoT)ビデオ推論手法は、論理的推論のためのテキストのみの情報に依存している。
テキスト推論のステップを対応する視覚フレームと統合するためのVisual-Textual Interleaved CoTフレームワークを提案する。
論文 参考訳（メタデータ） (2026-06-04T05:55:15Z) - STORM: Internalized Modeling for Spatial-Temporal Reasoning in Video-Language Models [81.32710031596591]
ビデオ推論タスクには、動きの追跡、時間順、フレーム全体の視覚状態の進化が必要である。
視覚言語モデル(LVLM)上に構築された既存の手法はしばしば、チェーン・オブ・ソート(CoT)を通じて推論を外部化することでこの問題に対処する。
STORMSは,LVLMに明示的なテキストCoTではなく,有界な連続的な潜在軌道を推論する2段階のフレームワークである。
論文 参考訳（メタデータ） (2026-05-25T16:33:00Z) - Through the Lens of Contrast: Self-Improving Visual Reasoning in VLMs [60.93949629734977]
モデル生成論理における幻覚を軽減するために,視覚コントラスト型自己学習共振器(VC-STaR)を提案する。
多様なVQAデータセットを収集し、マルチモーダルな類似性に応じてコントラストペアをキュレートし、VC-STaRを用いて合理性を生成する。
大規模な実験によると、VC-STaRは既存の自己改善アプローチを上回るだけでなく、SoTA視覚推論データセットで微調整されたモデルを上回る。
論文 参考訳（メタデータ） (2026-03-03T03:18:31Z) - TwiFF (Think With Future Frames): A Large-Scale Dataset for Dynamic Visual Reasoning [39.81570843186615]
VCoT(Visual Chain-of-Thought)は、視覚的知覚を中間的推論ステップに統合することにより、マルチモーダル推論を強化するための有望なパラダイムとして登場した。
TwiFFは、270万ドルのビデオクリップから派生した、最初の大規模、時間的に基底付けられたVCoTデータセットである。
TwiFFは既存のVCoT手法やテキスト・チェーン・オブ・ソート・ベースラインを動的推論タスクで大幅に上回っていることを示す。
論文 参考訳（メタデータ） (2026-02-11T09:20:04Z) - Interleaved Latent Visual Reasoning with Selective Perceptual Modeling [42.93438443502933]
インターリーブ推論パラダイムは視覚フィードバックでマルチモーダル大言語モデル(MLLM)を強化するが、計算コストの禁止によって妨げられる。
有望な代替手段である、潜伏した視覚的推論は、このボトルネックを回避しますが、現在、重要なトレードオフを強制しています。
IVR(Interleaved Latent Visual Reasoning)は、動的状態の進化を正確に知覚モデリングと統合するフレームワークである。
論文 参考訳（メタデータ） (2025-12-05T12:09:39Z) - FutureSightDrive: Thinking Visually with Spatio-Temporal CoT for Autonomous Driving [19.81442567260658]
本稿では,VLAを画像で考えることのできる視覚的テンポラルTフレームワークを提案する。
nuScenes と NAVSIM では、FSDrive は精度を改善し、衝突を減らす。
論文 参考訳（メタデータ） (2025-05-23T09:55:32Z) - Predicting Long-horizon Futures by Conditioning on Geometry and Time [49.86180975196375]
我々は,過去を前提とした将来のセンサ観測の課題を探求する。
マルチモーダリティを扱える画像拡散モデルの大規模事前学習を活用する。
我々は、屋内と屋外のシーンにまたがる多様なビデオのセットについて、ビデオ予測のためのベンチマークを作成する。
論文 参考訳（メタデータ） (2024-04-17T16:56:31Z) - Unleashing Text-to-Image Diffusion Models for Visual Perception [84.41514649568094]
VPD (Visual Perception with a pre-trained diffusion model) は、視覚知覚タスクにおいて、事前訓練されたテキスト・画像拡散モデルの意味情報を利用する新しいフレームワークである。
本稿では,提案したVPDを用いて,下流の視覚的タスクに迅速に適応できることを示す。
論文 参考訳（メタデータ） (2023-03-03T18:59:47Z) - See, Think, Confirm: Interactive Prompting Between Vision and Language
Models for Knowledge-based Visual Reasoning [60.43585179885355]
本稿では,知識に基づく視覚推論のための新しいフレームワークであるInteractive Prompting Visual Reasoner(IPVR)を提案する。
IPVRには3つのステージがある。
我々は,知識に基づく視覚的推論データセットについて実験を行った。
論文 参考訳（メタデータ） (2023-01-12T18:59:50Z) - Unified Recurrence Modeling for Video Action Anticipation [16.240254363118016]
本稿では,メッセージパッシングフレームワークを用いたビデオアクション予測のための統合再帰モデルを提案する。
提案手法は,EPIC-Kitchenデータセットの大規模化において,従来よりも優れている。
論文 参考訳（メタデータ） (2022-06-02T12:16:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。