論文の概要: STORM: Internalized Modeling for Spatial-Temporal Reasoning in Video-Language Models

• arxiv url: http://arxiv.org/abs/2605.26014v1
• Date: Mon, 25 May 2026 16:33:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:20.472423
• Title: STORM: Internalized Modeling for Spatial-Temporal Reasoning in Video-Language Models
• Title（参考訳）: STORM:ビデオ言語モデルにおける空間時間推論のための内部モデリング
• Authors: Yiming Liang, Yixiao Chen, Yiyang Zhou, Yixuan Wang, Shoubin Yu, Andong Deng, Fuxiao Liu, Qin Zhang, Chen Chen, Mohit Bansal, Huaxiu Yao,
• Abstract要約: ビデオ推論タスクには、動きの追跡、時間順、フレーム全体の視覚状態の進化が必要である。 視覚言語モデル(LVLM)上に構築された既存の手法はしばしば、チェーン・オブ・ソート(CoT)を通じて推論を外部化することでこの問題に対処する。 STORMSは,LVLMに明示的なテキストCoTではなく,有界な連続的な潜在軌道を推論する2段階のフレームワークである。
• 参考スコア（独自算出の注目度）: 81.32710031596591
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many video reasoning tasks require tracking motion, temporal order, and evolving visual states across frames. Existing methods built on large vision-language models (LVLMs) often address this challenge by externalizing reasoning through textual chain-of-thought (CoT), keyframe selection, repeated frame reinsertion, or external tool use. While effective, such pipelines increase inference-time latency and engineering complexity, and they force temporal-visual evidence to be serialized into text or repeatedly re-encoded from frames. Inspired by the intuition that visual reasoning can occur implicitly before verbalization, we propose STORMS (Spatial-Temporal reasOning via inteRnalized Modeling), a two-stage framework that teaches LVLMs to reason through bounded continuous latent trajectories instead of explicit textual CoT. In Stage I, STORMS aligns latent tokens with thought-video representations derived from generated videos, grounding the latent states in dynamic visual evidence. In Stage II, the model is further trained with answer-only supervision, encouraging the reasoning process to be internalized without step-by-step annotations. Generated thought videos are used only during training; at inference, STORMS performs a bounded latent rollout without regenerating videos, reinserting frames, or invoking external visual tools. Experiments on VideoMME, MVBench, TempCompass, and MMVU show that STORMS improves video reasoning accuracy while substantially reducing inference overhead compared with tool or video-generation-based reasoning pipelines.
• Abstract（参考訳）: 多くのビデオ推論タスクは、動きの追跡、時間順、フレーム全体の視覚状態の進化を必要とする。 大規模な視覚言語モデル(LVLM)上に構築された既存の手法は、テキストチェーン・オブ・シークレット(CoT)、キーフレームの選択、繰り返しフレームの再挿入、あるいは外部ツールの使用を通じて推論を外部化することで、この問題に対処することが多い。 有効ではあるが、そのようなパイプラインは推論時間の遅延とエンジニアリングの複雑さを増大させ、時間的視覚的証拠をテキストにシリアライズするか、フレームから繰り返しエンコードするように強制する。 STORMS(Spatial-Temporal reasOning via inteRnalized Modeling)は,言語化の前に視覚的推論が暗黙的に発生するという直感にインスパイアされた2段階のフレームワークである。 ステージIでは、STORMSは、遅延トークンと生成されたビデオから派生した思考映像の表現を整合させ、動的視覚的証拠の潜在状態を根拠とする。 ステージIIでは、モデルは回答のみの監視によってさらに訓練され、ステップバイステップのアノテーションなしで推論プロセスの内部化が奨励される。 STORMSは、ビデオの再生、フレームの再挿入、または外部視覚ツールの呼び出しなしに、制限付き遅延ロールアウトを実行する。 VideoMME、MVBench、TempCompass、MMVUの実験では、STORMSは、ツールやビデオジェネレーションベースの推論パイプラインと比較して、推論オーバーヘッドを大幅に低減し、ビデオ推論精度を向上させる。

関連論文リスト

• When Thinking Hurts: Mitigating Visual Forgetting in Video Reasoning via Frame Repetition [22.037040360505742]
  Video Question Answeringでは、モデルはますます自己生成テキストに依存し、視覚的な入力を横取りし、幻覚を引き起こす。 軽量な繰り返しスコアリングモジュールを備えた自動拡張フレームワークであるFrameRepeatを提案する。 FrameRepeatは推論過程において重要な視覚的手がかりの強化に有効かつ一般化可能であることを示す。
  論文  参考訳（メタデータ） (2026-03-17T08:41:54Z)
• TV-RAG: A Temporal-aware and Semantic Entropy-Weighted Framework for Long Video Retrieval and Understanding [14.570869250170139]
  TV-RAGは、時間的アライメントとエントロピー誘導のセマンティクスを結合して、長時間ビデオの推論を改善する、トレーニング不要のアーキテクチャである。 これらの時間的および意味的な信号を織り合わせることで、TV-RAGは、再トレーニングや微調整なしに任意のLVLMに移植できる二重レベルの推論ルーチンを実現する。
  論文  参考訳（メタデータ） (2025-12-29T14:10:22Z)
• FrameMind: Frame-Interleaved Video Reasoning via Reinforcement Learning [65.42201665046505]
  現在のビデオ理解モデルは、各質問の特定の推論条件にかかわらず、固定されたフレームサンプリング戦略に依存し、所定の視覚入力を処理する。 この静的アプローチは、視覚的エビデンスを適応的に収集する能力を制限し、広範囲の時間的カバレッジやきめ細かい空間的詳細を必要とするタスクにおいて、最適以下のパフォーマンスをもたらす。 Frame-Interleaved Chain-of-Thought (FiCOT)を通して、モデルが推論中に視覚情報を動的に要求することを可能にする強化学習で訓練されたエンドツーエンドフレームワークであるFrameMindを紹介する。 従来のアプローチとは異なり、FrameMindは複数のターンで動作し、モデルがテキスト推論とアクティブな視覚知覚を交互に切り替え、ツールを使って抽出する。
  論文  参考訳（メタデータ） (2025-09-28T17:59:43Z)
• Video-LLMs with Temporal Visual Screening [59.18455762289321]
  テンポラル・ビジュアル・スクリーニング (TVS) はビデオ質問応答とチューニングデータを処理する新しいタスクである。 TVSは、ビデオインストラクションチューニング(トレーニング)とビデオ質問回答(推論)パイプラインの両方にシームレスに統合可能な、モジュール化されたフロントエンドアダプタタスクとして定式化されている。 実験により、TVSを取り入れた場合、相対利得は7.33%(トレーニング)、34.6%(推論)となることが示された。
  論文  参考訳（メタデータ） (2025-08-27T14:33:32Z)
• Emergent Temporal Correspondences from Video Diffusion Transformers [30.83001895223298]
  DiffTrackは、この問題に答えるために設計された最初の定量的分析フレームワークである。 分析の結果,特定のクエリキーの類似性がすべてではないが,時間的マッチングにおいて重要な役割を担っていることが明らかとなった。 本研究は,映像の時間的整合性を改善する新たなガイダンス法により,動画の動作向上に拡張する。
  論文  参考訳（メタデータ） (2025-06-20T17:59:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。