論文の概要: Understanding and Mitigating the Video-Action Generalization Gap via Temporal Ratio

• arxiv url: http://arxiv.org/abs/2607.08127v1
• Date: Thu, 09 Jul 2026 05:56:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-10 14:45:27.420166
• Title: Understanding and Mitigating the Video-Action Generalization Gap via Temporal Ratio
• Title（参考訳）: 時間比によるビデオアクション一般化ギャップの理解と緩和
• Abstract要約: 生成的ビデオファンデーションモデルは、強い構成的先行性を示す。 ワールドアクションモデル(WAM)とビデオアクションモデル(VAM)は、ロボットアクションデータを微調整した後、これらの先例を失うことが多い。 この本質的な特徴注意パターンを利用する推論時適応誘導法を提案する。
• 参考スコア（独自算出の注目度）: 42.378085641934796
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Generative video foundation models exhibit strong compositional priors, yet world-action models (WAMs) and video-action models (VAMs) often lose these priors after finetuning on robotic action data. We refer to this discrepancy as the video-action generalization gap. In this paper, we systematically investigate this gap by evaluating a comprehensive design space of VAMs, demonstrating that standard design choices yield no emergent explanation pattern. To explain this behavior, we introduce the Temporal Ratio (TR), an attention-based measure of how strongly the action head relies on future latent rollouts relative to the anchored current frame. TR has two key properties: first, a model's structural reliance on future-predictive latents, measured via TR, acts as a predictor of its compositional generalization capacity; second, it natively fluctuates based on task phase, shifting attention to future frames during planning and reverting to the present frame for precise manipulation. Finally, based on these findings, we propose an inference-time adaptive guidance method, which exploits this intrinsic feature attention pattern to dynamically amplify compositional video conditioning signals precisely when the policy relies on future rollouts. Evaluated on the LIBERO benchmark and real-world tasks, our approach mitigates the OOD-ID compositional generalization gap. More details: https://umishra.me/temporal-ratio/
• Abstract（参考訳）: 生成的ビデオファンデーションモデルは、強い構成的先行性を示すが、世界アクションモデル(WAM)とビデオアクションモデル(VAM)は、ロボットアクションデータを微調整した後、これらの先行性を失うことが多い。 この違いをビデオアクションの一般化ギャップと呼ぶ。 本稿では,VAMの包括的設計空間を評価することで,このギャップを体系的に検討し,標準設計選択が創発的説明パターンを生じさせないことを示す。 この振る舞いを説明するために、動作ヘッドが現在のフレームに対する将来の潜伏ロールアウトにどれだけ強く依存するかを注意に基づく尺度であるテンポラル比(TR)を導入する。 TRは2つの重要な特性を持つ: 1つは、モデルが将来の予測潜在能力に依存すること、もう1つは、その構成一般化能力の予測器として機能し、もう1つは、タスクフェーズに基づいてネイティブに変動し、計画中に将来のフレームに注意を移し、そして、正確な操作のために現在のフレームに戻すことである。 最後に,これらの知見に基づいて,この本質的な特徴注意パターンを利用して,ポリシーが今後のロールアウトに依存する場合に,動的に合成ビデオコンディショニング信号を増幅する推論時適応誘導手法を提案する。 LIBEROベンチマークと実世界のタスクに基づいて,OOD-ID合成一般化ギャップを緩和する。 詳細:https://umishra.me/temporal-ratio/

関連論文リスト

• Adaptive Multi-Granularity Temporal Modeling for Weakly Supervised Video Anomaly Detection [1.2072875728151518]
  弱教師付きビデオ異常検出(WSVAD)が重要な研究フロンティアとして登場した。 既存のほとんどのアプローチは、厳密で手作りの時間的優先順位に依存して異常スコアを監督するMultiple Instance Learning (MIL)フレームワークでWSVADを定式化する。 本稿では,複数の時間的粒度にまたがるビデオダイナミックスの変化を明示的に考慮したWSVADの適応時間的モデリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-09-04T12:27:43Z)
• COMET: Contrastive Motion-Enhanced Temporal Reasoning for Video Multimodal Large Language Models [15.39037309359101]
  ビデオ多モーダル大言語モデルは大幅に進歩しているが、微粒な動き・時間的理解は脆弱である。 本稿では,ビデオMLLMを明示的な時間的表現によって体系的に強化する,時間的基盤のフレームワークであるCOMETを提案する。 最適化のために、COMETは時間的事前蒸留と時間的順序を直接学習信号に変換する前方逆TC-GRPOステージを組み合わせる。
  論文  参考訳（メタデータ） (2026-08-21T12:28:36Z)
• Native Video-Action Pretraining for Generalizable Robot Control [77.59831077077176]
  LingBot-VA 2.0は、エンボディメントのためにゼロから構築されたビデオアクション基盤モデルである。 高周波推論の要求を満たすため,本モデルは疎いMOEバックボーンを用いる。 現実のデプロイメントは、堅牢な基盤モデルとしてLingBot-VA 2.0を検証する。
  論文  参考訳（メタデータ） (2026-07-09T16:15:43Z)
• What Makes Video World Model Latents Action-Relevant: Prediction over Reconstruction [9.020077150911526]
  動作関連構造は、主に画素再構成の忠実度ではなく、時間的ビデオ事前学習によって駆動される。 本研究は,行動関連ビデオ表現の主成分として時間的予測構造(再構成忠実性ではなく,時間的予測構造)を同定した。
  論文  参考訳（メタデータ） (2026-06-05T04:43:02Z)
• CaC: Advancing Video Reward Models via Hierarchical Spatiotemporal Concentrating [49.94171749437024]
  本稿では,ビジョンランゲージモデルに基づく粗大な異常報酬モデルである集中と集中(CaC)を提案する。 フレーム単位のバウンディングボックスアノテーション,時間的異常ウィンドウ,微粒な属性ラベルを備えた,最初の大規模ビデオ異常データセットを構築した。 実験では、CaCは微妙な異常に安定して集中することができ、微細な異常ベンチマークの精度が25.7%向上した。
  論文  参考訳（メタデータ） (2026-05-12T08:08:33Z)
• HarmoWAM: Harmonizing Generalizable and Precise Manipulation via Adaptive World Action Models [58.191567345416836]
  世界行動モデル(WAM)は、物理力学のモデリングによるロボット制御のための有望なパラダイムとして登場した。 HarmoWAMは、予測と反応の制御を統一するために世界モデルを完全に活用し、一般的なトランジットと正確な操作を可能にする。 実世界の6つのロボットタスクにまたがる3つのトレーニング未確認テスト環境を構築し、背景、位置、オブジェクトの意味のバリエーションをカバーした。
  論文  参考訳（メタデータ） (2026-05-11T17:59:56Z)
• NoiseGate: Learning Per-Latent Timestep Schedules as Information Gating in World Action Models [19.272356473995245]
  World Action Models (WAM) は、ロボットアクション生成と将来の観測モデリングを結びつけるポリシーである。 NoiseGateは軽量なゲーティングポリシーネットワークで、遅延時間当たりのインクリメントをデノイング中に出力する。 NoiseGateは多様なRoboTwinランダムシーン操作タスクに対して一貫したゲインを提供する。
  論文  参考訳（メタデータ） (2026-05-08T14:31:52Z)
• FutureVLA: Joint Visuomotor Prediction for Vision-Language-Action Model [73.03346643967309]
  我々は、効果的な共同運動予測モデルには、時間的連続性と視覚的条件による監督的疎結合の両方が必要であると論じる。 FutureVLAは、視覚情報と運動情報を最初に分離することで、関節振動子埋め込みを抽出するように設計されている。 訓練後の段階において、我々は遅延埋め込みアライメント戦略を採用し、様々な下流VLAモデルによりこれらの時間的先行を内部化することができる。
  論文  参考訳（メタデータ） (2026-03-11T12:39:55Z)
• Chain of World: World Model Thinking in Latent Motion [24.24061036481793]
  VLA(Vision-Language-Action)モデルはしばしば、視覚力学の基礎となる予測的・時間的・因果的構造を見落としている。 我々は,世界モデルの時間的推論を非絡み合いの潜在動作表現と統合する新しい「世界の連鎖」パラダイムであるCoWVLAを紹介した。 CoWVLAは、既存のワールドモデルおよび潜在アクションアプローチより優れ、適度な計算効率を達成する。
  論文  参考訳（メタデータ） (2026-03-03T17:52:06Z)
• StepVAR: Structure-Texture Guided Pruning for Visual Autoregressive Models [98.72926158261937]
  本稿では,Visual AutoRegressive モデルのためのトレーニングフリートークン解析フレームワークを提案する。 我々は局所的なテクスチャの詳細を捉えるために軽量なハイパスフィルタを使用し、グローバルな構造情報を保存するために主成分分析(PCA)を活用している。 スパーストークンの下で有効な次世代の予測を維持するために,近接した特徴伝達戦略を導入する。
  論文  参考訳（メタデータ） (2026-03-02T11:35:05Z)
• Temporal Graph Pattern Machine [17.352525018007473]
  時間的グラフパターンマシン(TGPM)は、時間的に偏ったランダムウォークによって合成された相互作用パッチとして、各相互作用を概念化する。 TGPMは、トランスダクティブリンク予測とインダクティブリンク予測の両方において、常に最先端の性能を達成する。
  論文  参考訳（メタデータ） (2026-01-30T01:46:13Z)
• MAUCell: An Adaptive Multi-Attention Framework for Video Frame Prediction [0.0]
  本稿では,GAN(Generative Adrative Networks)とアテンション機構を組み合わせたマルチアテンションユニット(MAUCell)を導入する。 新しい設計システムは、時間的連続性と空間的精度の平衡を維持し、信頼性の高い映像予測を提供する。
  論文  参考訳（メタデータ） (2025-01-28T14:52:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。