論文の概要: Imagine the Future, Internalize the Gist: Efficient VLA Reasoning via Internalized Spatiotemporal Imagination
- arxiv url: http://arxiv.org/abs/2610.02626v1
- Date: Fri, 02 Oct 2026 00:31:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:14:30.136668
- Title: Imagine the Future, Internalize the Gist: Efficient VLA Reasoning via Internalized Spatiotemporal Imagination
- Title(参考訳): 未来を想像して, ギストを内部化する: 空間的空間的イマジネーションによる効率的なVLA推論
- Abstract要約: IG-VLAは、モデルが未来を想像し、内部化することを可能にするVLA推論フレームワークである。
潜時推論は、視覚的表現空間において、タスク関連将来のシーンの進化を直接想像することを学ぶ。
シーンギストメモリは、推論に基づくシーンビヘイビア関係をコンパクトなシーンギストトークンに内部化する。
- 参考スコア(独自算出の注目度): 35.063172649546026
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-language-action (VLA) models increasingly incorporate intermediate reasoning to improve robotic manipulation, yet existing approaches primarily reason about observed states without explicitly anticipating future scene evolution. Extending such reasoning to explicit future rollouts at every inference step, however, introduces substantial computational overhead. We propose IG-VLA, a VLA reasoning framework that enables models to imagine the future and internalize the gist. Our Latent Spatiotemporal Reasoning learns to imagine task-relevant future scene evolution directly in visual representation space, guiding action prediction without costly pixel-level video generation. To further reduce inference overhead, we introduce Scene Gist Memory, which internalizes reasoning-derived scene-behavior associations into a compact Scene Gist Token, preserving the benefits of future reasoning while bypassing explicit future imagination at inference. Extensive experiments on LIBERO, LIBERO-Plus, and VLABench demonstrate the effectiveness and efficiency of IG-VLA. On the LIBERO-Plus Language suite, both the reasoning and gist policies outperform the strongest baseline by nearly 6% in success rate. The gist policy also achieves up to 6.38x speedup over baselines, reducing inference latency from 1081ms to 169.5ms per action chunk on a single NVIDIA A6000 GPU. These results demonstrate that future spatiotemporal reasoning can be effectively internalized for efficient VLA deployment.
- Abstract(参考訳): 視覚言語アクション(VLA)モデルは、ロボット操作を改善するための中間的推論をますます取り入れている。
しかし、推論の各ステップでそのような推論を将来のロールアウトに拡張することは、かなりの計算オーバーヘッドをもたらす。
VLA推論フレームワークIG-VLAを提案する。
我々の潜在時空間推論は、視覚表現空間に直接タスク関連シーンの進化を想像し、コストのかかるピクセルレベルのビデオ生成を伴わずにアクション予測を導くことを学習する。
推論オーバーヘッドをさらに軽減するために,推論に基づくシーンビヘイビア関係をコンパクトなScene Gist Tokenに内部化し,推論における明示的な未来想像を回避しつつ,将来の推論のメリットを保ったScene Gist Memoryを導入する。
LIBERO, LIBERO-Plus, VLABenchの大規模実験によりIG-VLAの有効性と効率が示された。
LIBERO-Plus言語スイートでは、推論とgistポリシーの両方が、成功率の6%近くで最強のベースラインを上回っている。
gistポリシはまた、ベースライン上で最大6.38倍のスピードアップを実現し、単一のNVIDIA A6000 GPU上での推論遅延を1081msから169.5msに短縮する。
これらの結果から, 将来の時空間推論は効率的なVLA展開のために効果的に内部化できることが示された。
関連論文リスト
- FOCA: Future-Oriented Conditioning for Data-Efficient Vision-Language-Action Adaptation [14.178611843420683]
データ効率のよいVLA適応のための未来指向コンディショニングフレームワークFOCAを紹介する。
FOCAはタスク・グラウンドの将来の相互作用の埋め込みの明示的な予測と将来の目標観測への暗黙のアライメントを組み合わせている。
実験では、LIBEROで20回のデモを行い、FOCAが95.7%成功し、RoboCasaで7-12%改善し、実際のロボットで最大26%の絶対ゲインを達成している。
論文 参考訳(メタデータ) (2026-06-18T18:54:51Z) - Continuous Reasoning for Vision-Language-Action [7.904405860789613]
視覚言語アクション(VLA)ポリシーは、自然言語よりもはるかに微細な時間スケールで行動を選択する必要がある。
我々は、有効なVLA推論媒体は、モデルインスタンス間で共有可能であり、下流の動作改善を通じて検証可能であり、時間的に拡張された制御構造と整合していなければならないと論じる。
我々のモデルはまず、連続的な思考の構造化された集合の形で連続的推論を予測し、それらをチャンク構造化された行動生成のための共有コンテキストとして再利用する。
論文 参考訳(メタデータ) (2026-05-29T18:02:09Z) - QuoVLA: Quotient Space for Vision-Language-Action Models [51.02329790939691]
VLA(Vision-Language-Action)モデルは、視覚的な観察と言語指示を連続的な行動にマッピングすることで、トレーニング済みのVLM潜伏者をロボット制御に適応させることが一般的である。
VLA の textitQuotient Theory は、事前訓練された VLM 潜伏剤は、アクションに十分ではないがアクションに十分であることを示している。
提案するQuoVLAは,事前学習されたVLMラテントを動作十分表現に圧縮する,VLAの商空間フレームワークである。
論文 参考訳(メタデータ) (2026-05-24T06:28:53Z) - LVDrive: Latent Visual Representation Enhanced Vision-Language-Action Autonomous Driving Model [16.87741001074065]
VLA(Vision-Language-Action)モデルは、エンドツーエンドの自動運転のための有望なフレームワークとして登場した。
近年、世界モデリングによる濃密な視覚監視を取り入れようとする試みは、しばしばピクセルレベルの画像再構成を過度に強調している。
自律運転のための遅延視覚表現拡張VLAフレームワークであるLVDriveを提案する。
論文 参考訳(メタデータ) (2026-05-21T07:31:49Z) - From Imagined Futures to Executable Actions: Mixture of Latent Actions for Robot Manipulation [88.39072412680633]
将来の映像を実行可能な表現に変換する制御指向インタフェースであるMoLAを提案する。
我々は,シミュレーションベンチマークと実世界のロボット操作タスクに対するアプローチを評価した。
論文 参考訳(メタデータ) (2026-05-12T14:15:16Z) - LatentPilot: Scene-Aware Vision-and-Language Navigation by Dreaming Ahead with Latent Visual Reasoning [51.969318585152116]
LatentPilotは、トレーニング中の将来の観察を貴重なデータソースとして利用して、アクション条件付きビジュアルダイナミクスを学習する。
そこで本稿では,フライホイール方式のトレーニング機構を提案する。これは,道路上の軌道を反復的に収集し,エージェントの行動分布に適合するようにモデルを再訓練する。
R2R-CE、RxR-CE、R2R-PEベンチマークの実験では新たなSOTA結果が得られた。
論文 参考訳(メタデータ) (2026-03-31T02:21:59Z) - Self-Correcting VLA: Online Action Refinement via Sparse World Imagination [55.982504915794514]
本稿では, 自己補正VLA (SC-VLA) を提案する。
SC-VLAは最先端のパフォーマンスを達成し、最高タスクスループットを16%削減し、最高パフォーマンスのベースラインよりも9%高い成功率を得る。
論文 参考訳(メタデータ) (2026-02-25T06:58:06Z) - HiF-VLA: Hindsight, Insight and Foresight through Motion Representation for Vision-Language-Action Models [39.350965975615104]
HiF-VLAは、双方向の時間的推論に動きを利用する統一的なフレームワークである。
過去のダイナミクスを後見の先行を通してエンコードし、前見の推論を通して将来の動きを予測し、後見の変調された共同専門家を通して統合する。
現実世界の長距離操作タスクにおいて大幅な改善を実現し、実用的なロボット設定においてその幅広い効果を実証している。
論文 参考訳(メタデータ) (2025-12-10T18:59:32Z) - CoT-VLA: Visual Chain-of-Thought Reasoning for Vision-Language-Action Models [89.44024245194315]
視覚言語行動モデル(VLA)に明示的な視覚連鎖(CoT)推論を組み込む手法を提案する。
視覚およびアクショントークンの理解と生成が可能な最先端の7B VLAであるCoT-VLAを紹介する。
実験の結果,CoT-VLAは実世界の操作タスクでは17%,シミュレーションベンチマークでは6%,最先端のVLAモデルでは6%,高い性能を示した。
論文 参考訳(メタデータ) (2025-03-27T22:23:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。