論文の概要: Breaking the Vision-Action Shortcut: Latent Interface Training for Generalizable Robotics Foundation Models

• arxiv url: http://arxiv.org/abs/2609.12641v1
• Date: Fri, 11 Sep 2026 09:42:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.698077
• Title: Breaking the Vision-Action Shortcut: Latent Interface Training for Generalizable Robotics Foundation Models
• Title（参考訳）: ビジョン・アクション・ショートカットを破る:汎用ロボティクス・ファウンデーション・モデルのための潜在インターフェース・トレーニング
• Abstract要約: 本稿では,ロボット基礎モデルのトレーニングのためのフレームワークに依存しない2段階戦略を提案する。 ステージ1は、画像の前に空間ゴール条件のアクションを確立し、その後、ポーズ制御された潜在インターフェイスを通して視覚条件を制約する。 ステージ2では、視覚的および意味的な表現を集約し、事前訓練されたアクションエキスパートの唯一の視覚的条件付けパスとして機能する潜在インターフェースが導入されている。
• 参考スコア（独自算出の注目度）: 3.215979391291133
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robot foundation models achieve strong in-distribution performance but often degrade under visual distribution shifts. When learning to generate actions from pretrained visual representations, models may exploit task-irrelevant visual cues that correlate with demonstrated actions within the training distribution. Such vision-action shortcuts can undermine generalization when these correlations change under distribution shifts. Mitigating these shortcuts requires constraining how visual information is used for action generation while preserving task-relevant spatial information. We propose Latent Interface Training (LIT), a framework-agnostic two-stage strategy that first establishes a spatial-goal-conditioned action prior without images, then constrains visual conditioning through a pose-supervised latent interface. Stage 1 trains the action expert to generate action chunks conditioned on language, robot state, and each demonstrated chunk's terminal SE(3) end-effector pose, learning goal-directed action generation independently of visual cues. Stage 2 introduces a latent interface that aggregates visual and semantic representations and serves as the pretrained action expert's only visual conditioning pathway. The interface is supervised to reconstruct the terminal pose previously used to condition Stage 1, encouraging it to retain the goal-relevant spatial information needed for action generation. Across four vision-language-action and world-action architectures (Pi0.5, MolmoAct2, FAST-WAM, and ImageWAM), LIT improves overall LIBERO-Plus success by 3.87-10.70 percentage points while preserving or improving average LIBERO success. Real-world evaluations show 13.30-16.70 percentage-point gains in success aggregated across three tasks under unseen camera configurations, lighting variations, and distractors.
• Abstract（参考訳）: ロボットファンデーションモデルは、強い分配性能を達成するが、視覚分布シフトの下では劣化することが多い。 事前訓練された視覚的表現から行動を生成することを学ぶとき、モデルはトレーニング分布内の実演行動と相関するタスク非関連視覚的手がかりを利用することができる。 このような視覚作用のショートカットは、分布シフトの下でこれらの相関が変化すると一般化を損なう。 これらのショートカットを緩和するには、タスク関連空間情報を保持しながら、アクション生成に視覚情報がどのように使用されるかを制限する必要がある。 画像のない空間ゴール条件のアクションを最初に確立し,次にポーズ制御された潜時インタフェースを通して視覚条件を制約するフレームワークに依存しない2段階戦略である潜時インタフェーストレーニング(LIT)を提案する。 ステージ1では、アクションエキスパートを訓練して、言語、ロボット状態、そしてそれぞれのデモされたチャンクの端末SE(3)エンドエフェクタポーズを生成し、視覚的手がかりとは無関係に目標指向のアクション生成を学習する。 ステージ2では、視覚的および意味的な表現を集約し、事前訓練されたアクションエキスパートの唯一の視覚的条件付けパスとして機能する潜在インターフェースが導入されている。 インターフェースは、以前ステージ1に使用されていた端末のポーズを再構築し、アクション生成に必要な目標関連空間情報を保持するよう促す。 4つのビジョン言語と世界行動アーキテクチャ(Pi0.5、MomoAct2、FAST-WAM、ImageWAM)でLITはLIBERO-Plusの成功を3.87-10.70ポイント改善し、平均LIBEROの成功を保存または改善している。 実世界の評価では、目立たないカメラ構成、照明のバリエーション、気を散らす3つのタスクで合計13.30-16.70パーセントの成功率を示している。

関連論文リスト

• LAWM-3D: Learning 3D-Aware Latent Actions from Human Videos for Generalizable Robot World Models [64.11117186468533]
  世界モデルは、エージェントが現実世界のインタラクションなしで前方ロールアウトと計画を実行することを可能にする。 既存のLAMのほとんどはシングルビュー入力に依存しており、主に2Dピクセル空間で動作する。 LAWM-3Dは、3D対応の潜伏動作を学習するための3つの密結合型鍵設計を提案する。
  論文  参考訳（メタデータ） (2026-08-06T07:47:01Z)
• AffordanceVLA: A Vision-Language-Action Model Empowering Action Generation through Affordance-Aware Understanding [55.535374902204296]
  AffordanceVLAは、タスク指向の中間表現として構造化された価格予測を導入する統一フレームワークである。 AffordanceVLAは様々な操作シナリオで高いパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2026-06-04T13:28:51Z)
• Action with Visual Primitives [36.230909065494345]
  VLA(Vision-Language-Action)モデルは、汎用的なロボット操作のための有望なパラダイムとして登場した。 AVP(Action with Visual Primitives)は、このビジュアルプリミティブ中心のインターフェースを実装したエンドツーエンドアーキテクチャである。 AVP は pi_0.5 よりも 27.61% 向上し,近年の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2026-05-21T08:52:47Z)
• DiffusionAnything: End-to-End In-context Diffusion Learning for Unified Navigation and Pre-Grasp Motion [2.061143628317803]
  最近の視覚言語アクション(VLA)モデルは、視覚入力から直接アクションを推測するが、膨大な計算資源を必要とする。 本稿では,画像空間の拡散を統一的に行うことで,距離空間のナビゲーションとセンチメートルの操作を両立させる。 このモデルは、新規シーンへの堅牢なゼロショットの一般化を実現しつつ、オンボード展開に適している。
  論文  参考訳（メタデータ） (2026-03-27T11:40:13Z)
• Universal Pose Pretraining for Generalizable Vision-Language-Action Policies [83.39008378156647]
  既存のVision-Language-Action(VLA)モデルは、しばしば機能崩壊と訓練効率の低下に悩まされる。 本稿では,VLAトレーニングを3次元空間前駆体抽出のための事前学習フェーズに分離する,分離されたパラダイムであるPose-VLAを提案する。 我々のフレームワークは2段階の事前学習パイプラインに従い、ポーズと動きのアライメントによる基本的な空間接地を確立する。
  論文  参考訳（メタデータ） (2026-02-23T11:00:08Z)
• Agentic Jigsaw Interaction Learning for Enhancing Visual Perception and Reasoning in Vision-Language Models [63.69856480318313]
  AGILEは、対話的なプロセスとしてジグソー解決を定式化し、モデルが環境に徐々に関与できるようにする。 我々は AGILE がジグソータスクの性能を大幅に向上させることを示す。 また、9つの一般的な視覚タスクに対して強力な一般化を示し、平均3.1%の改善を実現した。
  論文  参考訳（メタデータ） (2025-10-01T17:58:05Z)
• Flex: End-to-End Text-Instructed Visual Navigation from Foundation Model Features [59.892436892964376]
  本稿では,視覚に基づく制御ポリシを用いて,ロバストな閉ループ性能を実現するために必要な最小限のデータ要件とアーキテクチャ適応について検討する。 この知見はFlex (Fly lexically) で合成され, 凍結パッチワイド特徴抽出器として, 事前学習された視覚言語モデル (VLM) を用いたフレームワークである。 本研究では,本手法の有効性を,行動クローンによる訓練を実世界のシーンに応用した,四重項フライ・トゥ・ターゲットタスクに適用した。
  論文  参考訳（メタデータ） (2024-10-16T19:59:31Z)
• Learning View-Disentangled Human Pose Representation by Contrastive Cross-View Mutual Information Maximization [33.36330493757669]
  本研究では2次元人間のポーズから、ポーズ依存とビュー依存因子を分離する新しい表現学習手法を提案する。 異なる視点から実行された同じポーズの相互情報を最大化する相互情報(CV-MIM)を用いてネットワークを訓練する。 CV-MIMは、シングルショットのクロスビュー設定において、競合する他の手法よりも大きなマージンで優れている。
  論文  参考訳（メタデータ） (2020-12-02T18:55:35Z)
• Learning Long-term Visual Dynamics with Region Proposal Interaction Networks [75.06423516419862]
  オブジェクト間およびオブジェクト環境間の相互作用を長距離にわたってキャプチャするオブジェクト表現を構築します。 単純だが効果的なオブジェクト表現のおかげで、我々の手法は先行手法よりも大幅に優れている。
  論文  参考訳（メタデータ） (2020-08-05T17:48:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。