論文の概要: Learning Action Priors for Cross-embodiment Robot Manipulation

• arxiv url: http://arxiv.org/abs/2606.26095v1
• Date: Wed, 24 Jun 2026 17:59:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.426137
• Title: Learning Action Priors for Cross-embodiment Robot Manipulation
• Title（参考訳）: クロス・エボディメント・ロボット・マニピュレーションのための学習行動優先順位
• Abstract要約: ほとんどのビジョン・ランゲージ・アクション(VLA)モデルは、アクション・モジュールをアタッチし、完全なポリシーを共同で最適化することでビジョン・ランゲージ・モデル(VLM)のバックボーン上に構築される。 この研究は、モーダルなVLAアライメントの前に、動作先行でアクションモジュールを事前訓練することを提案する。 本稿では,動作モジュールに時間的交叉運動構造を持たせるための2段階のトレーニングフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 46.92215687389683
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most Vision-Language-Action (VLA) models build on a Vision-Language Model (VLM) backbone by attaching an action module and optimizing the full policy jointly. This design inherits strong visual and linguistic priors from the VLM, but leaves the action module to learn physical motion almost from scratch. As a result, the policy lacks an explicit motion prior, forcing early optimization to simultaneously discover temporal action dynamics and cross-modal alignment, a challenge further amplified in cross-embodiment settings. In this work, we propose to pretrain the action module with motion priors before cross-modal VLA alignment. Specifically, we introduce a two-stage training framework that equips the action module with cross-embodiment temporal motion structure before VLA training begins. In Stage~1, a lightweight flow-matching-based encoder-decoder action module efficiently learns temporal motion structure solely from unconditioned action trajectories, without processing visual or language tokens. In Stage~2, this learned prior is transferred to VLA training through decoder reuse and early-stage latent distillation, aligning visual-language features with the action embedding space while still allowing end-to-end policy refinement. In addition, the trained encoder serves as a compact history compressor, summarizing state-action histories into a single temporal context token for history-aware modeling at negligible cost. Extensive experiments across 13 diverse cross-embodiment tasks on both simulated and real-world platforms validate the effectiveness of our approach. Compared with VLA training without action priors, our model achieves faster convergence, higher success rates, and substantially stronger performance on data-scarce real-world tasks. Moreover, scaling up the action data in Stage~1 yields a more generalizable action prior that directly improves downstream VLA performance.
• Abstract（参考訳）: ほとんどのビジョン・ランゲージ・アクション(VLA)モデルは、アクション・モジュールをアタッチし、完全なポリシーを共同で最適化することでビジョン・ランゲージ・モデル(VLM)のバックボーン上に構築される。 この設計は、VLMから強い視覚的・言語的先行性を引き継いでいるが、アクションモジュールは、ほとんどゼロから物理的な動きを学ぶために残されている。 結果として、ポリシーには明確な動きがないため、初期最適化では時間的動作のダイナミクスとモーダルなアライメントを同時に発見せざるを得なくなり、これはクロス・エボディメント・セッティングにおいてさらに増幅される。 本研究では,モーダルなVLAアライメント前において,動作先行のアクションモジュールを事前訓練することを提案する。 具体的には,VLA訓練開始前に動作モジュールに時間的交叉運動構造を持たせるための2段階のトレーニングフレームワークを提案する。 Stage~1では、軽量なフローマッチングベースのエンコーダ・デコーダ・アクション・モジュールが、視覚や言語トークンを処理せずに、無条件のアクション・トラジェクトリからのみ時間運動構造を学習する。 ステージ~2では、この学習はデコーダの再利用と早期の潜水蒸留を通じてVLA訓練に移行し、視覚言語の特徴をアクション埋め込み空間と整合させながら、エンド・ツー・エンドのポリシー改善を可能にした。 さらに、訓練されたエンコーダは、コンパクトな履歴圧縮機として機能し、状態-動作履歴を、無視可能なコストで履歴-認識モデリングのための単一の時間的コンテキストトークンに要約する。 シミュレーションおよび実世界のプラットフォーム上での13の多種多様なクロス・エボディメント・タスクに対する大規模な実験により、我々のアプローチの有効性が検証された。 VLAトレーニングとアクション前処理を比べると,本モデルはより高速な収束,高い成功率,より強力な実世界のタスク性能を実現している。 さらに、ステージ~1でアクションデータをスケールアップすると、より一般化可能なアクションが得られ、下流のVLAのパフォーマンスが直接改善される。

関連論文リスト

• TS-Mask VLA: 2D Temporal-Spatial Masking for Vision-Language-Action Model with Effective Bridging [18.666233973595762]
  TS-Mask VLAはロボット操作のための視覚言語アクションフレームワークである。 本手法は,(1)ブリッジアテンションコンディショニングブリッジを備えた離散アクションエキスパート,(2)時空間2Dマスキング戦略の2つの重要な設計に基づいて構築されている。 0.5Bパラメータしか持たない平均的な成功率は9%に達し、かなり大きなモデルを上回る。
  論文  参考訳（メタデータ） (2026-07-10T07:06:02Z)
• Two Bridges, One Pathway: From VLMs to Generalizable VLAs with Embodied Trajectory-Coupled Data [93.7685703383343]
  視覚言語モデル(VLM)は強力な汎用推論器であるが、ロボット制御ポリシーに変換することは驚くほど難しい。 このギャップは、適切な中間データで徐々にブリッジできると我々は主張する。 本研究では,タスク関連アウト・オブ・ディストリビューションETCデータと少量のアクションデータとを混合することにより,新しい視覚言語条件に一般化できることを示す。
  論文  参考訳（メタデータ） (2026-06-07T08:57:51Z)
• SpaAct: Spatially-Activated Transition Learning with Curriculum Adaptation for Vision-Language Navigation [40.318940817058746]
  Vision-and-Language Navigation (VLN)は、インボディードエージェントが自然言語の指示に従い、目に見えない3D環境のターゲット場所へナビゲートできるようにすることを目的としている。 我々は、VLMをVLNに適応させるには、そのような認識を得るための2つの補完的な能力を与える必要があると論じている。 本稿では,VLMにおける動的空間認識を活性化するトレーニングフレームワークであるSpaActを提案する。
  論文  参考訳（メタデータ） (2026-04-30T09:09:40Z)
• DIAL: Decoupling Intent and Action via Latent World Modeling for End-to-End VLA [72.9197085473598]
  DIALはハイレベルな意思決定と低レベルなモーター実行を、差別化可能な潜在意図ボトルネックを通じてブリッジするフレームワークである。 VLMベースのSystem-2は、VLMのネイティブな特徴空間内で、潜伏した視覚的フォレストによって潜伏世界モデリングを行う。 軽量のSystem-1ポリシーでは、この予測された意図と現在の観測結果を正確にロボットの動作にデコードする。
  論文  参考訳（メタデータ） (2026-03-31T15:02:27Z)
• UMO: Unified In-Context Learning Unlocks Motion Foundation Model Priors [78.85130555487432]
  UMOは、様々な下流タスクを原子単位の操作の合成にキャストする、単純だが汎用的な統一的な定式化である。 具体的には、フレーム単位のインテントを特定するために3つの学習可能なフレームレベルのメタオペレーション埋め込みを導入し、事前訓練されたバックボーンにコンテキスト内キューを注入するために、軽量の時間融合を採用している。 UMOは幅広いベンチマークでタスク固有のベースラインとトレーニング不要ベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-03-16T22:44:52Z)
• ConLA: Contrastive Latent Action Learning from Human Videos for Robotic Manipulation [27.54751123419347]
  人間のビデオからロボットポリシーを学習するための教師なし事前学習フレームワークであるConLAを提案する。 人間のビデオのみに事前学習を行うことで、実際のロボット軌道事前学習で得られた性能を初めて上回ります。
  論文  参考訳（メタデータ） (2026-01-31T06:40:57Z)
• Robotic VLA Benefits from Joint Learning with Motion Image Diffusion [114.60268819583017]
  VLA(Vision-Language-Action)モデルは、マルチモーダルな観察と指示を直接行動にマッピングすることで、ロボット操作において顕著な進歩を遂げた。 動き推論機能を備えたVLAモデルを強化する新しい戦略である動き画像拡散を用いた共同学習を提案する。 シミュレーションと実世界の両方の環境での実験により、モーション画像拡散による共同学習がpiシリーズVLAの成功率を97.5%に向上させることが示された。
  論文  参考訳（メタデータ） (2025-12-19T19:07:53Z)
• VITA-VLA: Efficiently Teaching Vision-Language Models to Act via Action Expert Distillation [76.13140980997508]
  VLA(Vision-Language Action)モデルは、事前訓練された視覚言語モデル(VLM)の強い知覚能力を活用することにより、ロボット操作を著しく向上させる。 本稿では,VLMに事前訓練された小規模な行動モデルから知識を伝達することで,動作実行能力を持たせる,簡易かつ効果的な蒸留ベースフレームワークを提案する。 5つの操作課題にわたる実世界の実験において,本手法は教師モデルより一貫して優れ,82.0%の成功率(17%改善)を達成した。
  論文  参考訳（メタデータ） (2025-10-10T17:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。