論文の概要: LA4VLA: Learning to Act without Seeing via Language-Action Pretraining

• arxiv url: http://arxiv.org/abs/2606.27295v1
• Date: Thu, 25 Jun 2026 17:13:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 18:46:32.37522
• Title: LA4VLA: Learning to Act without Seeing via Language-Action Pretraining
• Title（参考訳）: LA4VLA:Language-Action Pretrainingを通して見ることなく行動する学習
• Abstract要約: VLA(Vision-Language-Action)モデルは、視覚的な観察と言語指示を共同で行動にマッピングすることで、ロボットのデモンストレーションで一般的に事前訓練される。 LA4VLAは、視覚的観察なしに、ポリシーが言語条件付きアクションの事前取得を可能にする、言語行動事前訓練フレームワークである。
• 参考スコア（独自算出の注目度）: 51.209359878543005
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language-Action (VLA) models are commonly pretrained on robot demonstrations by jointly mapping visual observations and language instructions to actions. However, dense visual-action supervision can dominate the comparatively sparse language-action signal. As a result, policies may rely on visual shortcuts rather than learn how language conditions action execution, making them sensitive to visual variations. To address this limitation, we propose LA4VLA, a language-action pretraining framework that enables policies to acquire language-conditioned action priors without visual observations. These priors capture reusable manipulation skills shared across tasks and scenes, reducing reliance on scene-specific visual cues. Specifically, LA4VLA decomposes expert demonstration trajectories into atomic action segments and pairs each segment with a corresponding low-level action description. This yields LA4-33K, a dataset of 33K Language-Action (LA) episodes derived entirely from existing demonstrations without additional robot data collection. We further develop LA4VLA-1B, a lightweight 1B-parameter VLA model, and investigate three paradigms for incorporating language-action supervision into VLA learning: LA-only pretraining, sequential LA-to-VLA pretraining, and mixed LA-VLA pretraining. Across simulation and real-world tasks, LA-pretrained policies consistently outperform matched VLA-pretrained counterparts, while combining LA and VLA supervision leads to further gains. In particular, mixed LA-VLA pretraining improves the average success rate of LA4VLA-1B over the no-pretraining baseline by up to 17.8 and 45.0 percentage points in simulation and real-world tasks, respectively. These results establish LA4VLA as an effective and complementary pretraining strategy for building stronger and more robust VLA policies.
• Abstract（参考訳）: VLA(Vision-Language-Action)モデルは、視覚的な観察と言語指示を共同で行動にマッピングすることで、ロボットのデモンストレーションで一般的に事前訓練される。 しかし、密集した視覚行動監視は、比較的スパースな言語行動信号を支配しうる。 結果として、ポリシーは言語条件の動作方法を学ぶのではなく、視覚的なショートカットに依存し、視覚的なバリエーションに敏感になる。 この制限に対処するため、我々はLA4VLAを提案する。LA4VLAは、視覚的な観察なしに、ポリシーが言語条件付きアクションの事前取得を可能にする言語アクション事前学習フレームワークである。 これらのプリエントは、タスクやシーン間で共有される再利用可能な操作スキルをキャプチャし、シーン固有の視覚的手がかりへの依存を減らす。 具体的には、LA4VLAは、専門家による実証軌道を原子の作用セグメントに分解し、対応する低レベルの作用記述と各セグメントをペア化する。 LA4-33Kは、ロボットのデータ収集を伴わずに、既存のデモから完全に派生した33K言語アクション(LA)エピソードのデータセットである。 さらに、軽量な1BパラメータVLAモデルであるLA4VLA-1Bを開発し、言語行動監視をVLA学習に組み込むための3つのパラダイムについて検討する。 シミュレーションと実世界のタスク全体にわたって、LAが規定したポリシーは、VLAが規定したポリシーにマッチするポリシーを一貫して上回り、LAとVLAの監督を組み合わせることで、さらなる利益がもたらされる。 特に、混合LA-VLAプレトレーニングは、非プレトレーニングベースライン上でのLA4VLA-1Bの平均成功率を、シミュレーションおよび実世界のタスクにおいて最大17.8および45.0ポイント向上させる。 これらの結果はLA4VLAを、より強力で堅牢なVLAポリシーを構築するための効果的で補完的な事前訓練戦略として確立する。

関連論文リスト

• CLAP: Direct VLM-to-VLA Adaptation via Language-Action Grounding [16.03159066719039]
  CLAP(Causal Language-Action Prediction)は、自然言語アクション記述で各数値アクションシーケンスをプリペイドする。 CLAP は 0.8B, 2B, 4B で,単一の VLM 系統からオープンウェイトでマルチスケールのコンパクト VLA ファミリとしてリリースする。
  論文  参考訳（メタデータ） (2026-07-09T22:34:11Z)
• APT: Action Expert Pretraining Improves Instruction Generalization of Vision-Language-Action Policies [22.87409999086972]
  本稿では,アクションエキスパートのPreTrainingを重視した2段階のトレーニング手法を提案する。 ステージ1では、アクションエキスパートは、凍結したVLMから視覚アクションペアに先立ってVAとして事前訓練され、言語不均衡を回避します。 ステージ2では、言語トークンはゲート融合機構を通じて注入され、VLMの機能を統合すると同時に、学習したビズモレータを事前に保存する。
  論文  参考訳（メタデータ） (2026-06-10T17:34:25Z)
• Two Bridges, One Pathway: From VLMs to Generalizable VLAs with Embodied Trajectory-Coupled Data [93.7685703383343]
  視覚言語モデル(VLM)は強力な汎用推論器であるが、ロボット制御ポリシーに変換することは驚くほど難しい。 このギャップは、適切な中間データで徐々にブリッジできると我々は主張する。 本研究では,タスク関連アウト・オブ・ディストリビューションETCデータと少量のアクションデータとを混合することにより,新しい視覚言語条件に一般化できることを示す。
  論文  参考訳（メタデータ） (2026-06-07T08:57:51Z)
• LARA: Latent Action Representation Alignment for Vision-Language-Action Models [21.4758859185298]
  潜時行動モデル(LAM)は視覚力学から潜時行動表現を学習し、VLA学習のさらなる監督を提供する。 本稿では,LAMとVLAを協調的に表現アライメントにより最適化するLARA(Latent Action Representation Alignment)を提案する。 プレトレーニング,プレトレーニング後のVLAモデルの強化,およびLAM改善のためのLARAの汎用性と有効性を示す。
  論文  参考訳（メタデータ） (2026-06-05T09:51:25Z)
• QuoVLA: Quotient Space for Vision-Language-Action Models [51.02329790939691]
  VLA(Vision-Language-Action)モデルは、視覚的な観察と言語指示を連続的な行動にマッピングすることで、トレーニング済みのVLM潜伏者をロボット制御に適応させることが一般的である。 VLA の textitQuotient Theory は、事前訓練された VLM 潜伏剤は、アクションに十分ではないがアクションに十分であることを示している。 提案するQuoVLAは,事前学習されたVLMラテントを動作十分表現に圧縮する,VLAの商空間フレームワークである。
  論文  参考訳（メタデータ） (2026-05-24T06:28:53Z)
• InstructVLA: Vision-Language-Action Instruction Tuning from Understanding to Manipulation [43.83789393525928]
  InstructVLAは、大規模な視覚言語モデル(VLM)の柔軟な推論を保存し、主要な操作性能を提供するエンド・ツー・エンドの視覚言語モデルである。 InstructVLAは、新しいトレーニングパラダイムであるVision-Language-Action Instruction Tuning (VLA-IT)を導入している。 ドメイン内のSimplerEnvタスクでは、InstructVLAはSpatialVLAよりも30.5%改善されている。
  論文  参考訳（メタデータ） (2025-07-23T13:57:06Z)
• VILA: On Pre-training for Visual Language Models [74.08039416548209]
  ステップ・バイ・ステップ制御可能な比較によるVLM事前学習の設計オプションについて検討した。 私たちは、最先端のモデルよりも一貫して優れたVisual LanguageモデルファミリであるVILAを構築します。
  論文  参考訳（メタデータ） (2023-12-12T18:58:18Z)
• GLIPv2: Unifying Localization and Vision-Language Understanding [161.1770269829139]
  本稿では,ローカライズタスクとビジョンランゲージ(VL)理解タスクの両方を提供する,基底VL理解モデルGLIPv2を提案する。 GLIPv2は、ローカライゼーション事前トレーニングとビジョン言語事前トレーニングを3つの事前トレーニングタスクで統合する。 一つのGLIPv2モデルが,様々なローカライゼーションおよび理解タスクにおいて,SoTAに近い性能を達成することを示す。
  論文  参考訳（メタデータ） (2022-06-12T20:31:28Z)
• PEVL: Position-enhanced Pre-training and Prompt Tuning for Vision-language Models [127.17675443137064]
  PEVLを導入し、明示的なオブジェクト位置モデリングによる視覚言語モデルの事前学習と迅速なチューニングを促進する。 PEVLは、統一言語モデリングフレームワークにおいて、離散化されたオブジェクトの位置と言語を再構成する。 PEVLは,表現理解や句の接頭など,位置感性のあるタスクに対して,最先端のパフォーマンスを実現することができることを示す。
  論文  参考訳（メタデータ） (2022-05-23T10:17:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。