論文の概要: Act with Intent: Distilling Behavior Intent for Vision-Language-Action Models
- arxiv url: http://arxiv.org/abs/2608.23478v1
- Date: Mon, 24 Aug 2026 16:42:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:44.202014
- Title: Act with Intent: Distilling Behavior Intent for Vision-Language-Action Models
- Title（参考訳）: インテント付き行為:視覚・言語・アクションモデルのための蒸留行動インテント
- Abstract要約: VLA(Vision-Language-Action)モデルは、マルチモーダルコンテキストをロボットアクションに変換することができるが、そのアクションデコーダは行動クローニングによって主に訓練されている。
Intention Distillation (INDI) を提案する。
- 参考スコア（独自算出の注目度）: 15.173629384871013
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-Language-Action (VLA) models can turn multimodal context into robot actions, but their action decoders are still trained largely by behavior cloning. This supervises which motor command was demonstrated while leaving implicit the local objective served by the behavior under the instruction. Future-based supervision enriches action learning with frames, latent observations, trajectories, or motion representations, but these signals capture particular realizations of what may happen rather than the shared semantic objective of the forthcoming behavior. We propose Intention Distillation (INDI), which distills behavior-level intent into the action decoder. During training, a frozen teacher VLM interprets a demonstrated segment from the current observation, instruction, coarse action summary, and corresponding execution video. From its standard inputs, the deployed VLA recovers the resulting multimodal intent representation at an intermediate decoder layer and uses it to organize action prediction together with representations of how the behavior unfolds and what it achieves. On SimplerEnv-Bridge, INDI improves GR00T-N1.7 from 64.3% to 84.7%, and on RoboCasa Kitchen it improves the controlled GR00T-N1.7 baseline from 64.1% to 70.3%, with consistent gains on $π_{0.5}$ across both benchmarks. In real-world tasks, INDI improves average success from 62.0% to 68.7%, with gains of up to 12.0 pp on longer-horizon tasks. Further analyses show that the recovered latent is used by the decoder, captures behavior objective and execution progress, and organizes downstream predictions in an objective-dependent manner. These results show that action decoders benefit from explicitly modeling the semantic objective of the behavior they generate.
- Abstract（参考訳）: VLA(Vision-Language-Action)モデルは、マルチモーダルコンテキストをロボットアクションに変換することができるが、そのアクションデコーダは行動クローニングによって主に訓練されている。
これは、指示下での動作によって機能する局所的な目的を暗黙的に残しながら、どのモーターコマンドが示されるかを監督する。
未来に基づく監視は、フレーム、潜在観測、軌跡、あるいは運動表現で行動学習を豊かにするが、これらの信号は、来るべき行動の共有的な意味的目的よりも、何が起こるかの特定の実現を捉えている。
Intention Distillation (INDI) を提案する。
トレーニング中、凍結教師VLMは、現在の観察、指示、粗いアクション概要、およびそれに対応する実行ビデオから、実証されたセグメントを解釈する。
標準入力から、デプロイされたVLAは、中間デコーダ層における結果のマルチモーダルなインテント表現を復元し、動作の展開とそれが達成したことの表現とともに、アクション予測を整理する。
SimplerEnv-Bridgeでは、INDIはGR00T-N1.7を64.3%から84.7%に改善し、RoboCasa Kitchenでは制御されたGR00T-N1.7ベースラインを64.1%から70.3%に改善した。
現実世界のタスクでは、INDIは平均成功率を62.0%から68.7%に改善し、長期的なタスクでは最大12.0ppに向上する。
さらに分析した結果,回復した潜伏剤はデコーダが使用し,行動目標と実行の進捗を捉え,下流の予測を客観的な方法で整理した。
これらの結果は、アクションデコーダが生成した振る舞いの意味的目的を明示的にモデル化することの利点を示している。
関連論文リスト
- LM-X: Explainable Action Modeling with Progress, Event, and Uncertainty Prediction for Generalist Robot Manipulation [28.431160101245837]
一般視覚-言語行動(VLA)政策は、主に短期水平行動予測を通じて長期水平行動を学ぶ。
我々は,解剖学的対応を主張することなく,タスク,イベント,運動の規模にわたって予測を整理するLM-Xを紹介する。
論文 参考訳（メタデータ） (2026-08-26T13:05:29Z) - G0.5: One Autoregressive Stream for Robot Reasoning and Action [43.43377463558725]
本稿では,1つの変圧器デコーダが1つの目的の下で推論とアクショントークンを出力する,事前訓練された自己回帰VLAであるG0.5を紹介する。
推論とアクションは1組の重みを共有しているため、事前訓練されたVLMの能力は物理的な振る舞いへと引き継がれる。
G0.5は7つの独立した体制で最先端のモデルを上回っている。
論文 参考訳（メタデータ） (2026-08-12T07:26:47Z) - Generalizable VLA Finetuning via Representation Anchoring and Language-Action Alignment [42.503300854478795]
Anchor-Alignはロボットのデモにおける視覚言語アクションポリシーを改善している。
凍結したVLMコピーから層幅の表現を蒸留し、このドリフトを防ぐ。
各アクションターゲットを離散的なモーション指向ラベルに変換し、共同で言語とアクション予測を訓練する。
論文 参考訳（メタデータ） (2026-07-15T04:13:54Z) - WALA Learning Executable Latent Actions from Action-Labeled Demonstrations and Action-Free Videos [38.959415159248046]
WALAは、アクションラベル付きデモとアクションフリービデオの両方から実行可能な潜在アクションを学ぶためのフレームワークである。
WALAはRoboTwin上で高いパフォーマンスを実現し,RoboCasa上での最先端の成果を平均75.2%で実現している。
論文 参考訳（メタデータ） (2026-07-13T11:02:04Z) - Sparse2Act: Learning Action-Aligned Sparse 3D Representations for Cross-Domain Robot Manipulation [52.00134393320209]
Sparse2Actは、スパースポイントクラウドエンコーダの事前学習のための観測・動作アライメントフレームワークである。
マスク付きスパース3Dトークンは、観察と組み合わせたワークスペース運動の周囲のシーン特徴を整理するために訓練される。
LIBERO-10ベンチマークでは,500ステップの微調整を行い,平均86.9%の成功を達成した。
論文 参考訳（メタデータ） (2026-06-10T23:56:01Z) - GEAR-VLA: Learning Geometry-Aware Action Representations for Generalizable Robotic Manipulation [49.16739604572808]
VLA(Vision-Language-Action)モデルは、強力なベンチマークパフォーマンスを実現するが、目に見えないオブジェクトによる現実世界のデプロイに苦労する。
これは、統合幾何認識の操作表現が欠如していることに起因していると我々は主張する。
一般化可能なロボット操作のための統合幾何認識行動表現を学習するためのVLAフレームワークであるGEAR-VLAを提案する。
論文 参考訳（メタデータ） (2026-06-07T09:23:16Z) - QuoVLA: Quotient Space for Vision-Language-Action Models [51.02329790939691]
VLA(Vision-Language-Action)モデルは、視覚的な観察と言語指示を連続的な行動にマッピングすることで、トレーニング済みのVLM潜伏者をロボット制御に適応させることが一般的である。
VLA の textitQuotient Theory は、事前訓練された VLM 潜伏剤は、アクションに十分ではないがアクションに十分であることを示している。
提案するQuoVLAは,事前学習されたVLMラテントを動作十分表現に圧縮する,VLAの商空間フレームワークである。
論文 参考訳（メタデータ） (2026-05-24T06:28:53Z) - From Abstraction to Instantiation: Learning Behavioral Representation for Vision-Language-Action Model [76.88595728131288]
VLA(Vision-Language-Action)モデルは、分散シフト時にしばしば性能劣化に悩まされる。
時間的コヒーレントな行動表現の学習を通じて堅牢な操作を容易にするフレームワークである textbfBehaviorVLA を提案する。
RoboTwin 2.0、LIBERO、CALVINの実験では、最先端の成功率は58%、98%、および4.36(Avg.Len)である。
論文 参考訳（メタデータ） (2026-05-21T16:14:19Z) - RotVLA: Rotational Latent Action for Vision-Language-Action Model [54.22746299071677]
本稿では,連続的な回転潜在動作表現に基づくVLAフレームワークであるRotVLAを紹介する。
潜在作用はSO(n) の元としてモデル化され、連続性、構成性、および実世界の作用力学と整合した構造的幾何学を提供する。
RotVLAはVLMバックボーンとフローマッチングアクションヘッドで構成される。
論文 参考訳（メタデータ） (2026-05-13T11:58:02Z) - Grounded World Model for Semantically Generalizable Planning [94.53923128709965]
我々は、視覚言語対応の潜在空間において、グラウンドドワールドモデル(GWM)を学習する。
提案された各アクションは、タスク命令に対する将来の結果がどの程度近いかに基づいてスコアされる。
提案したWISERベンチマークでは、GWM-MPCはテストセットで87%の成功率を達成した。
論文 参考訳（メタデータ） (2026-04-13T17:25:41Z) - AIM: Intent-Aware Unified world action Modeling with Spatial Value Maps [7.710034405765985]
AIMは、明示的な空間的インターフェースを通じてこのギャップを橋渡しする意図認識の統一世界行動モデルである。
事前訓練されたビデオ生成モデルに基づいて構築されたAIMは、共有変換器アーキテクチャ内の将来の観測と値マップを共同でモデル化する。
RoboTwin 2.0ベンチマークの実験では、AIMは平均94.0%の成功率に達し、以前の統合された世界行動ベースラインを著しく上回っている。
論文 参考訳（メタデータ） (2026-04-13T07:48:58Z) - MVP-LAM: Learning Action-Centric Latent Action via Cross-Viewpoint Reconstruction [11.87290433247564]
textbfMulti-textbfViewtextbfPoint textbfLatent textbfAction textbfModel (textbfMVP-LAM)を提案する。
MVP-LAMは、時間同期マルチビュービデオから、地道的なアクションについて非常に有意義な個別の潜伏アクションを学習する。
橋梁V2では、MVP-LAMはよりアクション中心の潜伏行動を生成し、より高信頼な相互情報を得るとともに、アクション予測を改善した。
論文 参考訳（メタデータ） (2026-02-03T15:51:25Z) - Object-Centric Latent Action Learning [70.3173534658611]
本稿では,画素ではなくオブジェクトを対象とする,オブジェクト中心の潜在動作学習フレームワークを提案する。
我々は、自己教師対象中心の事前学習を利用して、行動関連や注意をそらすダイナミクスを歪めている。
その結果, 物体中心の事前学習は, トラクタの負の効果を50%軽減することがわかった。
論文 参考訳（メタデータ） (2025-02-13T11:27:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。