論文の概要: Beyond Actions: Learning Future Operation Targets for Vision-Language-Action Models
- arxiv url: http://arxiv.org/abs/2610.13212v2
- Date: Mon, 12 Oct 2026 06:58:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-14 23:39:49.931798
- Title: Beyond Actions: Learning Future Operation Targets for Vision-Language-Action Models
- Title(参考訳): 行動を超えて:ビジョンランゲージ・アクションモデルのための将来の運用目標を学習する
- Abstract要約: 本稿では,将来的な物理的効果を政策の主要な予測対象とするアクション-フューチャー結合効果学習(AFCE)を紹介する。
AFCEは50.97%$で、それぞれ$_0.5$、UVTを11.82ポイント、UVTを15.21ポイント改善している。
- 参考スコア(独自算出の注目度): 56.97744308982891
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Actions specify what a robot should execute, but do not describe what those commands will achieve. Vision-language-action (VLA) policies nevertheless learn primarily by predicting action chunks from images, language, and state. We introduce Action--Future Coupled Effect Learning (AFCE), which makes a future-grounded physical Effect the policy's primary prediction target. An offline tokenizer constructs temporally ordered Effect tokens from demonstrated actions, realized robot responses, and sparse visual transitions. Reconstruction objectives encourage the representation to retain executable detail and observed physical change. A flow-matching VLA predicts Effects from current images, instruction, and robot state, while a state-conditioned decoder converts them into action chunks. Embodiment-specific interfaces allow single- and dual-arm tasks to share the Effect model. On DexJoCo, AFCE achieves $50.97\%$ overall success, improving over $π_{0.5}$ and UVT by 11.82 and 15.21 percentage points, respectively. It leads on all five bimanual tasks, highlighting the value of Effect supervision for coordinated dexterous manipulation. The project page is available at https://afceproject.github.io/AFCE-Web/.
- Abstract(参考訳): アクションは、ロボットが実行すべきものを指定するが、そのコマンドが何を達成するかを記述しない。
視覚言語アクション(VLA)ポリシーは、画像、言語、状態からアクションチャンクを予測することで主に学習する。
本稿では,将来的な物理的効果を政策の主要な予測対象とするアクション-フューチャー結合効果学習(AFCE)を紹介する。
オフライントークン化器は、実証された動作から時間的に順序付けられたエフェクトトークンを構築し、実現されたロボット応答と疎視的な遷移を発生させる。
レコンストラクションの目的は、表現が実行可能な詳細を保持し、物理的変化を観察することを奨励する。
フローマッチングVLAは、現在の画像、命令、ロボットの状態から効果を予測し、状態条件のデコーダはそれらをアクションチャンクに変換する。
エボディメント固有のインターフェースは、シングルアームとデュアルアームのタスクがエフェクトモデルを共有することを可能にする。
DexJoCo では AFCE が 50.97 %$ で、それぞれ π_{0.5}$ と UVT を 11.82 と 15.21 で改善している。
これは5つのバイマニュアルタスクすべてに導かれ、コーディネートされた外的操作に対するエフェクトの監督の価値を強調している。
プロジェクトのページはhttps://afceproject.github.io/AFCE-Web/.comで公開されている。
関連論文リスト
- PAIR: Bridging Perception and Action in Vision-Language-Action Models [7.619235741393162]
視覚言語アクション(VLA)モデルは、視覚的な観察と言語指示を連続したロボットアクションにマッピングする。
このタスクはシーンを記述する表現からアクション生成をサポートする表現へ移行する必要がある。
PAIRは、これらの2つの空間間での認識-行動の共有表現を学習するフレームワークである。
論文 参考訳(メタデータ) (2026-10-06T19:11:19Z) - Learning Skills from Historical Action Trajectories: Action Experience Dictionary for World Action Models [129.76412745258145]
World Action Models(WAM)は、視覚力学予測とアクション生成を結合するが、操作タスク間のアクションエクスペリエンスの再利用を明示的にサポートしていない。
本研究では,歴史的行動軌跡を共有行動埋め込みにエンコードするアクション体験辞書(AED)を開発した。
シミュレーション・ベンチマークと実世界のクロス・エボディメント・セッティングの実験により,AEDの有効性が検証された。
論文 参考訳(メタデータ) (2026-09-30T17:26:38Z) - WorldLine: Action-Driven Visual Simulation for Robotic Manipulation [87.68211863253049]
実世界のロボット学習は、経験を収集し、候補行動を評価するコストに制約される。
異種アクショングラウンドから学習した移動可能なダイナミクスを分離する,アクション駆動型ビジュアルシミュレータ WorldLine を紹介する。
WorldLineは、1万時間以上のアクションフリーロボットビデオから操作のダイナミクスを学び、2000時間以上のアクショントラジェクトリを使ってそれらをグラウンドする。
論文 参考訳(メタデータ) (2026-09-29T17:26:22Z) - Achieve What You Imagined: Learning to Align Actions with Visual Plans [37.7412146305617]
世界行動モデルは、将来の視覚的な観察とロボットのアクションを共同で予測することができる。
視覚的予測と、生成された行動によって引き起こされる結果の間には、相違がある可能性がある。
我々は、フリーズされた行動条件付き世界モデルを用いて、行動条件付き結果の予測とフィードバックの構築を行う。
論文 参考訳(メタデータ) (2026-09-27T18:32:40Z) - Unified Visuomotor Targets: Supervising VLAs Beyond Physical Actions [7.055196586502248]
VLAモデルは、視覚的および言語的な観察からロボット行動を予測するために訓練されている。
VLMはシーンとゴールのリッチでハイレベルな表現をエンコードしますが、ロボットアクションはタスク構造に制限のある低レベルな信号です。
UVT(Unified Visuomotor Target)は,運動制御と映像の遷移情報を協調的に符号化する潜在予測ターゲットである。
論文 参考訳(メタデータ) (2026-08-04T12:29:30Z) - Generalizable VLA Finetuning via Representation Anchoring and Language-Action Alignment [42.503300854478795]
Anchor-Alignはロボットのデモにおける視覚言語アクションポリシーを改善している。
凍結したVLMコピーから層幅の表現を蒸留し、このドリフトを防ぐ。
各アクションターゲットを離散的なモーション指向ラベルに変換し、共同で言語とアクション予測を訓練する。
論文 参考訳(メタデータ) (2026-07-15T04:13:54Z) - RepWAM: World Action Modeling with Representation Visual-Action Tokenizers [120.87642891397853]
RepWAMは表現中心の世界アクションモデルであり、視覚アクショントークン化器をベースとしている。
我々は、視覚的な入力を協調した視覚的および潜在的なアクショントークンにマッピングする表現的アクショントークンーを訓練する。
次に、将来的な視覚状態と、それらを言語命令で接続する潜在アクションを共同でモデル化するように、WAMを事前訓練する。
論文 参考訳(メタデータ) (2026-06-11T17:59:43Z) - ViPRA: Video Prediction for Robot Actions [33.310474967770894]
我々は、アクションレスビデオから連続ロボット制御を学ぶためのフレームワークViPRA(Video Prediction for Robot Actions)を提案する。
アクションを直接予測する代わりに、将来の視覚的観察と動き中心の潜伏行動の両方を予測するためにビデオ言語モデルを訓練する。
下流制御では,潜時動作をロボット固有の連続動作シーケンスにマッピングするチャンクフローマッチングデコーダを導入する。
論文 参考訳(メタデータ) (2025-11-11T01:33:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。