論文の概要: JevVLA: Jev-Inspired Energy-Based Adaptation for Vision-Language-Action Policies
- arxiv url: http://arxiv.org/abs/2610.35010v1
- Date: Mon, 26 Oct 2026 08:21:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.794283
- Title: JevVLA: Jev-Inspired Energy-Based Adaptation for Vision-Language-Action Policies
- Title(参考訳): JevVLA:Jevにインスパイアされたエネルギーベースのビジョン・ランゲージ・アクション・ポリシーへの適応
- Abstract要約: 視覚言語アクション(VLA)ポリシーは、ピック・アンド・プレイス操作のための個別の候補を選択したり、モーションコントロールのための連続的なアクションチャンクを生成することができる。
VLAポリシーのための軽量エネルギーベース適応フレームワークであるJevVLAを提案する。
- 参考スコア(独自算出の注目度): 51.639100288732635
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-language-action (VLA) policies can select among discrete candidates for pick-and-place manipulation or generate continuous action chunks for motion control. Improving both forms of decision making through a common mechanism while retaining the capabilities of a pretrained policy is an important adaptation problem. Inspired by Jev's structured, probabilistic decision interface, we propose JevVLA, a lightweight energy-based adaptation framework for VLA policies. JevVLA instantiates this inspiration by modeling the relative quality of action proposals: with the base policy frozen, it learns a differentiable scalar energy conditioned on observations, task context, and actions, using execution feedback, expert corrections, or demonstration-derived preferences. JevVLA uses this single learned action preference function in two ways: its values compare discrete candidates, while its action gradients correct continuous actions or guide their generation. Candidate selection and continuous control thus share one trainable decision core. Each benchmark uses independently trained weights and fixed input/output encodings, while retaining the same core network with approximately 80,000 trainable parameters. On the held-out test sets, JevVLA improves task success over the respective matched base-policy controls by 1.28, 2.31, 1.60, 1.52, and 1.28 percentage points on MetaWorld MT50, VIMA, LanguageTable, LIBERO Plus, and CLIPort, respectively. These results support the feasibility of a lightweight, Jev-inspired energy model for adapting both discrete action selection and continuous action guidance. The JevVLA implementation will be open-sourced at https://github.com/ZJU4EmbodiedAI/JevVLA.
- Abstract(参考訳): 視覚言語アクション(VLA)ポリシーは、ピック・アンド・プレイス操作のための個別の候補を選択したり、モーションコントロールのための連続的なアクションチャンクを生成することができる。
事前訓練された政策の能力を維持しながら、共通のメカニズムを通じて意思決定の両形態を改善することは、重要な適応問題である。
Jevの構造化された確率的決定インタフェースに触発され、我々はVLAポリシーのための軽量エネルギーベースの適応フレームワークであるJevVLAを提案する。
JevVLAは、アクション提案の相対的な品質をモデル化することによって、このインスピレーションをインスタンス化します。基本方針を凍結することで、実行フィードバック、専門家の修正、あるいはデモから派生した好みを使用して、観察、タスクコンテキスト、アクションに基づいて条件付けられた微分可能なスカラーエネルギーを学習します。
JevVLAは、この単一の学習された行動選好関数を2つの方法で使用します。
候補選択と継続的制御は、トレーニング可能な1つの決定コアを共有する。
各ベンチマークは独立にトレーニングされた重みと固定された入出力エンコーディングを使用し、約80,000のトレーニング可能なパラメータを持つ同じコアネットワークを保持する。
保持されたテストセットでは、JevVLAは、MetaWorld MT50、VIMA、LanguageTable、LIBERO Plus、CLIPortのそれぞれ1.28、2.31、1.60、1.52、および1.28パーセントのタスク成功率をそれぞれ改善している。
これらの結果は、離散的な行動選択と連続的な行動誘導の両方に適応するための軽量でJevにインスパイアされたエネルギーモデルの実現性を支持する。
JevVLAの実装はhttps://github.com/ZJU4EmbodiedAI/JevVLAでオープンソース化される。
関連論文リスト
- Learning to Accelerate Vision-Language-Action Models through Adaptive Visual Token Caching [25.295588774254952]
我々は、学習可能なポリシー最適化問題として推論加速度を再構成する。
本稿では,タスク認識による意思決定プロセスを直接Vision-Language-Actionモデルに統合する新しいフレームワークを提案する。
提案手法は, 平均成功率を同時に向上させながら, 1.76倍のウォールクロック推定速度向上を実現する。
論文 参考訳(メタデータ) (2026-01-31T12:12:51Z) - AC^2-VLA: Action-Context-Aware Adaptive Computation in Vision-Language-Action Models for Efficient Robotic Manipulation [21.23747444669735]
VLAモデル(AC2-VLA)に対するアクションコンテキスト対応適応計算を提案する。
AC2-VLAは、タイムステップ間の認識再利用、トークンプルーニング、統一メカニズム内のモデルコンポーネントの選択的な実行を適応的に行う。
ロボット操作ベンチマークの実験では、AC2-VLAはFLOPを29.4%まで減らし、最大1.79倍のスピードアップを達成した。
論文 参考訳(メタデータ) (2026-01-27T14:10:39Z) - InstructVLA: Vision-Language-Action Instruction Tuning from Understanding to Manipulation [43.83789393525928]
InstructVLAは、大規模な視覚言語モデル(VLM)の柔軟な推論を保存し、主要な操作性能を提供するエンド・ツー・エンドの視覚言語モデルである。
InstructVLAは、新しいトレーニングパラダイムであるVision-Language-Action Instruction Tuning (VLA-IT)を導入している。
ドメイン内のSimplerEnvタスクでは、InstructVLAはSpatialVLAよりも30.5%改善されている。
論文 参考訳(メタデータ) (2025-07-23T13:57:06Z) - Fine-Tuning Vision-Language-Action Models: Optimizing Speed and Success [100.226572152954]
視覚言語アクションモデル(VLA)のための最適化された微調整レシピを提案する。
われわれのレシピはOpenVLAの4つのタスクスイートの平均成功率を76.5%から97.1%に引き上げ、アクション生成のスループットを26$times$に向上させた。
実世界の評価において、我々の微調整のレシピにより、OpenVLAはバイマガルALOHAロボット上でデクスタラスで高周波な制御タスクをうまく実行することができる。
論文 参考訳(メタデータ) (2025-02-27T00:30:29Z) - OpenVLA: An Open-Source Vision-Language-Action Model [131.74098076670103]
我々は、970kの現実世界のロボットデモの多様なコレクションに基づいて訓練されたオープンソースのVLAであるOpenVLAを紹介した。
OpenVLAは汎用的な操作の強力な結果を示し、RT-2-X (55B) のようなクローズドモデルよりも16.5%高い絶対的なタスク成功率を示した。
モデルチェックポイント、微調整ノートブック、そしてOpen X-Embodimentデータセット上で大規模にVLAをトレーニングするためのビルトインサポートを備えたPyTorchをリリースしています。
論文 参考訳(メタデータ) (2024-06-13T15:46:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。