Fugu-MT 論文翻訳(概要): Vision-Language Models Are Joint Denoisers in Robotic Action Generation

論文の概要: Vision-Language Models Are Joint Denoisers in Robotic Action Generation

arxiv url: http://arxiv.org/abs/2611.01215v2
Date: Thu, 05 Nov 2026 05:41:38 GMT
ステータス: 翻訳完了
システム内更新日: 2026-11-06 21:50:50.28051
Title: Vision-Language Models Are Joint Denoisers in Robotic Action Generation
Title（参考訳）: 視覚言語モデルとロボット行動生成
Abstract要約: JADEは、VLMとアクションエキスパートが共同でアクションを洗練できるようにする統合アクションデノイザーである。共同記述により、JADEはより少ないサンプリングステップでアクションを生成することができ、VLM参加のさらなるコストを相殺することができる。 RoboDojoでは、JADEが平均成功率12.67%に達し、評価された$_0.5$ベースのメソッドの中で最も高い。
参考スコア（独自算出の注目度）: 48.31759166763538
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Diffusion-based vision-language-action (VLA) models cascade pretrained vision-language models (VLMs) with diffusion action experts, but typically restrict the VLM to providing static conditioning. This separation limits how much pretrained perception and reasoning can guide action generation, especially in out-of-distribution settings. We introduce JADE, a Joint Action DEnoiser that enables the VLM and action expert to jointly refine actions. Our key insight is that structured action latents allow the VLM to read the current noisy action together with visual observations and language instructions. At every denoising step, the VLM contextualizes the noisy action and guides the action expert through gated cross-attention, so that its guidance evolves with the action being generated. We further supervise the VLM to recover clean action latents from noisy ones, which gives it a direct action-learning signal and couples perception with control. Additionally, joint denoising enables JADE to generate actions with fewer sampling steps, helping offset the additional cost of VLM participation. An adaptive step-size schedule further balances task performance and inference latency. On RoboDojo, JADE achieves an average success rate of 12.67%, the highest among the evaluated $π_{0.5}$-based methods, and is competitive with recent VLA and WAM foundation models pretrained at scale. It also improves performance on RoboTwin 2.0 and raises the average success rate across four real-world bimanual tasks by 20.8 percentage points compared with $π_{0.5}$.
Abstract（参考訳）: 拡散に基づく視覚言語モデル (VLA) は、拡散アクションの専門家による事前訓練された視覚言語モデル (VLM) をカスケードするが、通常、VLMを静的条件付けに制限する。この分離は、特にアウト・オブ・ディストリビューション・セッティングにおいて、事前学習された知覚と推論がアクション生成をいかに導くかを制限する。我々は,VLMとアクションエキスパートが共同でアクションを洗練できる,ジョイントアクションデノイザであるJADEを紹介した。我々の重要な洞察は、構造化されたアクション潜伏剤は、視覚的な観察と言語指示と共に、VLMが現在のノイズの多いアクションを読むことができるということです。ノイズ発生ステップ毎に、VLMはノイズ発生アクションをコンテキスト化し、ゲートクロスアテンションを通じてアクションエキスパートを誘導し、アクションの発生とともにそのガイダンスが進化する。さらに、ノイズの多いものからクリーンな行動潜伏者を回復するためにVLMを監督し、直接的な行動学習信号を与え、認知を制御で結合する。さらに、JADEがサンプルステップを減らしてアクションを生成することで、VLM参加のさらなるコストを相殺することができる。適応的なステップサイズスケジュールは、タスクパフォーマンスと推論遅延をさらにバランスさせる。 RoboDojoでは、JADEが平均成功率12.67%に達し、評価された$π_{0.5}$ベースメソッドの中では最高であり、最近のVLAやWAMのファンデーションモデルと競合する。また、RoboTwin 2.0の性能も向上し、4つの実世界の双対タスクの平均成功率は、$π_{0.5}$と比較して20.8ポイント向上する。

関連論文リスト

dVLA-RL: Reinforcement Learning over Denoising Trajectories for Discrete Diffusion Vision-Language-Action Models [49.497309561043004]
我々は,学習目標を限界行動確率からサンプル生成経路の結合確率にシフトするtextbfdVLA-RLを提案する。本手法は, LIBEROにおける textbf99.7% の成功率を達成する。また、SFTベースラインに対してtextbf30.6%の改善を提供することで、RoboTwin 2.0上でのVLAベースの強力な結果も確立している。
論文参考訳（メタデータ） (2026-06-22T17:19:03Z)
LARA: Latent Action Representation Alignment for Vision-Language-Action Models [21.4758859185298]
潜時行動モデル(LAM)は視覚力学から潜時行動表現を学習し、VLA学習のさらなる監督を提供する。本稿では,LAMとVLAを協調的に表現アライメントにより最適化するLARA(Latent Action Representation Alignment)を提案する。プレトレーニング,プレトレーニング後のVLAモデルの強化,およびLAM改善のためのLARAの汎用性と有効性を示す。
論文参考訳（メタデータ） (2026-06-05T09:51:25Z)
RotVLA: Rotational Latent Action for Vision-Language-Action Model [54.22746299071677]
本稿では,連続的な回転潜在動作表現に基づくVLAフレームワークであるRotVLAを紹介する。潜在作用はSO(n) の元としてモデル化され、連続性、構成性、および実世界の作用力学と整合した構造的幾何学を提供する。 RotVLAはVLMバックボーンとフローマッチングアクションヘッドで構成される。
論文参考訳（メタデータ） (2026-05-13T11:58:02Z)
Action Draft and Verify: A Self-Verifying Framework for Vision-Language-Action Model [31.013109374489442]
VLA(Vision-Language-Action)モデルは、最近、具体化されたタスク間で強力なパフォーマンスを示した。本稿では,拡散行動専門家が複数の候補アクションチャンクをドラフトし,VLMが各候補を1つの前方パスに1つの難易度基準でスコア付けして1つを選択することを提案する。マッチしたバックボーン、トレーニングデータ、アクション・チャンク長では、ADVは拡散ベースのベースラインよりも実世界の+4.3ポイント、+19.7ポイントで成功率を向上させる。
論文参考訳（メタデータ） (2026-03-18T09:16:20Z)
Robotic VLA Benefits from Joint Learning with Motion Image Diffusion [114.60268819583017]
VLA(Vision-Language-Action)モデルは、マルチモーダルな観察と指示を直接行動にマッピングすることで、ロボット操作において顕著な進歩を遂げた。動き推論機能を備えたVLAモデルを強化する新しい戦略である動き画像拡散を用いた共同学習を提案する。シミュレーションと実世界の両方の環境での実験により、モーション画像拡散による共同学習がpiシリーズVLAの成功率を97.5%に向上させることが示された。
論文参考訳（メタデータ） (2025-12-19T19:07:53Z)
VITA-VLA: Efficiently Teaching Vision-Language Models to Act via Action Expert Distillation [76.13140980997508]
VLA(Vision-Language Action)モデルは、事前訓練された視覚言語モデル(VLM)の強い知覚能力を活用することにより、ロボット操作を著しく向上させる。本稿では,VLMに事前訓練された小規模な行動モデルから知識を伝達することで,動作実行能力を持たせる,簡易かつ効果的な蒸留ベースフレームワークを提案する。 5つの操作課題にわたる実世界の実験において,本手法は教師モデルより一貫して優れ,82.0%の成功率(17%改善)を達成した。
論文参考訳（メタデータ） (2025-10-10T17:59:56Z)
InstructVLA: Vision-Language-Action Instruction Tuning from Understanding to Manipulation [43.83789393525928]
InstructVLAは、大規模な視覚言語モデル(VLM)の柔軟な推論を保存し、主要な操作性能を提供するエンド・ツー・エンドの視覚言語モデルである。 InstructVLAは、新しいトレーニングパラダイムであるVision-Language-Action Instruction Tuning (VLA-IT)を導入している。ドメイン内のSimplerEnvタスクでは、InstructVLAはSpatialVLAよりも30.5%改善されている。
論文参考訳（メタデータ） (2025-07-23T13:57:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。