論文の概要: HybridVLA: Collaborative Diffusion and Autoregression in a Unified Vision-Language-Action Model

• arxiv url: http://arxiv.org/abs/2503.10631v3
• Date: Mon, 23 Jun 2025 07:37:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 17:01:35.34742
• Title: HybridVLA: Collaborative Diffusion and Autoregression in a Unified Vision-Language-Action Model
• Title（参考訳）: HybridVLA: 統合ビジョン・ランゲージ・アクションモデルにおける協調拡散と自己回帰
• Authors: Jiaming Liu, Hao Chen, Pengju An, Zhuoyang Liu, Renrui Zhang, Chenyang Gu, Xiaoqi Li, Ziyu Guo, Sixiang Chen, Mengzhen Liu, Chengkai Hou, Mengdi Zhao, KC alex Zhou, Pheng-Ann Heng, Shanghang Zhang,
• Abstract要約: 操作ポリシー設計の基本的な目的は、ロボットに人間の指示を理解し、シーンの手がかりを推論し、動的な環境で一般化されたアクションを実行することである。 近年の自己回帰的視覚言語行動(VLA)法は、視覚言語モデル(VLM)から常識推論能力を継承し、次の行動予測を行う。 拡散に基づく行動の連続的な性質と自己回帰の文脈的推論を吸収する統合フレームワークであるHybridVLAを紹介する。
• 参考スコア（独自算出の注目度）: 54.64088247291416
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A fundamental objective of manipulation policy design is to endow robots to comprehend human instructions, reason about scene cues, and execute generalized actions in dynamic environments. Recent autoregressive vision-language-action (VLA) methods inherit common-sense reasoning capabilities from vision-language models (VLMs) for next action-token prediction. However, these methods quantize actions into discrete bins, which disrupts the continuity required for precise control. In contrast, existing diffusion-based VLA methods incorporate an additional diffusion head to predict continuous actions solely conditioned on feature representations extracted by the VLM, without fully leveraging the VLM's pretrained reasoning capabilities through token-level generation. To address these limitations, we introduce HybridVLA, a unified framework that absorbs the continuous nature of diffusion-based actions and the contextual reasoning of autoregression within a single large language model. To mitigate interference between the two generation paradigms, we propose a collaborative training recipe that seamlessly incorporates diffusion denoising into the next-token prediction process. With this recipe, we find these two action prediction methods not only reinforce each other but also exhibit varying strength across different tasks. Therefore, we design a collaborative action ensemble mechanism that adaptively fuses both predictions, leading to more robust control. HybridVLA outperforms previous state-of-the-art VLA methods by 14\% and 19\% in mean success rate on simulation and real-world tasks, respectively, while demonstrating stable manipulation in unseen configurations.
• Abstract（参考訳）: 操作ポリシー設計の基本的な目的は、ロボットに人間の指示を理解し、シーンの手がかりを推論し、動的な環境で一般化されたアクションを実行することである。 近年の自己回帰的視覚言語行動(VLA)法は、視覚言語モデル(VLM)から常識推論能力を継承し、次の行動予測を行う。 しかし、これらの手法はアクションを離散ビンに量子化し、正確な制御に必要な連続性を阻害する。 対照的に、既存の拡散に基づくVLA法では、トークンレベル生成によるVLMの事前学習推論能力を十分に活用することなく、VLMによって抽出された特徴表現にのみ条件付けられた連続的な動作を予測するために、追加の拡散ヘッドが組み込まれている。 このような制約に対処するために,拡散に基づく行動の連続的な性質と,単一大言語モデルにおける自己回帰の文脈的推論を吸収する統合フレームワークであるHybridVLAを導入する。 そこで本研究では,2世代間の干渉を軽減するために,拡散認知を次世代の予測プロセスにシームレスに組み込む協調学習手法を提案する。 このレシピでは、これらの2つのアクション予測手法は互いに強化するだけでなく、異なるタスクに対して異なる強度を示す。 そこで我々は,双方の予測を適応的に融合させる協調行動アンサンブル機構を設計し,より堅牢な制御を実現する。 ハイブリッドVLAは、従来の最先端VLA手法を、シミュレーションと実世界のタスクの平均成功率の平均14\%と19\%で上回り、目に見えない構成での安定した操作を実証している。

関連論文リスト

• CoT-VLA: Visual Chain-of-Thought Reasoning for Vision-Language-Action Models [89.44024245194315]
  視覚言語行動モデル(VLA)に明示的な視覚連鎖(CoT)推論を組み込む手法を提案する。 視覚およびアクショントークンの理解と生成が可能な最先端の7B VLAであるCoT-VLAを紹介する。 実験の結果,CoT-VLAは実世界の操作タスクでは17%,シミュレーションベンチマークでは6%,最先端のVLAモデルでは6%,高い性能を示した。
  論文  参考訳（メタデータ） (2025-03-27T22:23:04Z)
• Dita: Scaling Diffusion Transformer for Generalist Vision-Language-Action Policy [56.424032454461695]
  本稿では,Transformerアーキテクチャを活用した拡張性のあるフレームワークであるDitaについて紹介する。 Ditaはコンテキスト内コンディショニング(context conditioning)を採用しており、歴史的観察から生の視覚トークンと識別されたアクションをきめ細やかなアライメントを可能にする。 Ditaは、さまざまなカメラパースペクティブ、観察シーン、タスク、アクションスペースの横断的なデータセットを効果的に統合する。
  論文  参考訳（メタデータ） (2025-03-25T15:19:56Z)
• Enhanced Continual Learning of Vision-Language Models with Model Fusion [16.764069327701186]
  VLM(Vision-Language Models)は、人工知能のブレークスルーである。 VLMは、複数の下流タスクで連続的に微調整されたときに、破滅的な忘れをしがちである。 本稿では,連続的な学習にモデル融合を導入することで,新しいアプローチであるConDUを提案する。
  論文  参考訳（メタデータ） (2025-03-12T15:48:13Z)
• Accelerating Vision-Language-Action Model Integrated with Action Chunking via Parallel Decoding [24.1236728596359]
  VLA(Vision-Language-Action)モデルでは、一般化可能なロボット操作の可能性を示している。 本稿では,アクションチャンキングと統合されたVLAモデルのための最初の並列デコーディングフレームワークであるPD-VLAを提案する。 本フレームワークは,並列な固定点反復によって解く非線形システムとして自己回帰復号を再構成する。
  論文  参考訳（メタデータ） (2025-03-04T06:12:08Z)
• Doubly-Universal Adversarial Perturbations: Deceiving Vision-Language Models Across Both Images and Text with a Single Perturbation [15.883062174902093]
  VLM(Large Vision-Language Models)は、視覚エンコーダとLLM(Large Language Model)を統合することで、マルチモーダルタスクにまたがる顕著な性能を示す。 VLMに特化して設計された新しいUAPについて紹介する:Douubly-Universal Adversarial Perturbation (Douubly-UAP)
  論文  参考訳（メタデータ） (2024-12-11T05:23:34Z)
• ACDiT: Interpolating Autoregressive Conditional Modeling and Diffusion Transformer [95.80384464922147]
  連続的な視覚生成には、フルシーケンスの拡散に基づくアプローチが必要である。 本稿では,自己回帰的ブロックワイド条件拡散変換器ACDiTを提案する。 本稿では,拡散目標を訓練しながら,視覚理解タスクにACDiTをシームレスに使用できることを実証する。
  論文  参考訳（メタデータ） (2024-12-10T18:13:20Z)
• Vision-Language-Action Model and Diffusion Policy Switching Enables Dexterous Control of an Anthropomorphic Hand [2.7036595757881323]
  微調整された視覚・言語・行動モデルと拡散モデルの相対的利点を組み合わせたハイブリッド制御法を提案する。 VLAモデルのみを使用する場合と比較して,このモデル切替手法は80%以上の成功率を示す。
  論文  参考訳（メタデータ） (2024-10-17T20:49:45Z)
• Feedback-based Modal Mutual Search for Attacking Vision-Language Pre-training Models [8.943713711458633]
  我々は、フィードバックベースのモーダル・ミューチュアル・サーチ(FMMS)と呼ばれる新たな攻撃パラダイムを提案する。 FMMSは、マッチした画像とテキストのペアをランダムに描画しながら、特徴空間に不一致のペアを描画することを目的としている。 これは、ターゲットモデルフィードバックを利用して、マルチモーダリティの逆境を探索する最初の試みである。
  論文  参考訳（メタデータ） (2024-08-27T02:31:39Z)
• InterHandGen: Two-Hand Interaction Generation via Cascaded Reverse Diffusion [53.90516061351706]
  両手インタラクションに先立って生成を学習する新しいフレームワークであるInterHandGenを提案する。 サンプリングにアンチペネティフィケーションと合成フリーガイダンスを組み合わせることで、プラウシブルな生成を可能にする。 本手法は, 妥当性と多様性の観点から, ベースライン生成モデルよりも有意に優れていた。
  論文  参考訳（メタデータ） (2024-03-26T06:35:55Z)
• Variance-Preserving-Based Interpolation Diffusion Models for Speech Enhancement [53.2171981279647]
  本稿では,VP-および分散拡散(VE)に基づく拡散法の両方をカプセル化するフレームワークを提案する。 本研究では,拡散モデルで発生する一般的な困難を解析し,性能の向上とモデルトレーニングの容易化を図る。 我々は,提案手法の有効性を示すために,公開ベンチマークを用いたいくつかの手法によるモデルの評価を行った。
  論文  参考訳（メタデータ） (2023-06-14T14:22:22Z)
• David helps Goliath: Inference-Time Collaboration Between Small Specialized and Large General Diffusion LMs [49.822063966687175]
  拡散に基づく言語モデルは、自己回帰型LMに代わる有望な選択肢として浮上している。 我々は最近提案した拡散モデルSSD-LMを0.4Bから13Bパラメータに拡張する方法を提案する。 SSD-2は、個々のユーザがカスタマイズしてデプロイできる100倍の小型モデルで、新しいアンサンブルを促進する。
  論文  参考訳（メタデータ） (2023-05-24T06:22:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。