論文の概要: Diffusion-VLA: Scaling Robot Foundation Models via Unified Diffusion and Autoregression

• arxiv url: http://arxiv.org/abs/2412.03293v1
• Date: Wed, 04 Dec 2024 13:11:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-05 21:42:00.672548
• Title: Diffusion-VLA: Scaling Robot Foundation Models via Unified Diffusion and Autoregression
• Title（参考訳）: 拡散-VLA:統一拡散と自己回帰によるロボット基礎モデルのスケーリング
• Authors: Junjie Wen, Minjie Zhu, Yichen Zhu, Zhibin Tang, Jinming Li, Zhongyi Zhou, Chengmeng Li, Xiaoyu Liu, Yaxin Peng, Chaomin Shen, Feifei Feng,
• Abstract要約: DiffusionVLAは、自己回帰モデルと拡散モデルとをシームレスに組み合わせ、ビジュモータポリシーを学習するフレームワークである。 自己推論によるポリシー学習を強化するために,新しい推論インジェクションモジュールを導入する。 複数の実ロボットを用いて広範に実験を行い,DiffusionVLAの有効性を検証した。
• 参考スコア（独自算出の注目度）: 9.923268972395107
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we present DiffusionVLA, a novel framework that seamlessly combines the autoregression model with the diffusion model for learning visuomotor policy. Central to our approach is a next-token prediction objective, enabling the model to reason effectively over the user's query in the context of current observations. Subsequently, a diffusion model is attached to generate robust action outputs. To enhance policy learning through self-reasoning, we introduce a novel reasoning injection module that integrates reasoning phrases directly into the policy learning process. The whole framework is simple and flexible, making it easy to deploy and upgrade. We conduct extensive experiments using multiple real robots to validate the effectiveness of DiffusionVLA. Our tests include a challenging factory sorting task, where DiffusionVLA successfully categorizes objects, including those not seen during training. We observe that the reasoning module makes the model interpretable. It allows observers to understand the model thought process and identify potential causes of policy failures. Additionally, we test DiffusionVLA on a zero-shot bin-picking task, achieving 63.7\% accuracy on 102 previously unseen objects. Our method demonstrates robustness to visual changes, such as distractors and new backgrounds, and easily adapts to new embodiments. Furthermore, DiffusionVLA can follow novel instructions and retain conversational ability. Notably, DiffusionVLA is data-efficient and fast at inference; our smallest DiffusionVLA-2B runs 82Hz on a single A6000 GPU and can train from scratch on less than 50 demonstrations for a complex task. Finally, we scale the model from 2B to 72B parameters, showcasing improved generalization capabilities with increased model size.
• Abstract（参考訳）: 本稿では,自己回帰モデルと拡散モデルとをシームレスに結合した新しいフレームワークであるDiffusionVLAを提案する。 当社のアプローチの中心は次世代の予測目標であり,現在の観測状況において,ユーザのクエリを効果的に推論することが可能になる。 その後、拡散モデルを取り付けてロバストな動作出力を生成する。 自己推論による政策学習を強化するために,政策学習プロセスに直接推論フレーズを統合する新たな推論注入モジュールを導入する。 フレームワーク全体がシンプルで柔軟なので、デプロイやアップグレードが容易になります。 複数の実ロボットを用いて広範に実験を行い,DiffusionVLAの有効性を検証した。 私たちのテストには、DiffusionVLAがトレーニング中に見えないものを含むオブジェクトをうまく分類する、難しいファクトリソートタスクが含まれています。 推論モジュールがモデルを解釈可能であることを観察する。 これにより、オブザーバはモデル思考プロセスを理解し、政策失敗の潜在的な原因を特定することができる。 さらに、DiffusionVLAをゼロショットのビンピッキングタスクでテストし、102個の未確認オブジェクトに対して63.7\%の精度を実現した。 本手法は, 邪魔者や新しい背景などの視覚的変化に対する堅牢性を示し, 新たな実施形態に容易に適応できる。 さらに、DiffusionVLAは新たな指示に従うことができ、会話能力を維持することができる。 我々の最小のDiffusionVLA-2Bは1つのA6000 GPU上で82Hzで動作し、50以下の複雑なタスクでゼロからトレーニングすることができる。 最後に,モデルを2Bから72Bパラメータに拡張し,モデルサイズの増大による一般化能力の向上を示す。

関連論文リスト

• PLADIS: Pushing the Limits of Attention in Diffusion Models at Inference Time by Leveraging Sparsity [9.092404060771306]
  拡散モデルでは、高品質な条件付きサンプルの生成に顕著な結果が示されている。 しかし、既存の方法は、しばしば追加のトレーニングや神経機能評価(NFE)を必要とする。 本稿では,スパースアテンションを生かして事前学習モデルを強化する,PLADISと呼ばれる新しい,効率的な手法を提案する。
  論文  参考訳（メタデータ） (2025-03-10T07:23:19Z)
• Scaling Diffusion Language Models via Adaptation from Autoregressive Models [105.70889434492143]
  拡散言語モデル(DLM)は、テキスト生成モデルのための将来性のある新しいパラダイムとして登場した。 170Mから7BまでのARモデルをDiffuGPTとDiffuLLaMAの拡散モデルに変換し、200B未満のトークンでトレーニングできることを示す。 実験の結果,これらのモデルは初期のDLMよりも優れており,ARと競合していることがわかった。
  論文  参考訳（メタデータ） (2024-10-23T14:04:22Z)
• Diffusion Imitation from Observation [4.205946699819021]
  敵対的模倣学習アプローチは、差別者と区別できない状態遷移を生成するために、ジェネレータポリシーを学ぶ。 生成モデルにおける拡散モデルの成功を動機として,観測フレームワークからの逆模倣学習に拡散モデルを統合することを提案する。
  論文  参考訳（メタデータ） (2024-10-07T18:49:55Z)
• CatVTON: Concatenation Is All You Need for Virtual Try-On with Diffusion Models [77.39903417768967]
  CatVTONは仮想的な試着拡散モデルであり、任意のカテゴリーの衣服をターゲット個人に転送する。 CatVTONはVAEと単純化されたUNetのみで構成され、冗長な画像とテキストエンコーダを除去する。 実験により、CatVTONはベースライン法に比べて質的、定量的に優れた結果が得られることが示された。
  論文  参考訳（メタデータ） (2024-07-21T11:58:53Z)
• Guided Diffusion from Self-Supervised Diffusion Features [49.78673164423208]
  ガイダンスは拡散モデルにおいて重要な概念として機能するが、その効果は追加のデータアノテーションや事前学習の必要性によって制限されることが多い。 本稿では,拡散モデルからガイダンスを抽出するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-14T11:19:11Z)
• Unsupervised Discovery of Interpretable Directions in h-space of Pre-trained Diffusion Models [63.1637853118899]
  本稿では,事前学習した拡散モデルのh空間における解釈可能な方向を特定するための,教師なしおよび学習に基づく最初の手法を提案する。 我々は、事前訓練された拡散モデルのh-スペースで動作するシフト制御モジュールを用いて、サンプルをシフトしたバージョンに操作する。 それらを共同で最適化することで、モデルは自然に絡み合った、解釈可能な方向を発見する。
  論文  参考訳（メタデータ） (2023-10-15T18:44:30Z)
• Value function estimation using conditional diffusion models for control [62.27184818047923]
  拡散値関数(DVF)と呼ばれる単純なアルゴリズムを提案する。 拡散モデルを用いて環境-ロボット相互作用の連成多段階モデルを学ぶ。 本稿では,DVFを用いて複数のコントローラの状態を効率よく把握する方法を示す。
  論文  参考訳（メタデータ） (2023-06-09T18:40:55Z)
• Test-Time Adaptation with CLIP Reward for Zero-Shot Generalization in Vision-Language Models [76.410400238974]
  モデル出力を補正し、モデルが盲目的に自信を持たないようにするためのフィードバック付きTTAを提案する。 CLIPモデルは、TTA中に報酬モデルとして採用され、VLMにフィードバックを提供する。 提案したCLIPフィードバック(RLCF)フレームワークによるテキスト強化学習は非常に柔軟で普遍的である。
  論文  参考訳（メタデータ） (2023-05-29T11:03:59Z)
• Diff-Instruct: A Universal Approach for Transferring Knowledge From Pre-trained Diffusion Models [77.83923746319498]
  本稿では,任意の生成モデルの学習を指導するDiff-Instructというフレームワークを提案する。 Diff-Instructは、最先端の単一ステップ拡散モデルであることを示す。 GANモデルの精製実験により、Diff-InstructはGANモデルの事前訓練されたジェネレータを一貫して改善できることが示されている。
  論文  参考訳（メタデータ） (2023-05-29T04:22:57Z)
• David helps Goliath: Inference-Time Collaboration Between Small Specialized and Large General Diffusion LMs [49.822063966687175]
  拡散に基づく言語モデルは、自己回帰型LMに代わる有望な選択肢として浮上している。 我々は最近提案した拡散モデルSSD-LMを0.4Bから13Bパラメータに拡張する方法を提案する。 SSD-2は、個々のユーザがカスタマイズしてデプロイできる100倍の小型モデルで、新しいアンサンブルを促進する。
  論文  参考訳（メタデータ） (2023-05-24T06:22:14Z)
• Towards Controllable Diffusion Models via Reward-Guided Exploration [15.857464051475294]
  強化学習(RL)による拡散モデルの学習段階を導く新しい枠組みを提案する。 RLは、政策そのものではなく、指数スケールの報酬に比例したペイオフ分布からのサンプルによる政策勾配を計算することができる。 3次元形状と分子生成タスクの実験は、既存の条件拡散モデルよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2023-04-14T13:51:26Z)
• Membership Inference Attacks against Diffusion Models [0.0]
  拡散モデルは近年、革新的な生成モデルとして注目されている。 本研究では,拡散モデルがメンバシップ推論攻撃に耐性があるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-02-07T05:20:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。