論文の概要: Cooperative Multi-Agent Vision-Language-Action Models via Reinforced Fine Tuning

• arxiv url: http://arxiv.org/abs/2609.36588v1
• Date: Tue, 29 Sep 2026 03:05:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.141849
• Title: Cooperative Multi-Agent Vision-Language-Action Models via Reinforced Fine Tuning
• Title（参考訳）: 強化微細チューニングによる協調的マルチエージェントビジョン・ランゲージ・アクションモデル
• Abstract要約: 協調型マルチエージェント・ビジョン・ランゲージ・アクション(VLA)モデルの強化学習法について検討した。 マルチロボットの実演における細調整(SFT)の監督は、このギャップを部分的に橋渡しするが、その性能は実演データによって制限される。 マルチエージェントVLAのための3段階強化微細チューニング(RFT)パイプラインを提案する。
• 参考スコア（独自算出の注目度）: 39.39531087174004
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study reinforcement learning (RL) methods for cooperative multi-agent Vision-Language-Action (VLA) models. This problem is challenging because VLAs are pretrained on large-scale single-agent data and therefore lack the fine-grained coordination skills required for inter-robot collaboration. Supervised fine-tuning (SFT) on multi-robot demonstrations partially bridges this gap, but its performance is bounded by the demonstration data and cannot improve from its own experience. We present a three-stage reinforced fine-tuning (RFT) pipeline for multi-agent VLAs. First, initialization-aware data collection sweeps over initial configurations and invokes human demonstrations only when the pretrained VLA repeatedly fails, yielding robustness to initialization shift with reduced human cost. Second, offline credit-filtered tuning assigns credit to individual agents and fine-tunes on per-agent trajectories with positive advantage rather than on entire joint rollouts. Third, we find existing online RL for VLAs are less effective for hard multi-agent tasks, which we attribute to noisy co-exploration and unstable updates. We instead use online latent-space fine tuning, which freeze the VLA and perform RL in its latent noise space. We evaluate our multi-agent VLA with both $π_0$ and $π_{0.5}$ backbones across 11 tasks in RoboTwin, RoboFactory and real-world manipulation with two Franka robots. Our multi-agent VLA improves the average success rate by $+23.1\%$, $+16.4\%$, and $+44\%$ on RoboTwin, RoboFactory, and real-world tasks, respectively. Code available at https://anonymous.4open.science/r/mavla_rft-2BC0/.
• Abstract（参考訳）: 協調型マルチエージェント・ビジョン・ランゲージ・アクション(VLA)モデルのための強化学習法(RL)について検討した。 この問題は、VLAが大規模単一エージェントデータで事前訓練されているため、ロボット間コラボレーションに必要な微粒な調整スキルが欠如しているためである。 マルチロボットのデモのための監視された微調整(SFT)は、このギャップを部分的に埋めるが、その性能はデモデータによって制限され、自身の経験から改善することはできない。 マルチエージェントVLAのための3段階強化微細チューニング(RFT)パイプラインを提案する。 まず、初期化対応のデータ収集が初期設定を網羅し、事前訓練されたVLAが繰り返し失敗する場合のみ、人間のデモを起動し、人的コストを低減して初期化シフトに堅牢性をもたらす。 第二に、オフラインのクレジットフィルタチューニングは、個々のエージェントにクレジットを割り当てる。 第3に、VLAの既存のオンラインRLは、ノイズの多い共同探索と不安定な更新のため、ハードマルチエージェントタスクでは効果が低いことが分かりました。 代わりに、オンラインの潜時空間微調整を使用して、VLAを凍結し、潜時雑音空間でRLを実行する。 我々は,RoboTwin,RoboFactory,および2台のフランカロボットによる実世界操作において,11タスクのバックボーンを$π_0$と$π_{0.5}$で評価した。 我々のマルチエージェントVLAは、RoboTwin、RoboFactory、および実世界のタスクにおける平均成功率を、それぞれ$+23.1\%$、$+16.4\%$、$+44\%$で改善します。 コードはhttps://anonymous.4open.science/r/mavla_rft-2BC0/で公開されている。

関連論文リスト

• Decoupled Early Exits for Task-Dependent Compute Allocation in Flow-Matching VLAs [53.20313939184399]
  フローマッチング型ビジョン・ランゲージ・アクション(VLA)モデルは、ジェネラリストロボット制御の潜在的な解決策として浮上している。 本稿では,バックボーン深度を$V$,アクションエキスパート深度を$A$,ステップを$D$とすることを提案する。 最適な計算予算はタスクに依存しており、様々なタスクは異なる軸と深さから恩恵を受ける。
  論文  参考訳（メタデータ） (2026-09-24T11:10:00Z)
• Beyond Data Scaling: Representation-Centric Continued Pre-training for Vision-Language-Action Models [120.24139942108405]
  ロボットデータのスケーリングは、一般のVision-Language-Action(VLA)モデルを構築する上で重要である。 固定されたロボットデータ予算の下では、継続した事前訓練は限られた軌道を伝達可能な視覚行動知識に変換する必要がある。 本稿では,VLA指向のVLMバックボーンであるVLActを提案する。
  論文  参考訳（メタデータ） (2026-08-27T17:59:40Z)
• EXIMO: VLM Guided Exploration of VLA Policies [10.759711081122243]
  最先端のロボット操作ポリシーは、大きな視覚言語アクション(VLA)モデルの振る舞いクローンに基づいている。 新しいタスクを学習するためのVLAポリシーの微調整は、依然として未解決の問題である。 本稿では,VLA ポリシーを微調整する効率的なアルゴリズム EXIMO を提案する。
  論文  参考訳（メタデータ） (2026-08-20T10:58:45Z)
• ReactVLA: Fast and Lightweight Reactive Robot Manipulation via Improved Mean Flow Action Generation [6.976481623762446]
  textttReactVLAは、リアルタイムロボット操作のための軽量で低レイテンシなVLAフレームワークである。 textttReactVLAは、同じサイズのVLAベースラインを一貫して上回る。 現実世界のポリシーのレイテンシを38.6ミリ秒以下に短縮し、物理ロボットプラットフォームでの高速な反応性制御を可能にする。
  論文  参考訳（メタデータ） (2026-06-12T08:33:37Z)
• Adaptive Capacity Allocation for Vision Language Action Fine-tuning [30.782665306687992]
  視覚言語アクションモデル(VLA)は、物理AIにますます使われているが、未確認環境に事前訓練されたVLAモデルをデプロイするには、まだ適応が必要である。 固定ランク更新を入力および層単位のキャパシティに置き換えるランク適応微調整法であるLoRA-SPを提案する。 目に見えないAgileX PiPERのアームで収集された4つの実ロボット操作タスクでは、LoRA-SPはトレーニング可能なパラメータがはるかに少ない完全な微調整にマッチするか、超える。
  論文  参考訳（メタデータ） (2026-03-08T01:33:01Z)
• APIGen-MT: Agentic Pipeline for Multi-Turn Data Generation via Simulated Agent-Human Interplay [86.01901238059261]
  APIGen-MTは検証可能で多様なマルチターンエージェントデータを生成するフレームワークである。 xLAM-2-fc-r 級数で 1B から 70B のパラメータを持つモデル群を訓練する。 我々のモデルは、$tau$-benchとBFCLベンチマークでGPT-4oやClaude 3.5のようなフロンティアモデルより優れている。
  論文  参考訳（メタデータ） (2025-04-04T17:13:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。