論文の概要: Train Together or Merge Later? Unifying VLA Experts via a Shared Action Interface

• arxiv url: http://arxiv.org/abs/2609.33125v1
• Date: Sun, 27 Sep 2026 02:47:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 10:17:04.668056
• Title: Train Together or Merge Later? Unifying VLA Experts via a Shared Action Interface
• Title（参考訳）: 一緒にトレーニングするか、後でマージするか? 共有アクションインターフェースによるVLA専門家の統合
• Abstract要約: 言語互換のポストトレーニングとコンテキスト誘導スパースマージを組み合わせたポリシWeaveを提案する。 目標タスクの10%のみを用いて, GR00T N1.5を18のRoboCasa365タスクで評価した。
• 参考スコア（独自算出の注目度）: 14.374102158886275
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Co-training offers a straightforward way to build a multi-task vision-language-action (VLA) policy, but can fall short of the performance achieved by training each task independently. The challenge is to retain these task-specific gains in a multi-task policy without joint post-training. Combining independently trained experts through model merging is a natural approach, yet strong individual experts do not necessarily yield a strong merged policy. We identify one source of this incompatibility: task-specific changes to the action interface, comprising action normalization and the action encoder and decoder. We propose PolicyWeave, combining merge-compatible post-training with context-guided sparse merging. During post-training, all experts retain the common base policy's action interface, while task adaptation is restricted to LoRA updates in the hidden layers of the action model. This makes the experts more compatible with existing model merging methods. However, merging all experts can still introduce interference from unrelated tasks at deployment. PolicyWeave scores each expert's LoRA updates using the initial visual-language context, determines the expert set through leave-one-layer-out ranking stability, and forms a sparse weighted merge of the selected updates that remains fixed for current task. We evaluate PolicyWeave with GR00T N1.5 on 18 RoboCasa365 tasks, using only 10% of the target-task demonstrations for supervised fine-tuning (SFT). Preserving the shared action interface raises the average success rate across four static merging methods from 17.0% to 52.8%. PolicyWeave achieves 64.7% success with these SFT experts and 74.1% after task-specific reinforcement learning (RL), compared with 60.7% for joint RL. Further evaluations on LIBERO-10 and an AgileX Piper arm support the deployment of independently learned skills in long-horizon and real-world manipulation.
• Abstract（参考訳）: 共同トレーニングは、マルチタスクビジョン言語アクション(VLA)ポリシを構築するための簡単な方法を提供するが、各タスクを独立してトレーニングすることで達成されるパフォーマンスには劣る可能性がある。 課題は、これらのタスク固有の利益を、共同のポストトレーニングなしでマルチタスクポリシーで維持することである。 モデルマージを通じて独立に訓練された専門家を組み合わせることは自然なアプローチであるが、強い個人専門家が必ずしも強力なマージポリシーをもたらすとは限らない。 我々は、アクションの正規化とアクションエンコーダとデコーダを含む、アクションインターフェースへのタスク固有の変更という、この非互換性の1つの源を同定する。 マージ互換のポストトレーニングとコンテキスト誘導スパースマージを組み合わせたポリシWeaveを提案する。 トレーニング後、すべての専門家が共通のベースポリシーのアクションインターフェースを保持し、タスク適応はアクションモデルの隠されたレイヤにおけるLoRA更新に制限される。 これにより、エキスパートは既存のモデルマージメソッドとの互換性が高まる。 しかしながら、すべての専門家をマージすることで、デプロイ時に無関係なタスクからの干渉を発生させることができる。 PolicyWeaveは、初期視覚言語コンテキストを使用して、各専門家のLoRAアップデートをスコアし、残高1層のランク付け安定性を通じて設定されたエキスパートを判断し、現在のタスクに固定されている選択された更新のスパース重み付けマージを形成する。 制御微調整(SFT)における目標タスクの10%のみを用いて,RoboCasa365タスクのGR00T N1.5によるPhyssWeaveの評価を行った。 共有アクションインターフェースを保存することで、4つの静的マージメソッドの平均成功率が17.0%から52.8%に向上する。 PolicyWeaveは、これらのSFTの専門家が64.7%、タスク固有強化学習(RL)が74.1%、共同RLが60.7%を達成している。 LIBERO-10とAgileX Piperのアームに関するさらなる評価は、長期的および現実的な操作において、独立した学習スキルの展開をサポートする。

関連論文リスト

• MATES: Learning Multi-Agent Interactions by Transforming Observations for Frozen Single-Agent Policies [2.2801444394060257]
  MATES(Multi-Agent Observation Transformation for existing Single-Agent Policies)について紹介する。 MATESは、個別に識別可能な隣接情報を公開しながら、単独タスク情報を保存しているタスクのための入力側適応フレームワークである。 我々は、生涯にわたるパスフィニング、ナビゲーション、協調的な発見において、オン・アンド・オフ・ポリシーのアルゴリズムを用いてMATESを評価する。
  論文  参考訳（メタデータ） (2026-09-22T11:10:34Z)
• Stable and Efficient Real-World Online VLA Post-Training via Asynchronous Replay-Anchored Policy Improvement [60.83624556700821]
  本稿では,リプレイ動作における批評家とアクターの更新の両方を基盤として,ロールアウトと学習を同時に行うフレームワークを提案する。 RAPolicyを4つのシングルタスク設定と1つのジョイント5タスク設定で実世界で評価し,オンライントレーニングの予算は1～2時間に過ぎなかった。
  論文  参考訳（メタデータ） (2026-09-19T08:45:18Z)
• Explore More, Drift Less: Outcome-Only Reinforcement Learning Can Suffice for Long-Horizon Interactive Agents [3.3656546156010942]
  強化学習(Reinforcement learning)は、エンド・オブ・タスクの検証のみで判断される長距離対話型タスクのための訓練後エージェントの自然な方法である。 最近の作業は、より密度の高い報酬、SFTプリエント、スキルライブラリ、キュレートされたメモリ、マルチエージェントオーケストレーションによるトレーニングの周辺を補っている。 我々は、CANOPYという、両者を直接攻撃する最小限のプロトコルを提示する: 自然信号が現れるまで、同じタスクの探索をスケールし、すべての更新を政治上、KLアンコールし、エージェント自身のアクショントークンに制限する。
  論文  参考訳（メタデータ） (2026-09-01T13:44:40Z)
• Convergent Detour Hijacking: Task-Preserving Resource Amplification in Skill-Based LLM Agents [15.526916927007049]
  LLMエージェントは、選択のための自然言語記述と計画のための教示体を使用して、ますますサードパーティのスキルに依存している。 Convergent Detour Hijacking(CDH)を紹介します。 複数 LLM バックエンドと 491 のホールドアウトタスクを単一タスクおよび複数ターン条件下で評価した。
  論文  参考訳（メタデータ） (2026-08-12T17:12:49Z)
• Mastermind: Strategy-grounded Learning for Repository-Scale Vulnerability Reproduction [62.42945715963878]
  リポジトリレベルの脆弱性の再現は、要求の多いソフトウェアエンジニアリング(SE)タスクである。 最近のLLMエージェントは、アプローチが正しい場合、しばしばこれらのステップを実行するが、間違った戦略を選択することで失敗する。 本論では, アクションの完全な軌跡ではなく, 戦略がSEエージェントの適切な学習単位であることを論じる。
  論文  参考訳（メタデータ） (2026-07-02T06:27:27Z)
• ClawArena-Team: Benchmarking Subagent Orchestration and Dynamic Workflows in Language-Model Agents [61.184954205350984]
  ClawArena-Teamは、41のマルチターン、マルチモーダル、マルチエージェントシナリオのベンチマークである。 全体的なスコア -- Subagent-Management Score (SMS) -- は、タスクの正しさを最小限のプライマリとモダリティのルーティング因子によって乗算する。
  論文  参考訳（メタデータ） (2026-06-30T06:06:08Z)
• Maestro: Reinforcement Learning to Orchestrate Hierarchical Model-Skill Ensembles [32.54156025863882]
  強化学習駆動オーケストレーションフレームワークであるMaestroを紹介します。 Maestroは、階層的なモデルスキルレジストリ上でのシーケンシャルな意思決定プロセスとして、異質なマルチモーダルタスクを再構成する。 数学的推論,チャート理解,高分解能知覚,ドメイン固有分析を対象とする10の代表的なマルチモーダルベンチマークに対して,Maestroの評価を行った。
  論文  参考訳（メタデータ） (2026-05-21T08:47:49Z)
• AcademiClaw: When Students Set Challenges for AI Agents [69.70303995121154]
  AcademiClaw(アカデミクロー)は、大学生の実際の学術的切断から直接引き出された80の複雑な長い水平タスクのベンチマークである。 最高のモデルでさえ、55%のパスレートしか達成できないことを示す。 AcademiClawとそのオープンソースデータとコードが、OpenClawコミュニティにとって有用なリソースになることを願っています。
  論文  参考訳（メタデータ） (2026-05-04T14:40:42Z)
• MindGames Arena Generalization Track: In2AI Solution with Delayed Per-Step Reward Attribution [45.957713330643934]
  マルチエージェント戦略相互作用のための言語モデルエージェントの訓練は、中核的な困難をもたらす。 標準的な強化学習では、報酬は各ステップで割り当てられると仮定しているが、この仮定は時間とエージェントの間で結果が絡み合っている環境では失敗する。 我々は,段階ごとの報酬帰属の遅れに,適度ゲーティング,エピソードライフサイクル,後処理パイプラインを導入している。
  論文  参考訳（メタデータ） (2026-04-13T23:59:03Z)
• Exposing Limitations of Language Model Agents in Sequential-Task Compositions on the Web [69.6913064185993]
  言語モデルエージェント(LMA)は、ミューティステップ決定タスクにおける有望なパラダイムとして登場した。 約束にもかかわらず、現実世界のアプリケーションでの彼らのパフォーマンスはまだ過小評価されている。 既存のLMAはベースタスクで平均94.0%の成功率を達成したが、その性能は構成タスクで平均24.9%に低下した。
  論文  参考訳（メタデータ） (2023-11-30T17:50:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。