論文の概要: RoboFL: Federated Expert Assembly for World Action Models
- arxiv url: http://arxiv.org/abs/2609.34968v1
- Date: Mon, 28 Sep 2026 11:49:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:27:13.552092
- Title: RoboFL: Federated Expert Assembly for World Action Models
- Title(参考訳): RoboFL: World Action Modelsのフェデレーション専門家会議
- Abstract要約: 視覚言語行動モデルや世界行動モデルはますます人気を博しているが、物理的な相互作用データによってボトルネックが残されている。
我々は、世界行動学習のためのMoSAICをインスタンス化するRoboFLを提案する。
RoboTwin 2.0、RLBench、および実世界のFrankaロボットアームの実験は、構造化された専門家アセンブリによるRoboFLの優位性を示している。
- 参考スコア(独自算出の注目度): 44.98270957798288
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-language-action and world-action models are increasingly popular, yet remain bottlenecked by physical interaction data that is scarce, institutionally siloed, and task-heterogeneous. A natural federated solution is to let each client adapt a shared foundation model through parameter-efficient fine-tuning, avoiding the exchange of full-model updates. However, federating these adapters is nontrivial, as naive aggregation can entangle incompatible updates, while incorporating MoE-style routing into federated aggregation may dilute specialization and destabilize expert selection. We present RoboFL, which instantiates MoSAIC (Mixture of Slotted Adapters) for federated world-action learning. MoSAIC directly installs locally trained LoRA adapters as the expert branches of a server MoE. Server-side routers learn token assignments over these prior-informed branches while jointly refining routing and expert parameters. Foresight-to-Action Routing Distillation (FARD) aligns routing across the model's three paths, while Path-Consensus Expert Aggregation (PCEA) converts complete expert updates into a compact global adapter for personalized redistribution. Experiments on RoboTwin 2.0, RLBench, and a real-world Franka robot arm show the superiority of RoboFL with structured expert assembly, as it outperforms centralized PEFT InternVLA-A1 by 12.23% on the Franka arm, while reducing per-round client communication by up to 86.81% relative to MoE-based federated VLA baselines.
- Abstract(参考訳): 視覚-言語-行動モデルや世界-アクションモデルはますます人気を博しているが、物理的相互作用データが不足し、制度的にサイロ化され、タスク-不均一なままである。
自然なフェデレーションの解決策は、各クライアントがパラメータ効率の良い微調整を通じて共有基盤モデルを適応させ、フルモデル更新の交換を避けることである。
しかし、これらのアダプタをフェデレートするのは簡単ではない。ナイーブアグリゲーションは互換性のない更新を絡ませることができ、一方、フェデレーションアグリゲーションにMoEスタイルのルーティングを組み込むことは、専門化を減らし、専門家の選択を不安定にする可能性がある。
本稿では、世界行動学習のためのMoSAIC(Mixture of Slotted Adapters)をインスタンス化するRoboFLを提案する。
MoSAICはローカルにトレーニングされたLoRAアダプタを直接サーバのエキスパートブランチとしてインストールする。
サーバサイドルータは、ルーティングとエキスパートパラメータを共同で精錬しながら、これらの事前インフォームドブランチ上のトークン割り当てを学習する。
Foresight-to-Action Routing Distillation (FARD)はモデルの3つのパスをルーティングするが、Path-Consensus Expert Aggregation (PCEA)は、完全な専門家アップデートをパーソナライズされた再配布のためのコンパクトなグローバルアダプタに変換する。
RoboTwin 2.0、RLBench、および実世界のFrankaロボットアームの実験では、中央集権型のPEFT InternVLA-A1を12.23%上回り、MoEベースのフェデレートされたVLAベースラインと比較して、全周のクライアント通信を最大86.81%減らすという、構造化された専門家組立によるRoboFLの優位性を示している。
関連論文リスト
- Personalized Federated Sparse Adaptation of Time-Series Foundation Models [0.2950412601507657]
時系列基礎モデル(TSFM)のフェデレーション適応は、メーターデータがプライベートで分散しており、非IIDであるため、エネルギー予測を構築する上で魅力的である。
事前訓練したTSFM表現の後, ヘテロジニアス・テンポラル・ミックス・オブ・エキスパート(MoE)アダプタを配置したパーソナライズされたスパース適応フレームワークを提案する。
シーケンスレベルのルータは、各168時間のコンテキストウィンドウを、周期性、長距離相互作用、局所的変動、トレンド-残留構造、マルチレゾリューション行動などに特化した専門家の上位100ドル相当のサブセットにマッピングする。
論文 参考訳(メタデータ) (2026-08-05T11:01:47Z) - MoE$^2$-LoRA: When MoE Models Meet MoE-style Low-Rank Adaptation [23.49321952252126]
ミックス・オブ・エクササイズ(Mixture-of-Experts, MOE)アーキテクチャは大規模言語モデルで広く採用されているが、パラメータ効率のよいMOEモデルのための微細チューニング(PEFT)は未検討のままである。
我々は、MoEスタイルの低ランク適応でMoEモデルを微調整する最初の試みを行う: “MoE$2$-LoRA” と題された我々の手法は、タスク固有の適応性を備えた事前訓練された専門家専門化を深く結合する。
論文 参考訳(メタデータ) (2026-07-24T04:50:39Z) - Replacing Parameters with Preferences: Federated Alignment of Heterogeneous Vision-Language Models [63.70401095689976]
VLM(Vision-Language Models)は、医療や金融といったプライバシに敏感な分野において大きな可能性を秘めている。
ヘテロジニアスVLMのためのGRPOとMixture-of-Rewardsを組み合わせた協調アライメントフレームワークであるMoRを提案する。
MoRは、一般化とクロスクライアント適応性において、フェデレートされたアライメントベースラインを一貫して上回る。
論文 参考訳(メタデータ) (2026-05-05T07:02:50Z) - L-MoE: End-to-End Training of a Lightweight Mixture of Low-Rank Adaptation Experts [10.21556794551883]
L-MoE: LoRA エキスパートの軽量混合体について紹介する。
L-MoEは、MoEの専門家をタスク特化して低ランクのアダプタとして再定義する。
L-MoE の公式な数学的枠組みを提案する。
論文 参考訳(メタデータ) (2025-10-19T08:44:25Z) - FedMerge: Federated Personalization via Model Merging [51.12769696559237]
1つのグローバルモデルでは、非IIDタスクや分散を多くのクライアントに提供するには不十分かもしれない。
我々は、複数のグローバルモデルをマージするだけで、クライアントごとにパーソナライズされたモデルを作成することができる新しいFedMergeのアプローチを提案する。
我々はFedMergeを、さまざまなタスクとデータタイプを持つ異なるドメインに適用した3つの異なる非IID設定で評価する。
論文 参考訳(メタデータ) (2025-04-09T10:44:14Z) - FedMCP: Parameter-Efficient Federated Learning with Model-Contrastive Personalization [19.328216705039527]
FedMCPはFLのためのモデルコントラストパーソナライゼーションを用いたパラメータ効率の高いファインチューニング手法である。
我々は,PLMの最先端FLファインチューニング手法に対して,FedMCPが大幅な性能改善を実現していることを示す。
論文 参考訳(メタデータ) (2024-08-28T04:19:47Z) - FedMoE: Personalized Federated Learning via Heterogeneous Mixture of Experts [4.412721048192925]
我々は、データ不均一性に対処するための効率的パーソナライズされたFederated LearningフレームワークであるFedMoEを紹介する。
FedMoEは2つの微調整段階から構成されており、第1段階では、観測されたアクティベーションパターンに基づいて探索を行うことで問題を単純化する。
第2段階では、これらのサブモデルはさらなるトレーニングのためにクライアントに配布され、サーバ集約のために返される。
論文 参考訳(メタデータ) (2024-08-21T03:16:12Z) - FedRA: A Random Allocation Strategy for Federated Tuning to Unleash the
Power of Heterogeneous Clients [50.13097183691517]
実世界のフェデレーションシナリオでは、様々な計算と通信資源を持つ多種多様なクライアントが存在することが多い。
本稿では,新しいフェデレーションチューニングアルゴリズムであるFedRAを提案する。
各通信ラウンドにおいて、FedRAはランダムにアロケーション行列を生成する。
アダプタを用いてアロケーション行列とファインチューンに基づいて、元のモデルから少数のレイヤを再編成する。
論文 参考訳(メタデータ) (2023-11-19T04:43:16Z) - FedYolo: Augmenting Federated Learning with Pretrained Transformers [61.56476056444933]
本研究では,デバイス上での学習目標を達成するための事前学習型トランスフォーマー(PTF)について検討する。
大規模化により,代替手法間の精度ギャップが小さくなり,ロバスト性も向上することを示す。
最後に、クライアントは単一のPTFを使用して複数の無関係なタスクを同時に解決できる。
論文 参考訳(メタデータ) (2023-07-10T21:08:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。