論文の概要: FedGuide: Diffusion Prior Alignment and Value Baseline Guidance for Heterogeneous Federated Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2609.18964v1
- Date: Wed, 22 Jul 2026 05:27:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.581962
- Title: FedGuide: Diffusion Prior Alignment and Value Baseline Guidance for Heterogeneous Federated Reinforcement Learning
- Title（参考訳）: FedGuide: 不均一なフェデレーション強化学習のための事前調整と価値ベースラインガイダンス
- Abstract要約: Federated Reinforcement Learning (FRL)は、異種環境を持つ分散エージェント間の協調的なポリシー学習を可能にする。
異種ローカルポリシー学習のためのパーソナライズされたデータ分散を提供するための行動モデルとして拡散優先法を用いるFRLフレームワークである textbfFedGuide を提案する。
- 参考スコア（独自算出の注目度）: 15.845957489403458
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated Reinforcement Learning (FRL) enables collaborative policy learning across distributed agents with heterogeneous environments. While recent methods based on variance reduction, divergence penalization, and momentum optimization improve FRL under heterogeneous settings, they still primarily synchronize policy or value-network parameters and do not explicitly address distributional mismatch among heterogeneous clients. Therefore, we propose \textbf{FedGuide}, a FRL framework that uses diffusion priors as behavior models to provide personalized data supported distributions for heterogeneous local policy learning. Instead of directly averaging local policies, FedGuide aggregates those diffusion priors through Optimal-Transport Mixture-of-Experts (OT-MoE), preserving heterogeneous behavior modes in distribution space. It further develops a Distribution Correction Estimation (DICE) value baseline to provide low-variance, return-aware guidance for local policy improvement. Experiments across heterogeneous environments show that FedGuide outperforms representative FRL methods in client-average returns, final-round performance, and worst-round robustness, while maintaining stable learning under stronger heterogeneity.
- Abstract（参考訳）: Federated Reinforcement Learning (FRL)は、異種環境を持つ分散エージェント間の協調的なポリシー学習を可能にする。
分散低減, 分散ペナル化, モーメント最適化に基づく最近の手法は, 不均質な設定下でFRLを改善するが, 基本的にはポリシーや値-ネットワークパラメータを同期させ, 不均質なクライアント間の分散ミスマッチに明示的に対処しない。
そこで本研究では,拡散先行を振る舞いモデルとして用いたFRLフレームワークである‘textbf{FedGuide} を提案し,不均一なローカルポリシー学習のためのパーソナライズされた分散を提供する。
ローカルポリシーを直接評価する代わりに、FedGuideは、分散空間における不均一な動作モードを保存するために、最適-トランスポート混合(OT-MoE)を通じて、これらの拡散先行情報を集約する。
さらに、地域政策改善のための低分散リターン対応ガイダンスを提供するために、分布補正推定(DICE)値ベースラインを開発する。
不均一環境における実験により、FedGuideは、より強い異種性の下で安定した学習を維持しながら、クライアント平均リターン、最終ラウンドパフォーマンス、最悪のラウンドロバストネスにおいて、代表的なFRLメソッドよりも優れていた。
関連論文リスト
- Ratio-Variance Regularized Policy Optimization [64.95520246570446]
ポリシ比の分散を明示的に制約することは、信頼領域の制約に対する原則的な局所近似をもたらすことを示す。
本稿では,この制約を実装したR2bf VPO$(Ratio-Variance Regularized Policy Optimization)を紹介する。
論文 参考訳（メタデータ） (2026-05-26T09:53:42Z) - Distributed Direct Preference Optimization [3.0957695592556007]
直接選好最適化(DPO)は、明示的な報酬モデリングを避けるが、連合的および分散的なトレーニングの下での収束保証が欠如している。
分散環境におけるDPOの最初の収束解析と時間複雑度解析を行う。
連合DPOでは、クライアントのドリフト、通信周波数、嗜好の不均一性の影響を定量化する収束率を導出する。
分散DPOでは、一般的な通信グラフに対する収束を確立し、スペクトル接続が最適化速度とコンセンサスをどのように支配するかを示す。
論文 参考訳（メタデータ） (2026-05-20T04:49:13Z) - Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。
グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。
特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
論文 参考訳（メタデータ） (2026-04-20T16:43:28Z) - Personalized Observation Normalization for Federated Reinforcement Learning in Simulation Environments with Heterogeneity [4.98310859187348]
フェデレート強化学習(FedRL)は、複数のエージェントが生データを共有せずに協調的にグローバルなポリシーを訓練することを可能にする。
FedRLは、状態遷移のダイナミクスが異なる不均一な環境において、非同一の入力分布につながる課題に直面している。
本稿では,各エージェントが生の状態入力を局所的に正規化できるように,パーソナライズされた観察正規化法(PON)を提案する。
論文 参考訳（メタデータ） (2026-04-10T19:37:16Z) - Flow Matching Policy with Entropy Regularization [16.47598359293598]
Flow Matching Policy with Entropy Regularization (FMER)は、通常の微分方程式(ODE)ベースのオンラインRLフレームワークである。
FMERは、フローマッチングを通じてポリシーをパラメータ化し、最適な輸送によって動機付けられたストレートな確率経路に沿ってアクションをサンプリングする。
スパースマルチゴールのFrankaKitchenベンチマークの実験は、FMERが最先端の手法より優れていることを示した。
論文 参考訳（メタデータ） (2026-03-18T13:00:20Z) - Replacing Parameters with Preferences: Federated Alignment of Heterogeneous Vision-Language Models [63.70401095689976]
パラメータを好みに置き換えることは、よりスケーラブルでプライバシに保護される未来を表している、と私たちは主張する。
ヘテロジニアスVLMのためのGRPOとMixture-of-Rewardsを用いた協調アライメントフレームワークであるMoRを提案する。
MoRは、一般化、堅牢性、およびクロスクライアント適応性において、連邦化されたアライメントベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2026-01-31T03:11:51Z) - On Global Convergence Rates for Federated Policy Gradient under Heterogeneous Environment [14.366821866598803]
本稿では、ソフトマックスに着想を得たパラメータ化を慎重に構築したポリシー勾配法であるb-RS-FedPGを紹介する。
我々は, b-RS-FedPG のほぼ最適定常政策への明確な収束率を示す。
論文 参考訳（メタデータ） (2025-05-29T14:08:35Z) - DISCO Balances the Scales: Adaptive Domain- and Difficulty-Aware Reinforcement Learning on Imbalanced Data [65.09939942413651]
本稿では,グループ間不均衡と2つの重要なイノベーションに対処するGRPOの原理的拡張を提案する。
ドメイン対応報酬スケーリングは、ドメインの頻度に基づいて最適化を再重み付けすることで周波数バイアスに対処する。
難解な報酬のスケーリングは、学習価値を提供する不確実なプロンプトを特定し、優先順位付けするために、プロンプトレベルの自己整合性を活用する。
論文 参考訳（メタデータ） (2025-05-21T03:43:29Z) - Federated Learning as Variational Inference: A Scalable Expectation
Propagation Approach [66.9033666087719]
本稿では,推論の視点を拡張し,フェデレート学習の変分推論の定式化について述べる。
我々は、FedEPを標準フェデレーション学習ベンチマークに適用し、収束速度と精度の両方において、強いベースラインを上回ります。
論文 参考訳（メタデータ） (2023-02-08T17:58:11Z) - FedSkip: Combatting Statistical Heterogeneity with Federated Skip
Aggregation [95.85026305874824]
我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。
我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
論文 参考訳（メタデータ） (2022-12-14T13:57:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。