論文の概要: Fed-GRPO: Reward-Signal-Driven Federated Group Relative Policy Optimization
- arxiv url: http://arxiv.org/abs/2610.11502v1
- Date: Thu, 08 Oct 2026 08:40:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.900203
- Title: Fed-GRPO: Reward-Signal-Driven Federated Group Relative Policy Optimization
- Title（参考訳）: Fed-GRPO: Reward-Signal-Driven Federated Group Relative Policy Optimization
- Abstract要約: Fed-GRPOは、生データを共有せずに協調推論トレーニングを可能にするトレーニングフレームワークである。
Fed-GRPOは3つの報酬信号駆動機構を含む。
数学的推論タスクの実験は、Fed-GRPOが全てのフェデレートされた手法の中で最高の性能を達成することを示す。
- 参考スコア（独自算出の注目度）: 16.03809416113804
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) have shown strong reasoning capabilities when fine-tuned with reinforcement learning (RL), particularly through Group Relative Policy Optimization (GRPO). However, existing GRPO methods assume centralized access to training data, which may not hold in practice due to privacy or regulatory constraints. To this end, we propose Fed-GRPO, a federated GRPO training framework that addresses these privacy constraints by enabling collaborative reasoning training without sharing raw data, which leverages the reward statistics naturally produced during GRPO training as zero-cost signals to guide aggregation, local training, and communication. Fed-GRPO contains three reward-signal-driven mechanisms: (i) \emph{signal-weighted aggregation} that weights clients by their reward standard deviation, prioritizing clients with stronger learning signals; (ii) \emph{global reward calibration} that re-weights per-prompt objectives based on the local-global reward gap, steering each client toward its relative weaknesses; and (iii) \emph{adaptive sparse communication} that allocates bandwidth based on the informativeness of each client's update. Extensive experiments on mathematical reasoning tasks demonstrate that Fed-GRPO achieves the best performance among all federated methods, clearly outperforms FedAvg and approaches centralized training performance, while losslessly reducing communication by $32\times$ and supporting up to $621\times$ compression under tight bandwidth budgets with only graceful accuracy degradation. Our code is available at https://github.com/HKU-HealthAI/Fed-GRPO.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、強化学習(RL)、特にグループ相対政策最適化(GRPO)によって微調整された場合、強い推論能力を示す。
しかし、既存のGRPOメソッドは、プライバシや規制上の制約のために実際には保持されないトレーニングデータへの集中的なアクセスを前提としている。
この目的のために我々は、GRPOトレーニング中に生データを共有せずに協調推論トレーニングを行うことで、これらのプライバシー制約に対処するフェデレーションGRPOトレーニングフレームワークであるFed-GRPOを提案し、このフレームワークは、GRPOトレーニング中に生み出される報酬統計をゼロコスト信号として活用し、アグリゲーション、ローカルトレーニング、コミュニケーションをガイドする。
Fed-GRPOには3つの報酬信号駆動機構がある。
一 報酬標準偏差により顧客を重み付けし、より強力な学習信号でクライアントを優先すること。
二 地域・地域の報酬格差に基づいて、各顧客を相対的な弱さに向けて、各目標を各目標に再重み付けする「emph{global reward calibration」
(iii)各クライアントの更新情報に基づいて帯域幅を割り当てるemph{adaptive sparse communication}。
数学的推論タスクに関する大規模な実験は、Fed-GRPOがすべてのフェデレーションメソッドの中で最高のパフォーマンスを達成し、明らかにフェデレーションAvgを上回り、集中トレーニングパフォーマンスにアプローチしていることを示している。
私たちのコードはhttps://github.com/HKU-HealthAI/Fed-GRPOで公開されています。
関連論文リスト
- FGRPO: Federated GRPO with Adaptive Aggregation on Non-IID Data [20.603813803213768]
グループ相対ポリシー最適化(GRPO)は、批判ネットワークを排除し、優れたスケーラビリティを提供する。
我々は、不均一なデータ所有者間での推論モデルの微調整を分散化するためのフレームワークである、フェデレートされたGRPOを紹介した。
論文 参考訳（メタデータ） (2026-06-02T03:32:32Z) - Ratio-Variance Regularized Policy Optimization [64.95520246570446]
ポリシ比の分散を明示的に制約することは、信頼領域の制約に対する原則的な局所近似をもたらすことを示す。
本稿では,この制約を実装したR2bf VPO$(Ratio-Variance Regularized Policy Optimization)を紹介する。
論文 参考訳（メタデータ） (2026-05-26T09:53:42Z) - Unbiased Dynamic Pruning for Efficient Group-Based Policy Optimization [60.87651283510059]
Group Relative Policy Optimization (GRPO) はLLM推論を効果的にスケールするが、計算コストは禁じている。
本研究では,非バイアス勾配推定を保ちながら動的プルーニングを可能にする動的プルーニングポリシー最適化(DPPO)を提案する。
刈り込みによって引き起こされるデータの空間性を軽減するため,ウィンドウベースの欲求戦略であるDense Prompt Packingを導入する。
論文 参考訳（メタデータ） (2026-03-04T14:48:53Z) - FedGRPO: Privately Optimizing Foundation Models with Group-Relative Rewards from Domain Client [21.08829811371245]
モデルレベルの知識伝達や表現レベルの知識伝達に基づく既存の手法は、高価なローカルトレーニングを必要とするか、高い通信コストを必要とする。
本稿では,この問題を強化学習スタイル評価プロセスとして再検討し,FedGRPOを提案する。
FedGRPOは従来のFedFMのベースラインよりも下流の精度と通信効率が優れている。
論文 参考訳（メタデータ） (2026-02-12T14:45:56Z) - Replacing Parameters with Preferences: Federated Alignment of Heterogeneous Vision-Language Models [63.70401095689976]
パラメータを好みに置き換えることは、よりスケーラブルでプライバシに保護される未来を表している、と私たちは主張する。
ヘテロジニアスVLMのためのGRPOとMixture-of-Rewardsを用いた協調アライメントフレームワークであるMoRを提案する。
MoRは、一般化、堅牢性、およびクロスクライアント適応性において、連邦化されたアライメントベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2026-01-31T03:11:51Z) - FedMOA: Federated GRPO for Personalized Reasoning LLMs under Heterogeneous Rewards [16.516565435444445]
GRPOの批判のないアーキテクチャは、デバイス上で実行可能なトレーニングを可能にするが、フェデレートされた設定に移行することで、体系的な課題がもたらされる。
我々は,多目的アライメントのためのフェデレートGRPOフレームワークであるFedMOAを提案する。
論文 参考訳（メタデータ） (2026-01-31T02:00:17Z) - Repurposing Synthetic Data for Fine-grained Search Agent Supervision [81.95597592711688]
LLMベースの検索エージェントは、エンティティ中心の合成データに基づいてますます訓練されている。
一般的なトレーニングメソッドは、このリッチなエンティティ情報を破棄し、代わりにスパースで結果に基づく報酬に依存します。
E-GRPO(Entity-Aware Group Relative Policy Optimization)は、高密度なエンティティ認識報酬関数を定式化する新しいフレームワークである。
論文 参考訳（メタデータ） (2025-10-28T17:50:40Z) - Information Gain-based Policy Optimization: A Simple and Effective Approach for Multi-Turn LLM Agents [28.145430029174577]
大規模言語モデル(LLM)ベースのエージェントは、外部環境と対話する能力を高めるために強化学習(RL)でますます訓練されている。
既存のアプローチは通常、最終回答でのみ提供される結果に基づく報酬に依存します。
本稿では,情報ゲインに基づくポリシー最適化(IGPO)を提案する。
論文 参考訳（メタデータ） (2025-10-16T17:59:32Z) - DISCO Balances the Scales: Adaptive Domain- and Difficulty-Aware Reinforcement Learning on Imbalanced Data [65.09939942413651]
本稿では,グループ間不均衡と2つの重要なイノベーションに対処するGRPOの原理的拡張を提案する。
ドメイン対応報酬スケーリングは、ドメインの頻度に基づいて最適化を再重み付けすることで周波数バイアスに対処する。
難解な報酬のスケーリングは、学習価値を提供する不確実なプロンプトを特定し、優先順位付けするために、プロンプトレベルの自己整合性を活用する。
論文 参考訳（メタデータ） (2025-05-21T03:43:29Z) - Lean and Mean: Decoupled Value Policy Optimization with Global Value Guidance [52.65461207786633]
政策に基づく人間からのフィードバックからの強化学習は、大きな言語モデルと人間の嗜好の整合に不可欠である。
俳優と批評家の合同トレーニングと、事前訓練された一定の報酬モデルによる指導が必要である。
従来の報酬モデリングを事前訓練されたEmphglobal Value Model(GVM)に置き換えるリーンフレームワークである textbfDecoupled Value Policy Optimization (DVPO) を提案する。
論文 参考訳（メタデータ） (2025-02-24T08:11:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。