論文の概要: Rethinking Personalized Reward Modeling for LLMs under Preference Heterogeneity via Group-Debiased Federated Learning
- arxiv url: http://arxiv.org/abs/2608.01556v1
- Date: Mon, 03 Aug 2026 00:25:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.28402
- Title: Rethinking Personalized Reward Modeling for LLMs under Preference Heterogeneity via Group-Debiased Federated Learning
- Title（参考訳）: グループ・デバイアスド・フェデレーション・ラーニングによるLLMの選好不均一性を考慮したパーソナライズド・リワード・モデリングの再考
- Abstract要約: 我々は、フェデレーショントレーニング中に潜伏する嗜好グループを発見し、グループデバイアスされたクライアントサンプリングを用いて単一の報酬モデルを学ぶFedGD(Federated Learning with Group Debiasing)を提案する。
- 参考スコア（独自算出の注目度）: 31.693764625836305
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models are increasingly aligned to human preferences via reward modeling, but user preference data are sensitive and often cannot be centralized. Federated learning keeps such data local while learning a shared initial reward model, which is later personalized for each client through local fine-tuning. Because users often assign opposite labels to the same pair of responses, existing federated methods address preference heterogeneity by clustering similar clients and training one reward model per group, assuming that each group requires its own initialization. We show that this assumption is unnecessary. Under balanced preference groups, a single FedAvg model, despite starting at nearly random accuracy, surpasses reward models trained separately for each ground-truth group after only a few local optimization steps. We attribute this phenomenon to the flatness of the shared initialization: averaging across all clients learns richer shared representations that distinguish responses while canceling conflicting preference directions, leaving the model near a decision boundary that can be rapidly adapted. Group imbalance breaks this effect as the cancellation becomes asymmetric and leaves minority clients too far from the boundary to recover. Motivated by this observation, we propose FedGD (Federated Learning with Group Debiasing), which discovers latent preference groups during federated training and learns a single reward model using group-debiased client sampling. By counteracting the effect of group imbalance, FedGD learns an initialization that remains highly adaptable, enabling effective personalization without prior knowledge of the underlying groups.
- Abstract（参考訳）: 大規模な言語モデルは報酬モデリングによって人間の嗜好に適合する傾向にあるが、ユーザーの嗜好データは敏感であり、しばしば中央集権化できない。
フェデレーション学習は、これらのデータをローカルに保持し、共有された初期報酬モデルを学び、その後、ローカルの微調整を通じて各クライアントにパーソナライズする。
ユーザは反対のラベルを同じレスポンスに割り当てることが多いため、既存のフェデレートされたメソッドは、同じクライアントをクラスタリングし、各グループが独自の初期化を必要とすると仮定して、グループ毎に1つの報酬モデルをトレーニングすることで、嗜好の不均一性に対処する。
この仮定は不要であることを示す。
バランスの取れた選好群の下では、1つのFedAvgモデルは、ほとんどランダムな精度で開始するが、いくつかの局所最適化ステップの後、各地道群に対して個別に訓練された報酬モデルを上回る。
我々は、この現象が共有初期化の平坦さに起因していると考えている。全てのクライアントの平均化は、競合する優先方向をキャンセルしながら応答を区別するよりリッチな共有表現を学習し、迅速に適応可能な決定境界付近にモデルを残す。
グループ不均衡は、キャンセルが非対称になり、少数派のクライアントが境界から遠ざかって回復するにつれて、この効果を損なう。
本研究の目的は,フェデレーショントレーニング中に潜伏する選好グループを発見し,グループ偏りのあるクライアントサンプリングを用いて1つの報酬モデルを学ぶFedGD(Federated Learning with Group Debiasing)を提案することである。
グループ不均衡の効果に対抗して、FedGDは高度に適応可能な初期化を学び、基礎となるグループの事前の知識なしに効果的なパーソナライズを可能にする。
関連論文リスト
- PAFO: Pareto Fairness Optimization for Personalized Reward Modeling [43.95197844656587]
大規模言語モデル(LLM)は、出力を多様なユーザの好みに合わせるために報酬モデルに依存している。
パーソナライズされた報酬モデルは、しばしば不均衡なユーザの好みデータに基づいて訓練されるため、トレーニング人口でより一般的なユーザーを好む可能性がある。
論文 参考訳（メタデータ） (2026-06-06T05:35:31Z) - Enhancing Federated Quadruplet Learning: Stochastic Client Selection and Embedding Stability Analysis [2.298932494750101]
フェデレートラーニング(FL)は、データ集中化を必要とせずに、分散クライアント間の分散モデルトレーニングを可能にする。
我々は,クラス間分割をクライアント間で実現しつつ,クラス内表現の最小化を明示的に実施する新しい方法であるFedQuadを提案する。
論文 参考訳（メタデータ） (2026-05-08T15:34:41Z) - Replacing Parameters with Preferences: Federated Alignment of Heterogeneous Vision-Language Models [63.70401095689976]
VLM(Vision-Language Models)は、医療や金融といったプライバシに敏感な分野において大きな可能性を秘めている。
ヘテロジニアスVLMのためのGRPOとMixture-of-Rewardsを組み合わせた協調アライメントフレームワークであるMoRを提案する。
MoRは、一般化とクロスクライアント適応性において、フェデレートされたアライメントベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2026-05-05T07:02:50Z) - FedDES: Graph-Based Dynamic Ensemble Selection for Personalized Federated Learning [0.07161783472741748]
FedDESは、動的アンサンブル選択によってインスタンスレベルのパーソナライズを実現する分散pFLフレームワークである。
グラフニューラルネットワーク(GNN)メタラーナーは、データサンプルと候補分類器間の相互作用をモデル化する異種グラフに基づいて訓練される。
CIFAR-10および実世界のICU医療データによる実験では、FedDESは非IID環境での最先端のpFLベースラインを上回っている。
論文 参考訳（メタデータ） (2026-03-30T03:57:52Z) - Interaction-Aware Gaussian Weighting for Clustered Federated Learning [58.92159838586751]
フェデレートラーニング(FL)は、プライバシを維持しながらモデルをトレーニングするための分散パラダイムとして登場した。
本稿では,新たなクラスタリングFL法であるFedGWC(Federated Gaussian Weighting Clustering)を提案する。
ベンチマークデータセットを用いた実験により,FedGWCはクラスタの品質と分類精度において,既存のFLアルゴリズムよりも優れていることがわかった。
論文 参考訳（メタデータ） (2025-02-05T16:33:36Z) - ComPO: Community Preferences for Language Model Personalization [122.54846260663922]
ComPOは、言語モデルにおける好みの最適化をパーソナライズする手法である。
ComPRedはRedditからコミュニティレベルの好みを持った質問応答データセットです。
論文 参考訳（メタデータ） (2024-10-21T14:02:40Z) - Mitigating Group Bias in Federated Learning for Heterogeneous Devices [1.181206257787103]
フェデレートラーニング(Federated Learning)は、分散エッジアプリケーションにおけるプライバシ保護モデルトレーニングアプローチとして登場している。
本研究は,プライバシを維持しながら,資源利用のオーバーヘッドを伴わずにグループバイアスを最小限に抑えるグループフェアFLフレームワークを提案する。
論文 参考訳（メタデータ） (2023-09-13T16:53:48Z) - Federated Two Stage Decoupling With Adaptive Personalization Layers [5.69361786082969]
フェデレーション学習は、プライバシ制約を維持しながら分散学習を可能にする能力によって、大きな注目を集めている。
本質的には、学習の劣化と収束速度の低下を経験する。
等質なクライアントを同じ群にクラスタリングするという概念を採用することは自然であり、各群内のモデル重みのみを集約することができる。
論文 参考訳（メタデータ） (2023-08-30T07:46:32Z) - Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated
Learning via Class-Imbalance Reduction [76.26710990597498]
本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。
我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。
特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
論文 参考訳（メタデータ） (2022-09-30T05:42:56Z) - On the Convergence of Clustered Federated Learning [57.934295064030636]
統合学習システムでは、例えばモバイルデバイスや組織参加者といったクライアントは通常、個人の好みや行動パターンが異なる。
本稿では,クライアントグループと各クライアントを統一最適化フレームワークで活用する,新しい重み付きクライアントベースクラスタリングFLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-02-13T02:39:19Z) - Overcoming Data Sparsity in Group Recommendation [52.00998276970403]
グループレコメンデータシステムは、ユーザの個人的な好みだけでなく、嗜好集約戦略も正確に学習できなければならない。
本稿では,BGEM(Bipartite Graphding Model)とGCN(Graph Convolutional Networks)を基本構造として,グループとユーザ表現を統一的に学習する。
論文 参考訳（メタデータ） (2020-10-02T07:11:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。