論文の概要: Towards Federated RLHF with Aggregated Client Preference for LLMs

• arxiv url: http://arxiv.org/abs/2407.03038v2
• Date: Mon, 27 Jan 2025 20:14:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-29 16:39:26.576426
• Title: Towards Federated RLHF with Aggregated Client Preference for LLMs
• Title（参考訳）: LLMの集約クライアント選好によるRLHFのフェデレーションに向けて
• Authors: Feijie Wu, Xiaoze Liu, Haoyu Wang, Xingchen Wang, Lu Su, Jing Gao,
• Abstract要約: 人間のフィードバックによる強化学習(RLHF)は、ユーザの好みデータを用いた事前訓練された大規模言語モデル(LLM)を微調整する。 プライバシー上の懸念から、ユーザーは機密性の高い好みデータを共有するのを嫌がるかもしれない。 我々は,様々な現実世界のユーザから大規模な嗜好収集を可能にする,フェデレートラーニング(FL)技術を活用することを提案する。
• 参考スコア（独自算出の注目度）: 16.97734775088073
• License:
• Abstract: Reinforcement learning with human feedback (RLHF) fine-tunes a pretrained large language model (LLM) using user preference data, enabling it to generate content aligned with human preferences. However, due to privacy concerns, users may be reluctant to share sensitive preference data. To address this, we propose utilizing Federated Learning (FL) techniques, allowing large-scale preference collection from diverse real-world users without requiring them to transmit data to a central server. Our federated RLHF methods (i.e., FedBis and FedBiscuit) encode each client's preferences into binary selectors and aggregate them to capture common preferences. In particular, FedBiscuit overcomes key challenges, such as preference heterogeneity and reward hacking, through innovative solutions like grouping clients with similar preferences to reduce heterogeneity and using multiple binary selectors to enhance LLM output quality. To evaluate the performance of the proposed methods, we establish the first federated RLHF benchmark with a heterogeneous human preference dataset. Experimental results show that by integrating the LLM with aggregated client preferences, FedBis and FedBiscuit significantly enhance the professionalism and readability of the generated content.
• Abstract（参考訳）: 人間のフィードバックによる強化学習(RLHF)は、ユーザの嗜好データを用いて事前訓練された大規模言語モデル(LLM)を微調整し、人間の嗜好に沿ったコンテンツを生成する。 しかし、プライバシー上の懸念から、ユーザーは機密性の高い好みデータを共有することに消極的かもしれない。 そこで本研究では,Federated Learning (FL) 技術を利用することで,さまざまな現実世界のユーザからの大規模な選好収集を,中央サーバにデータを送信することなく実現することを提案する。 当社のフェデレートされたRLHFメソッド(FedBisとFedBiscuit)は、各クライアントの好みをバイナリセレクタにエンコードし、それらを集約して共通の好みをキャプチャします。 特に、FedBiscuitは、好みの不均一性や報酬のハッキングといった重要な課題を克服し、類似した好みを持つクライアントをグループ化して不均一性を低減し、複数のバイナリセレクタを使用してLCM出力品質を向上させるという革新的なソリューションを通じて解決している。 提案手法の性能を評価するため,不均一な人選好データセットを用いた最初のフェデレーションRLHFベンチマークを構築した。 実験結果から,LLMを集約されたクライアント嗜好と統合することにより,FedBisとFedBiscuitは生成したコンテンツのプロフェッショナル性と可読性を著しく向上することがわかった。

関連論文リスト

• Federated Fine-Tuning of LLMs: Framework Comparison and Research Directions [59.5243730853157]
  Federated Learning(FL)は、分散プライベートデータセットを使用して、トレーニング済みの大規模言語モデル(LLM)を微調整するための、プライバシ保護ソリューションを提供する。 本稿では、知識蒸留(KD)とスプリットラーニング(SL)を統合し、これらの問題を緩和する3つの先進的連合LLM(FedLLM)フレームワークの比較分析を行う。
  論文  参考訳（メタデータ） (2025-01-08T11:37:06Z)
• Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
  大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。 個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。 数発のステアライメントのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-18T16:14:59Z)
• Co-clustering for Federated Recommender System [33.70723179405055]
  Federated Recommender System(FRS)は、高品質なレコメンデーションの提供とユーザのプライバシの保護のバランスをとるソリューションを提供する。 パーソナライズされた意思決定パターンによって一般的に観察されるFRSにおける統計的不均一性の存在は、課題を引き起こす可能性がある。 本稿では,Co-clustering Federated RecommendationメカニズムであるCoFedRecを提案する。
  論文  参考訳（メタデータ） (2024-11-03T21:32:07Z)
• PersonalLLM: Tailoring LLMs to Individual Preferences [11.717169516971856]
  我々は、特定のユーザに対して最大限のメリットを提供するためにLLMを適用することに焦点を当てた、PersonalLLMという公開ベンチマークを提示する。 我々は、ユーザーが不均一な潜伏傾向を示すことを期待する高品質な回答と組み合わせたオープンエンドプロンプトをキュレートする。 私たちのデータセットと生成された個人性は、パーソナライズアルゴリズムを開発するための革新的なテストベッドを提供します。
  論文  参考訳（メタデータ） (2024-09-30T13:55:42Z)
• Aligning Large Language Models with Self-generated Preference Data [72.99676237703099]
  大規模言語モデル(LLM)と人間の嗜好との整合性を高める新しいフレームワークを提案する。 私たちのキーとなるアイデアは、小さな(種)データの中で人間の事前知識を活用することです。 本稿では,ノイズ認識型選好学習アルゴリズムを導入し,生成した選好データにおける品質低下のリスクを軽減する。
  論文  参考訳（メタデータ） (2024-06-06T18:01:02Z)
• FedRec+: Enhancing Privacy and Addressing Heterogeneity in Federated Recommendation Systems [15.463595798992621]
  FedRec+は、フェデレーションレコメンデーションシステムのためのアンサンブルフレームワークである。 プライバシーを強化し、エッジユーザの通信コストを低減します。 FedRec+の最先端性能を示す実験結果が得られた。
  論文  参考訳（メタデータ） (2023-10-31T05:36:53Z)
• Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated Learning via Class-Imbalance Reduction [76.26710990597498]
  本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。 我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。 特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
  論文  参考訳（メタデータ） (2022-09-30T05:42:56Z)
• FedSPLIT: One-Shot Federated Recommendation System Based on Non-negative Joint Matrix Factorization and Knowledge Distillation [7.621960305708476]
  我々はNMF結合因子化に基づく最初の教師なしワンショットフェデレーションCF実装であるFedSPLITを提案する。 FedSPLITは、コミュニケーションの数を大幅に減らすことで、技術の現状と類似した結果を得ることができる(特定の状況では、それよりも優れている)。
  論文  参考訳（メタデータ） (2022-05-04T23:42:14Z)
• FedCL: Federated Contrastive Learning for Privacy-Preserving Recommendation [98.5705258907774]
  FedCLは、プライバシーを十分に保護した効果的なモデルトレーニングのために、高品質な負のサンプルを利用することができる。 まず、各クライアントのローカルモデルを介してローカルユーザデータからユーザ埋め込みを推測し、その後、ローカルディファレンシャルプライバシ(LDP)で摂動する。 個々のユーザ埋め込みにはLDPによる重騒音が伴うため,ノイズの影響を軽減するため,サーバ上にユーザ埋め込みをクラスタ化することを提案する。
  論文  参考訳（メタデータ） (2022-04-21T02:37:10Z)
• On the Convergence of Clustered Federated Learning [57.934295064030636]
  統合学習システムでは、例えばモバイルデバイスや組織参加者といったクライアントは通常、個人の好みや行動パターンが異なる。 本稿では,クライアントグループと各クライアントを統一最適化フレームワークで活用する,新しい重み付きクライアントベースクラスタリングFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-02-13T02:39:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。