論文の概要: PluralLLM: Pluralistic Alignment in LLMs via Federated Learning

• arxiv url: http://arxiv.org/abs/2503.09925v1
• Date: Thu, 13 Mar 2025 00:45:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-14 15:54:46.258371
• Title: PluralLLM: Pluralistic Alignment in LLMs via Federated Learning
• Title（参考訳）: 複数LLM:フェデレートラーニングによるLLMの多元的アライメント
• Authors: Mahmoud Srewa, Tianyu Zhao, Salma Elmalaki,
• Abstract要約: 我々は、複数のユーザグループが機密データを共有せずに、トランスフォーマーベースの嗜好予測器を協調的に訓練できる、フェデレート学習ベースのアプローチであるPluralLLMを紹介した。 提案手法は,フェデレート平均化(FedAvg)を利用して,選好更新を効率よく集約し,コンバージェンスを46%高速化し,アライメントスコアを4%改善し,グループ公平度を集中訓練とほぼ同等に向上する。
• 参考スコア（独自算出の注目度）: 7.752864126266439
• License:
• Abstract: Ensuring Large Language Models (LLMs) align with diverse human preferences while preserving privacy and fairness remains a challenge. Existing methods, such as Reinforcement Learning from Human Feedback (RLHF), rely on centralized data collection, making them computationally expensive and privacy-invasive. We introduce PluralLLM a federated learning-based approach that enables multiple user groups to collaboratively train a transformer-based preference predictor without sharing sensitive data, which can also serve as a reward model for aligning LLMs. Our method leverages Federated Averaging (FedAvg) to aggregate preference updates efficiently, achieving 46% faster convergence, a 4% improvement in alignment scores, and nearly the same group fairness measure as in centralized training. Evaluated on a Q/A preference alignment task, PluralLLM demonstrates that federated preference learning offers a scalable and privacy-preserving alternative for aligning LLMs with diverse human values.
• Abstract（参考訳）: 大規模言語モデル(LLM)の保証は、さまざまな人間の好みと一致しているが、プライバシと公平性を維持することは依然として課題である。 Reinforcement Learning from Human Feedback (RLHF)のような既存の手法は、中央集権的なデータ収集に依存しており、計算的に高価でプライバシーを侵害する。 我々は、複数のユーザグループが機密データを共有せずにトランスフォーマーベースの嗜好予測器を協調的に訓練できるフェデレート学習ベースのアプローチであるPluralLLMを導入し、LLMの整列のための報酬モデルとしても機能する。 提案手法は,フェデレート平均化(FedAvg)を利用して,選好更新を効率的に集約し,コンバージェンスを46%高速化し,アライメントスコアを4%改善し,グループ公平度を集中訓練とほぼ同等に向上する。 PluralLLMは、Q/A選好アライメントタスクに基づいて評価し、フェデレートされた選好学習が、LLMを多様な人間の価値と整合させるスケーラブルでプライバシ保護の代替手段を提供することを示した。

関連論文リスト

• Disentangling Preference Representation and Text Generation for Efficient Individual Preference Alignment [24.419502686973495]
  個人の嗜好調整のためのフレキシブルパラダイムを導入する。 我々は,複数のテキスト生成タスクにまたがるアプローチを検証し,PEFTに基づく手法よりも整合性の高い品質が得られることを示す。
  論文  参考訳（メタデータ） (2024-12-30T09:58:31Z)
• Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
  大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。 個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。 数発のステアライメントのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-18T16:14:59Z)
• Aligning LLMs with Individual Preferences via Interaction [51.72200436159636]
  調整可能な大きな言語モデル(LLM)をトレーニングします。 木構造における3K以上の多ターン会話を含む多ターン嗜好データセットを開発した。 評価のために、慎重に選択された100のサンプルと、会話中にカスタマイズされたアライメント性能を測定するために適切に設計されたメトリクスからなるALOEベンチマークを確立する。
  論文  参考訳（メタデータ） (2024-10-04T17:48:29Z)
• Towards Federated RLHF with Aggregated Client Preference for LLMs [16.97734775088073]
  人間のフィードバックによる強化学習(RLHF)は、ユーザの好みデータを用いた事前訓練された大規模言語モデル(LLM)を微調整する。 プライバシー上の懸念から、ユーザーは機密性の高い好みデータを共有するのを嫌がるかもしれない。 我々は,様々な現実世界のユーザから大規模な嗜好収集を可能にする,フェデレートラーニング(FL)技術を活用することを提案する。
  論文  参考訳（メタデータ） (2024-07-03T12:02:24Z)
• Pareto-Optimal Learning from Preferences with Hidden Context [17.590330740964266]
  本稿では,多元的アライメントを実現するPOPLを提案する。 理論的および実証的な評価は,POPLが報酬関数とポリシーの学習において,基本的手法を超越していることを示している。 また,POPLは,グループフェアネスの特定の概念を最適化する手法の基盤としても機能することを示す。
  論文  参考訳（メタデータ） (2024-06-21T18:57:38Z)
• MaxMin-RLHF: Alignment with Diverse Human Preferences [101.57443597426374]
  Reinforcement Learning from Human Feedback (RLHF) は、言語モデルと人間の嗜好を一致させる。 予測最大化アルゴリズムを用いて嗜好分布の混合を学習し、人間の嗜好をよりよく表現する。 従来のRLHFアルゴリズムよりも16%以上の勝利率向上を実現している。
  論文  参考訳（メタデータ） (2024-02-14T03:56:27Z)
• Personalized Soups: Personalized Large Language Model Alignment via Post-hoc Parameter Merging [148.77027765872006]
  パーソナライズされたヒューマンフィードバック(RLPHF)問題からの強化学習について検討する。 LLMは、多目的強化学習(MORL)問題としてアライメントをモデル化することで、複数の好みに整列する。 我々は、好みを複数の次元に分解することで、パーソナライズされたアライメントを実現することができることを示す。
  論文  参考訳（メタデータ） (2023-10-17T20:22:13Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• FedPC: Federated Learning for Language Generation with Personal and Context Preference Embeddings [10.235620939242505]
  フェデレーション学習(Federated Learning)は、集中型サーバにデータを集約することなく、複数の分散ユーザから学習するトレーニングパラダイムである。 我々は,個人埋め込みと共有コンテキスト埋め込みの両面を活用した,フェデレートラーニングにおけるパーソナライズ研究の新しい方向性を提案する。 本稿では,これらの嗜好の埋め込みを予測し,バックプロパゲーションを伴わないパーソナライズを可能にするアプローチを提案する。
  論文  参考訳（メタデータ） (2022-10-07T18:01:19Z)
• Multi-Center Federated Learning [62.57229809407692]
  本稿では,フェデレート学習のための新しい多中心集約機構を提案する。 非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。 ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-05-03T09:14:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。