論文の概要: FedPDPO: Federated Personalized Direct Preference Optimization for Large Language Model Alignment

• arxiv url: http://arxiv.org/abs/2603.19741v1
• Date: Fri, 20 Mar 2026 08:24:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 19:48:39.052386
• Title: FedPDPO: Federated Personalized Direct Preference Optimization for Large Language Model Alignment
• Title（参考訳）: FedPDPO: 大規模言語モデルアライメントのためのFederated Personalized Direct Preference Optimization
• Abstract要約: Fed PDPO(Federated Personalized Direct Preference Optimization)は、大規模言語モデル(LLM)の優先順位調整のためのパーソナライズされたフレームワークである。 パラメータ効率の良い微調整アーキテクチャを採用し、各クライアントはLow-Rank Adaptation (LoRA)アダプタで拡張された凍結したLLMバックボーンを維持し、通信効率のよいアグリゲーションを可能にする。 複数の嗜好データセットの実験では、最先端のパフォーマンスを示し、フェデレーション付きドメイン内およびクロスドメイン設定の平均精度が4.80%向上した。
• 参考スコア（独自算出の注目度）: 55.97027207627
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Aligning large language models (LLMs) with human preferences in federated learning (FL) is challenging due to decentralized, privacy-sensitive, and highly non-IID preference data. Direct Preference Optimization (DPO) offers an efficient alternative to reinforcement learning with human feedback (RLHF), but its direct application in FL suffers from severe performance degradation under non-IID data and limited generalization of implicit rewards. To bridge this gap, we propose FedPDPO (Federated Personalized Direct Preference Optimization), a personalized federated framework for preference alignment of LLMs. It adopts a parameter-efficient fine-tuning architecture where each client maintains a frozen pretrained LLM backbone augmented with a Low-Rank Adaptation (LoRA) adapter, enabling communication-efficient aggregation. To address non-IID heterogeneity, we devise (1) the globally shared LoRA adapter with the personalized client-specific LLM head. Moreover, we introduce (2) a personalized DPO training strategy with a client-specific explicit reward head to complement implicit rewards and further alleviate non-IID heterogeneity, and (3) a bottleneck adapter to balance global and local features. We provide theoretical analysis establishing the probabilistic foundation and soundness. Extensive experiments on multiple preference datasets demonstrate state-of-the-art performance, achieving up to 4.80% average accuracy improvements in federated intra-domain and cross-domain settings.
• Abstract（参考訳）: 大規模言語モデル (LLM) と人間の嗜好を協調するフェデレートラーニング (FL) は、分散化され、プライバシに敏感で、非IIDな嗜好データのために困難である。 直接選好最適化(DPO)は、人間からのフィードバックによる強化学習(RLHF)に代わる効果的な代替手段を提供するが、FLにおける直接適用は、非IIDデータによる厳しい性能劣化と暗黙の報酬の限定的な一般化に悩まされている。 このギャップを埋めるために、LLMの優先順位調整のための個人化されたフレームワークであるFedPDPO(Federated Personalized Direct Preference Optimization)を提案する。 パラメータ効率の良い微調整アーキテクチャを採用し、各クライアントはLow-Rank Adaptation (LoRA)アダプタで拡張された凍結したLLMバックボーンを維持し、通信効率のよいアグリゲーションを可能にする。 非IID不均一性に対処するため、(1)グローバル共有LoRAアダプタと、パーソナライズされたクライアント固有のLCMヘッドを設計する。 さらに、(2)暗黙の報酬を補完し、さらに非IIDの不均一性を緩和するクライアント固有の明示的な報酬ヘッドを用いた個人化されたDPOトレーニング戦略、(3)グローバルな特徴と局所的な特徴のバランスをとるボトルネックアダプタを導入する。 確率的基礎と音性を確立する理論的解析を行う。 複数の嗜好データセットに関する大規模な実験は、最先端のパフォーマンスを示し、フェデレーションされたドメイン内およびクロスドメイン設定における平均精度を最大4.80%向上させる。

関連論文リスト

• Breaking the Structural Identity: Personalized Federated LoRA Fine-tuning under Rank Heterogeneity [12.733972494875713]
  FedRoRAは、ランク・ヘテロジニアス・フェデレーション内できめ細かいパーソナライズを可能にする新しいフレームワークである。 適応を共通のグローバルな方向と、学習可能な対角スケールによって管理される個人レベルの等級に分離する。 NLUおよびNLGベンチマークの実験は、FedRoRAが常に最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2026-09-01T03:09:20Z)
• Cooperative Multi-Agent Reinforcement Learning for Adaptive Aggregation in Semi-Supervised Federated Learning with non-IID Data [4.9856574965240545]
  フェデレートラーニング(FL)は、データのプライバシを保持しながら、機械学習モデルの分散トレーニングを可能にする。 pFedMARLを提案する。これは、MARL(Multi-Agent Reinforcement Learning)とTD(Deep Deterministic Policy Gradient)を組み合わせた新しいアプローチである。 提案手法では,クライアントのコントリビューションを調整するサーバ側エージェントを用いて,グローバルモデルロバストネスを最適化し,クライアント側エージェントがグローバルモデルとローカルアップデートのバランスをとり,事前学習をせずにモデルを効果的にパーソナライズする。
  論文  参考訳（メタデータ） (2026-08-26T13:46:43Z)
• Spectral Souping: A Unified Framework for Online Preference Alignment [39.263620139543505]
  Reinforcement Learning from Human Feedback (RLHF) は、大規模言語モデルと人間の嗜好の集約を効果的に整合させるが、個々のユーザの多様性と矛盾するニーズに対処できないことが多い。 我々は、効率的なオンライン嗜好アライメントのための統合フレームワークであるSpectral Soupingを紹介する。 オンライン嗜好アライメントベンチマーク実験により,本手法は既存の最先端手法よりも大幅な性能向上を実現していることが示された。
  論文  参考訳（メタデータ） (2026-05-19T19:04:47Z)
• Replacing Parameters with Preferences: Federated Alignment of Heterogeneous Vision-Language Models [63.70401095689976]
  VLM(Vision-Language Models)は、医療や金融といったプライバシに敏感な分野において大きな可能性を秘めている。 ヘテロジニアスVLMのためのGRPOとMixture-of-Rewardsを組み合わせた協調アライメントフレームワークであるMoRを提案する。 MoRは、一般化とクロスクライアント適応性において、フェデレートされたアライメントベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-05-05T07:02:50Z)
• FeDecider: An LLM-Based Framework for Federated Cross-Domain Recommendation [75.50721642765994]
  大規模言語モデル(LLM)ベースのレコメンデーションモデルは、素晴らしいパフォーマンスを示している。 We propose a LLM-based framework for Federated cross- domain recommendation, FeDecider。 多様なデータセットにわたる大規模な実験により、提案したFeDeciderの有効性が検証された。
  論文  参考訳（メタデータ） (2026-02-17T21:42:28Z)
• CO-PFL: Contribution-Oriented Personalized Federated Learning for Heterogeneous Networks [51.43780477302533]
  コントリビューション指向型PFL(CO-PFL)は,グローバルアグリゲーションに対する各クライアントのコントリビューションを動的に推定するアルゴリズムである。 CO-PFLは、パーソナライズ精度、堅牢性、スケーラビリティ、収束安定性において、最先端の手法を一貫して超越している。
  論文  参考訳（メタデータ） (2025-10-23T05:10:06Z)
• FedDuA: Doubly Adaptive Federated Learning [2.6108066206600555]
  フェデレーション学習(Federated Learning)は、クライアントが生データを共有せずにグローバルモデルを共同でトレーニングする分散学習フレームワークである。 我々は、ミラー降下レンズによる中央サーバ最適化手順を定式化し、FedDuAと呼ばれる新しいフレームワークを提案する。 提案した2次適応型ステップサイズルールは最小限最適であり,凸対象に対する収束解析を提供する。
  論文  参考訳（メタデータ） (2025-05-16T11:15:27Z)
• Personalized Federated Fine-tuning for Heterogeneous Data: An Automatic Rank Learning Approach via Two-Level LoRA [14.786030311860145]
  PF2LoRAは、2レベルLORAによる新しいアンフェマティックなランク学習アプローチに基づいて構築された、パーソナライズされたファインチューニングアルゴリズムである 自然言語理解および生成タスクに関する実験により,PF2LoRAが既存のファインチューニング手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2025-03-05T21:41:03Z)
• Client-Centric Federated Adaptive Optimization [78.30827455292827]
  Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。 本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
  論文  参考訳（メタデータ） (2025-01-17T04:00:50Z)
• AlphaDPO: Adaptive Reward Margin for Direct Preference Optimization [45.46582930202524]
  $alpha$-DPOは、大規模言語モデルの適応的優先最適化アルゴリズムである。 ポリシーモデルと参照モデルのバランスを取り、パーソナライズされた報酬マージンを達成する。 さまざまなモデル設定でDPOとSimPOを一貫して上回ります。
  論文  参考訳（メタデータ） (2024-10-14T04:29:57Z)
• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)
• FedMAP: Personalised Federated Learning for Real Large-Scale Healthcare Systems [14.378330471182586]
  フェデレーテッド・ラーニング(FL)は、データのプライバシを保護しながら、医療現場での機械学習を可能にすることを約束する。 我々は,局所的な最大値(MAP)推定による統計的不均一性に対処するパーソナライズされたFLフレームワークであるFedMAPを紹介する。 局所トレーニング,FedAvg,PFL法を3つの大規模臨床データセットで比較検討した。
  論文  参考訳（メタデータ） (2024-05-29T11:28:06Z)
• Unified Preference Optimization: Language Model Alignment Beyond the Preference Frontier [0.5120567378386615]
  大規模言語モデル(LLM)の整合化のための統一的アプローチを提案する。 好みと補助目的の単純な分解に基づいて、ユーザとデザイナーの好みを最適化するためにLLMをチューニングできる。
  論文  参考訳（メタデータ） (2024-05-28T08:35:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。