論文の概要: Personalized Federated Direct Preference Optimization via LoRA Adapters

• arxiv url: http://arxiv.org/abs/2610.12885v1
• Date: Fri, 09 Oct 2026 02:20:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.353616
• Title: Personalized Federated Direct Preference Optimization via LoRA Adapters
• Title（参考訳）: LoRAアダプタによる個人化フェデレーション直接選好最適化
• Abstract要約: Federated Direct Preference Optimization (FedDPO)は、センシティブな嗜好データを集中化せずに、分散エージェント間で言語モデルのプライバシ保護アライメントを可能にする。 我々は,共有グローバルベースモデル上に,各クライアントが小さなプライベートLoRAアダプタを保持可能なパーソナライズされたFedDPOを提案する。 選好データセットの実験では、pFedDPOはバニラFedDPOよりも低い勾配基準を一貫して達成し、トレーニング損失とクライアントごとの報酬精度に競争力を維持している。
• 参考スコア（独自算出の注目度）: 9.288287504452887
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Direct Preference Optimization (FedDPO) enables privacy-preserving alignment of language models across distributed agents without centralizing sensitive preference data. However, existing FedDPO analysis assumes all clients converge to a single shared policy, which is fundamentally at odds with the heterogeneous preference distributions present in practice. We propose Personalized FedDPO (pFedDPO), in which each client maintains a small private LoRA adapter atop a shared global base model. In pFedDPO, the base model is synchronized via FedAvg each round, while LoRA adapters remain local and capture client-specific preference patterns. We prove that this decomposition replaces the gradient diversity $κ^2$ in the FedDPO bound with a residual heterogeneity $κ^2_{\mathrm{eff}}$, which is no larger than $κ^2$ when adapters absorb client-specific directions, at the cost of an additive adapter-bias term that vanishes as adapters converge. Experiments on preference datasets show that pFedDPO consistently attains a lower gradient norm than vanilla FedDPO while remaining competitive in training loss and per-client reward accuracy.
• Abstract（参考訳）: Federated Direct Preference Optimization (FedDPO)は、センシティブな嗜好データを集中化せずに、分散エージェント間で言語モデルのプライバシ保護アライメントを可能にする。 しかし、既存のFedDPO分析では、すべてのクライアントが単一の共有ポリシーに収束すると仮定している。 我々はPersonalized FedDPO(pFedDPO)を提案し、各クライアントは共有グローバルベースモデル上で小さなプライベートLoRAアダプタを保守する。 pFedDPOでは、ベースモデルは各ラウンド毎にFedAvgを介して同期されるが、LoRAアダプタはローカルのままであり、クライアント固有の好みパターンをキャプチャする。 この分解は、FedDPO 境界における勾配変数 $κ^2$ を、アダプタがクライアント固有の方向を吸収する場合に、アダプタが収束するにつれて消滅する付加的なアダプタバイアス項のコストで、$κ^2_{\mathrm{eff}}$ より大きい残余不均一性 $κ^2_{\mathrm{eff}}$ に置き換えることを示す。 選好データセットの実験では、pFedDPOはバニラFedDPOよりも低い勾配基準を一貫して達成し、トレーニング損失とクライアントごとの報酬精度に競争力を維持している。

関連論文リスト

• FedLAFP: Low-Rank Aggregation Meets Full-Rank Personalization in Federated Fine-Tuning [11.499152917341256]
  フェデレートされたパラメータ効率の微調整により、クライアントは生データを共有したり、完全なモデルを通信したりすることなく、事前訓練されたモデルを適応できる。 既存のパーソナライズされたメソッドは、共有とプライベートの両方に同じ低ランク構造を使用するのが一般的である。 我々は、コンパクトでグローバルに集約されたLoRAブランチとクライアントプライベートでフルランク対応のRandLoRAブランチを結合するロール認識フレームワークであるFedLAFPを提案する。
  論文  参考訳（メタデータ） (2026-09-29T08:45:08Z)
• Mult-DPO: Multinomial Direct Preference Optimization for Recommender Systems [72.27018654934386]
  直接選好最適化(DPO)は、ペアの選好に基づく大規模言語モデル(LLM)の簡易かつ効果的なアライメント戦略である。 しかし、レコメンデーションシステムでは、ユーザからのフィードバックがペアワイズであることは滅多にない。 提案するMult-DPOは,LLMベースのレコメンデータシステムのユーザ嗜好アライメントのための,設定された選好イベントに対するトラクタブルな多項サロゲート確率である。
  論文  参考訳（メタデータ） (2026-06-08T18:53:45Z)
• FedPDPO: Federated Personalized Direct Preference Optimization for Large Language Model Alignment [55.97027207627]
  Fed PDPO(Federated Personalized Direct Preference Optimization)は、大規模言語モデル(LLM)の優先順位調整のためのパーソナライズされたフレームワークである。 パラメータ効率の良い微調整アーキテクチャを採用し、各クライアントはLow-Rank Adaptation (LoRA)アダプタで拡張された凍結したLLMバックボーンを維持し、通信効率のよいアグリゲーションを可能にする。 複数の嗜好データセットの実験では、最先端のパフォーマンスを示し、フェデレーション付きドメイン内およびクロスドメイン設定の平均精度が4.80%向上した。
  論文  参考訳（メタデータ） (2026-03-20T08:24:49Z)
• Differentially Private Federated Low Rank Adaptation Beyond Fixed-Matrix [15.815684304898575]
  大規模言語モデル(LLM)は通常、ドメイン固有のタスクを微調整する必要がある。 両方のアダプタにノイズを追加することで、モデル上の合成ノイズが増幅され、一方のアダプタを固定すると、微調整の学習性が損なわれる。 高い差分プライバシーを持つ低ランクアダプタを効果的に更新するための,新しいフェデレートLoRAフレームワークであるFedASKを提案する。
  論文  参考訳（メタデータ） (2025-07-14T07:17:24Z)
• Preference Optimization by Estimating the Ratio of the Data Distribution [31.298532877678657]
  本稿では,比例マッチングのためのBregman preference Optimization (BPO)を提案する。 BPO は DPO を特別な場合として仮定し、すべてのインスタンスに対して tractable form を提供する。 実験では、$f$-DPOや$f$-POのような他の確率的損失拡張とは異なり、BPOのインスタンスはDPOと比較して勝利率とエントロピーの両方を改善する。
  論文  参考訳（メタデータ） (2025-05-26T07:10:53Z)
• AlphaDPO: Adaptive Reward Margin for Direct Preference Optimization [45.46582930202524]
  $alpha$-DPOは、大規模言語モデルの適応的優先最適化アルゴリズムである。 ポリシーモデルと参照モデルのバランスを取り、パーソナライズされた報酬マージンを達成する。 さまざまなモデル設定でDPOとSimPOを一貫して上回ります。
  論文  参考訳（メタデータ） (2024-10-14T04:29:57Z)
• FedRA: A Random Allocation Strategy for Federated Tuning to Unleash the Power of Heterogeneous Clients [50.13097183691517]
  実世界のフェデレーションシナリオでは、様々な計算と通信資源を持つ多種多様なクライアントが存在することが多い。 本稿では,新しいフェデレーションチューニングアルゴリズムであるFedRAを提案する。 各通信ラウンドにおいて、FedRAはランダムにアロケーション行列を生成する。 アダプタを用いてアロケーション行列とファインチューンに基づいて、元のモデルから少数のレイヤを再編成する。
  論文  参考訳（メタデータ） (2023-11-19T04:43:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。