論文の概要: From Bilinear to Linear: Differentially Private Federated LoRA via Low-Dimensional Parameterization

• arxiv url: http://arxiv.org/abs/2609.26091v1
• Date: Tue, 04 Aug 2026 08:17:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.872443
• Title: From Bilinear to Linear: Differentially Private Federated LoRA via Low-Dimensional Parameterization
• Title（参考訳）: 双線型から線形へ:低次元パラメータ化による微分プライベートLoRA
• Abstract要約: Federated Low-Rank Adaptation (LoRA)は、分散およびプライバシに敏感なデータ間で大きな言語モデルを微調整するための効率的なソリューションを提供する。 生のデータ共有を避けながらも、フェデレートされたLoRAは、送信されたモデル更新を通じてプライバシーの漏洩に弱いままである。 統一された低次元パラメータ化に基づく,微分プライベートなLoRAフレームワークであるFedHSIPを提案する。
• 参考スコア（独自算出の注目度）: 15.652808783124835
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Federated Low-Rank Adaptation (LoRA) provides an efficient solution for finetuning large language models across distributed and privacy-sensitive data. However, despite avoiding raw data sharing, federated LoRA remains vulnerable to privacy leakage through transmitted model updates. Differential privacy (DP) mitigates such leakage, but integrating DP into federated LoRA introduces two fundamental challenges: aggregation mismatch from independently averaging low-rank factors, and quadratic noise amplification when noise is injected into both factors. To address these challenges, we propose FedHSIP, a differentially private federated LoRA framework based on a unified low-dimensional parameterization. FedHSIP reformulates all LoRA parameters into a shared low-dimensional trainable vector, enabling clients to optimize and communicate only low-dimensional updates. This reformulation transforms federated LoRA from a bilinear factor aggregation problem into a unified linear parameter space, thereby eliminating aggregation mismatch and preventing the quadratic amplification of DP noise. To further handle non-IID data, we introduce a heterogeneity- and sensitivity-aware isometric projection, constructed from warm-up statistics, which groups coordinates with compatible cross-client update patterns while balancing sensitivity, update energy, and heterogeneity across the low-dimensional space. Extensive experiments on natural language understanding and generation benchmarks show that FedHSIP consistently outperforms existing federated LoRA methods under both private and non-private settings, achieving up to 3-4% improvements under differential privacy while reducing communication cost by over 80% and maintaining robustness under heterogeneous data distributions.
• Abstract（参考訳）: Federated Low-Rank Adaptation (LoRA)は、分散およびプライバシに敏感なデータ間で大きな言語モデルを微調整するための効率的なソリューションを提供する。 しかし、生のデータ共有を避けながらも、フェデレートされたLoRAは、送信されたモデル更新を通じてプライバシーの漏洩に弱いままである。 差分プライバシー(DP)は、そのような漏洩を緩和するが、DPをフェデレートしたLoRAに統合することは、2つの基本的な課題をもたらす。 これらの課題に対処するため,FedHSIPを提案する。 FedHSIPはすべてのLoRAパラメータを共有低次元トレーニング可能なベクトルに再構成し、クライアントが低次元更新のみを最適化し、通信できるようにする。 この改質は、フェデレートされたLoRAを、双線形因子集約問題から統一線形パラメータ空間に変換することにより、集約ミスマッチを排除し、DPノイズの二次増幅を防止する。 非IIDデータを更に処理するために、ウォームアップ統計から構築された不均一性および感度認識等尺投影を導入し、低次元空間における感度、更新エネルギー、不均一性のバランスを保ちながら、互換のクロスクライアント更新パターンと協調する。 自然言語の理解と生成ベンチマークに関する大規模な実験により、FedHSIPは、プライベートおよび非プライベート両方の設定下で、既存のフェデレートされたLoRAメソッドを一貫して上回り、差分プライバシーの下で最大3～4%の改善を達成し、通信コストを80%以上削減し、異種データ分散下で堅牢性を維持することが示されている。

関連論文リスト

• FedGSA: Geometry-Consistent Subspace Aggregation for Differentially Private Federated LoRA [15.652808783124835]
  微分プライベートなLoRAのための幾何整合アグリゲーションフレームワークを提案する。 FedGSAは、各プライベート化されたクライアント更新を、グラスマン多様体上の基底不変部分空間として表現している。 我々は、FedGSAがクライアント側のDPトレーニング以上のプライバシーを損なうことなく、標準的前提の下でその収束を確立することを証明した。
  論文  参考訳（メタデータ） (2026-08-04T07:39:40Z)
• Improving Parameter-Efficient Federated Learning with Differentially Private Refactorization [8.171217925484921]
  パラメータ効率の良い微調整によるフェデレートラーニング(FL)は、分散データ上でスケーラブルなモデルトレーニングを可能にする。 Low-Rank Adaptation (LoRA)は、グローバルアグリゲーション中にエラーを導入し、差分プライバシー(DP)の負の効果を増幅する。 サーバサイドアグリゲーションを再活性化する,差分的にプライベートなクロスサイロFLフレームワークであるFedPowerを提案する。
  論文  参考訳（メタデータ） (2026-05-08T20:06:09Z)
• FedPDPO: Federated Personalized Direct Preference Optimization for Large Language Model Alignment [55.97027207627]
  Fed PDPO(Federated Personalized Direct Preference Optimization)は、大規模言語モデル(LLM)の優先順位調整のためのパーソナライズされたフレームワークである。 パラメータ効率の良い微調整アーキテクチャを採用し、各クライアントはLow-Rank Adaptation (LoRA)アダプタで拡張された凍結したLLMバックボーンを維持し、通信効率のよいアグリゲーションを可能にする。 複数の嗜好データセットの実験では、最先端のパフォーマンスを示し、フェデレーション付きドメイン内およびクロスドメイン設定の平均精度が4.80%向上した。
  論文  参考訳（メタデータ） (2026-03-20T08:24:49Z)
• Wireless Federated Multi-Task LLM Fine-Tuning via Sparse-and-Orthogonal LoRA [61.12136997430116]
  低ランク適応(LoRA)に基づく分散連合学習(DFL)により、マルチタスクデータセットを持つモバイルデバイスは、ローカルに更新されたパラメータを、無線接続を介して近隣デバイスのサブセットと交換することで、大きな言語モデル(LLM)を協調的に微調整することができる。 不均一データセットに微調整されたパラメータを直接集約すると、DFLライフサイクルの3つの主要な問題が発生する: (i) 微調整プロセス中に忘れる破滅的な知識、(ii) データの異種性に起因する更新方向の矛盾に起因する。
  論文  参考訳（メタデータ） (2026-02-24T02:45:32Z)
• Rethinking LoRA for Privacy-Preserving Federated Learning in Large Models [14.755143405057929]
  差分プライベートラーニング(DPFL)の下での微調整大型ビジョンモデル(LVM)と大規模言語モデル(LLM)は、基本的なプライバシーとユーティリティのトレードオフによって妨げられる。 Low-Rank Adaptation (LoRA)はPEFT法であり、トレーニング可能な2つの低ランク行列を導入し、事前訓練した重みを凍結することにより、計算と通信のコストを削減する。 LA-LoRAは、勾配の相互作用を分離し、クライアント間で更新方向を調整し、厳密なプライバシー制約の下で堅牢性を高める新しいアプローチである。
  論文  参考訳（メタデータ） (2026-02-23T15:05:28Z)
• Communication-Efficient and Personalized Federated Foundation Model Fine-Tuning via Tri-Matrix Adaptation [47.82423317739088]
  本稿では, パーソナライズされたモデルパラメータアグリゲーションを用いた三要素化低ランク適応手法である通信効率のフェデレーションLoRA適応(CE-LoRA)を提案する。 各種LLMおよびVLM微調整タスクの実験により、CE-LoRAは通信オーバーヘッドを著しく低減するだけでなく、独立で同一の分散データ条件下での性能も向上することが示された。
  論文  参考訳（メタデータ） (2025-03-31T09:18:42Z)
• HAFLQ: Heterogeneous Adaptive Federated LoRA Fine-tuned LLM with Quantization [55.972018549438964]
  LLM(Federated Fine-tuning of Pre-trained Large Language Models)は、さまざまなデータセットにまたがるタスク固有の適応を可能にすると同時に、プライバシの保護を可能にする。 本研究では, HAFLQ (Heterogeneous Adaptive Federated Low-Rank Adaptation Fine-tuned LLM with Quantization) を提案する。 テキスト分類タスクの実験結果から,HAFLQはメモリ使用量を31%削減し,通信コストを49%削減し,精度を50%向上し,ベースライン法よりも高速な収束を実現している。
  論文  参考訳（メタデータ） (2024-11-10T19:59:54Z)
• Enhancing Federated Learning with Adaptive Differential Privacy and Priority-Based Aggregation [0.0]
  フェデレートラーニング(FL)は、ローカルデータセットに直接アクセスせずにグローバルモデルを開発する。 クライアントとサーバ間で転送されるモデル更新にアクセスすることが可能で、敵に機密性の高いローカル情報を公開する可能性がある。 微分プライバシー(DP)は、パラメータにノイズを加えることでこの問題に対処するための有望なアプローチを提供する。 本稿では、クライアントの相対的影響要因に基づいてノイズを注入し、パラメータを集約するパーソナライズされたDPフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-26T16:55:07Z)
• Uncertainty-Aware Source-Free Adaptive Image Super-Resolution with Wavelet Augmentation Transformer [60.31021888394358]
  Unsupervised Domain Adaptation (UDA)は、現実世界の超解像(SR)における領域ギャップ問題に効果的に対処できる 本稿では,画像SR(SODA-SR)のためのSOurce-free Domain Adaptationフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-31T03:14:44Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。