論文の概要: Rethinking LoRA for Privacy-Preserving Federated Learning in Large Models

• arxiv url: http://arxiv.org/abs/2602.19926v1
• Date: Mon, 23 Feb 2026 15:05:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-24 17:42:02.869776
• Title: Rethinking LoRA for Privacy-Preserving Federated Learning in Large Models
• Title（参考訳）: 大規模モデルにおけるプライバシ保護フェデレーション学習のためのLoRAの再考
• Authors: Jin Liu, Yinbin Miao, Ning Xi, Junkang Liu,
• Abstract要約: 差分プライベートラーニング(DPFL)の下での微調整大型ビジョンモデル(LVM)と大規模言語モデル(LLM)は、基本的なプライバシーとユーティリティのトレードオフによって妨げられる。 Low-Rank Adaptation (LoRA)はPEFT法であり、トレーニング可能な2つの低ランク行列を導入し、事前訓練した重みを凍結することにより、計算と通信のコストを削減する。 LA-LoRAは、勾配の相互作用を分離し、クライアント間で更新方向を調整し、厳密なプライバシー制約の下で堅牢性を高める新しいアプローチである。
• 参考スコア（独自算出の注目度）: 14.755143405057929
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning large vision models (LVMs) and large language models (LLMs) under differentially private federated learning (DPFL) is hindered by a fundamental privacy-utility trade-off. Low-Rank Adaptation (LoRA), a promising parameter-efficient fine-tuning (PEFT) method, reduces computational and communication costs by introducing two trainable low-rank matrices while freezing pre-trained weights. However, directly applying LoRA in DPFL settings leads to performance degradation, especially in LVMs. Our analysis reveals three previously underexplored challenges: (1) gradient coupling caused by the simultaneous update of two asymmetric low-rank matrices, (2) compounded noise amplification under differential privacy, and (3) sharpness of the global aggregated model in the parameter space. To address these issues, we propose LA-LoRA (\textbf{L}ocal \textbf{A}lternating \textbf{LoRA}), a novel approach that decouples gradient interactions and aligns update directions across clients to enhance robustness under stringent privacy constraints. Theoretically, LA-LoRA strengthens convergence guarantees in noisy federated environments. Extensive experiments demonstrate that LA-LoRA achieves state-of-the-art (SOTA) performance on Swin Transformer and RoBERTa models, showcasing robustness to DP noise and broad applicability across both LVMs and LLMs. For example, when fine-tuning the Swin-B model on the Tiny-ImageNet dataset under a strict privacy budget ($ε= 1$), LA-LoRA outperforms the best baseline, RoLoRA, by 16.83\% in test accuracy. Code is provided in \repolink.
• Abstract（参考訳）: 差分プライベート・フェデレーション・ラーニング(DPFL)の下での微調整大型ビジョンモデル(LVM)と大規模言語モデル(LLM)は、基本的なプライバシーとユーティリティのトレードオフによって妨げられる。 Low-Rank Adaptation (LoRA)はPEFT法であり、トレーニング可能な2つの低ランク行列を導入し、事前学習した重みを凍結することにより、計算と通信のコストを削減する。 しかし、DPFL設定にLoRAを直接適用すると、特にLVMではパフォーマンスが低下する。 その結果,(1)非対称な2つの低ランク行列の同時更新による勾配結合,(2)差分プライバシー下での複合雑音増幅,(3)パラメータ空間におけるグローバル集約モデルのシャープさ,の3つの課題が明らかになった。 これらの問題に対処するため, LA-LoRA (\textbf{L}ocal \textbf{A}lternating \textbf{LoRA}) を提案する。 理論的には、LA-LoRAはノイズの多い連合環境における収束保証を強化する。 LA-LoRAはSwin TransformerおよびRoBERTaモデル上でのSOTA(State-of-the-art)性能を実証し,DPノイズに対するロバスト性を示し,LVMとLLMの両方に適用可能であることを示した。 例えば、Tiny-ImageNetデータセットのSwin-Bモデルを厳格なプライバシー予算(ε=1$)で微調整すると、LA-LoRAは、テスト精度が16.83\%向上する。 コードは \repolink で提供される。

関連論文リスト

• Dynamic Low-Rank Sparse Adaptation for Large Language Models [54.1231638555233]
  Low-rank Sparse Adaptation (LoSA)は、低ランク適応をsparse LLM sparsityにシームレスに統合する新しい手法である。 LoSAは、微調整中に対応するスパース重みに基づいてLoRA結果を動的に分散する。 LoSAは、追加の推論負荷を伴わずに、スパースLSMの有効性を数時間で効果的に向上させることができる。
  論文  参考訳（メタデータ） (2025-02-20T18:37:32Z)
• LoRA-FAIR: Federated LoRA Fine-Tuning with Aggregation and Initialization Refinement [12.733972494875713]
  ファンデーションモデル(FM)は、タスク固有の微調整によって、多様なタスクにまたがる強力なパフォーマンスを実現する。 低ランク適応 (LoRA) のようなローランク適応 (LoRA) 手法は、少ないパラメータをチューニングするための低ランク行列を導入することで、このコストを削減する。 LoRA-FAIRは計算と通信の効率を維持し、最先端の手法よりも優れた性能が得られる。
  論文  参考訳（メタデータ） (2024-11-22T14:19:01Z)
• Replay-Free Continual Low-Rank Adaptation with Dynamic Memory [62.85596937435928]
  我々は、事前学習された視覚変換器(ViT)が、時間とともに新しい下流タスクを逐次微調整できる連続学習を再考する。 近年の研究では、CL技術とパラメータ効率の良い微調整の交差が強調されている。 DualLoRA (Dual Low-Rank Adaptation) と呼ばれる新しいPEFT-CL法を提案する。
  論文  参考訳（メタデータ） (2024-11-01T14:28:39Z)
• Exploring Gradient Subspaces: Addressing and Overcoming LoRA's Limitations in Federated Fine-Tuning of Large Language Models [19.533062623518674]
  本稿ではLow-Rank Adaptation (LoRA)を用いたFLフレームワークの収束と性能保証を批判的に分析する。 直接重み付けはLoRAベースの戦略よりも優れており、微調整モデルでは優れた性能が得られることを示す。 以上の結果から,直接重み付けと併用したGaLoreの方が,FlexLoRAやFFA-LoRAといったフェデレートされたLoRA法よりも,テキストや画像のモダリティが優れていることが示唆された。
  論文  参考訳（メタデータ） (2024-10-30T15:23:44Z)
• LoRA vs Full Fine-tuning: An Illusion of Equivalence [73.5303340531806]
  我々は,Low-Rank Adaptation (LoRA) とフルファインタニングによる事前学習モデルについて検討する。 特異値分解が全く異なる構造を示すLoRAおよび完全微調整収量行列が得られた。 我々は、LoRAが完全な微調整を忘れてはならないという発見を拡張し、その忘れ物は侵入者次元に大きく局所化されていることを発見した。
  論文  参考訳（メタデータ） (2024-10-28T17:14:01Z)
• Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
  Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。 LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。 本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-10T18:51:53Z)
• Flat-LoRA: Low-Rank Adaptation over a Flat Loss Landscape [52.98187034726091]
  フルパラメータ空間の平坦領域に位置する低ランク適応を同定することを目的としたFlat-LoRAを提案する。 また、Flat-LoRAはドメイン内とドメイン外の両方の一般化を改善していることを示す。
  論文  参考訳（メタデータ） (2024-09-22T11:24:10Z)
• Improving LoRA in Privacy-preserving Federated Learning [44.47315926976059]
  ローランク適応(ローランク適応、LoRA)は、事前訓練された言語モデルにおける最も一般的なタスク固有パラメータ効率細調整(PEFT)手法の1つである。 本稿では,これらの課題を緩和するために,LoRAの効率的かつ効果的なフェデレートフリーズA LoRA(FFA-LoRA)を提案する。
  論文  参考訳（メタデータ） (2024-03-18T23:20:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。