Fugu-MT 論文翻訳(概要): Dysco: Dynamic Subspace Boosting to Mitigate LoRA Interference in Federated Learning

論文の概要: Dysco: Dynamic Subspace Boosting to Mitigate LoRA Interference in Federated Learning

arxiv url: http://arxiv.org/abs/2607.14367v1
Date: Wed, 15 Jul 2026 21:15:35 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-17 17:01:32.916056
Title: Dysco: Dynamic Subspace Boosting to Mitigate LoRA Interference in Federated Learning
Title（参考訳）: Dysco: フェデレートラーニングにおけるLoRA干渉軽減のための動的サブスペース強化
Authors: Haobo Zhang, Jiankun Wang, Suraj Rajendran, Weishen Pan, Lam Tsoi, Yong Chen, Fei Wang, Jiayu Zhou,
Abstract要約: 異種クライアントはアダプタアグリゲーションを不安定にできるクライアント固有のLoRAサブスペースを割り当てる動的サブスペースブースティング(Dysco)を提案する。ディスコは干渉を著しく減らし、最終ラウンドの合成訓練損失を最大9倍に削減する。
参考スコア（独自算出の注目度）: 29.371418314402565
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Federated fine-tuning of large pre-trained models increasingly relies on Low-Rank Adaptation (LoRA) to reduce communication and computation, but heterogeneous clients can make adapter aggregation unstable. We identify the data-parameter interference as a geometric source of this instability. This interference is controlled by the alignment between LoRA update subspaces and client activations, suggesting that federated LoRA aggregation should be viewed not only as parameter averaging but also as subspace allocation. We propose Dynamic Subspace Boosting (Dysco), a plug-in method that allocates client-specific LoRA subspaces in a federated and dynamic manner. In each round, clients compute activation-insensitive subspaces from local representations and transmit only the resulting bases; the server then constructs client-specific merged subspaces through a closed-form solution that maximizes compatibility with other clients' insensitive directions. To handle representation drift, Dysco performs multi-round subspace boosting to preserve past update directions while adapting to future representations. We provide a convergence analysis that embeds the data-parameter interference as an aggregation-error term in a standard federated optimization bound, and prove that Dysco's server-fixed merged subspaces yield a tighter upper bound on this error. Experiments on controlled synthetic federated tasks and on MIMIC-IV clinical-note classification with Llama-3.2-1B show that Dysco substantially reduces interference, reduces the final-round synthetic training loss by up to 9 times relative to baselines under the orthogonal-subspace partition the theory identifies, improves all five tested FL algorithms by up to 4.3% on MIMIC, outperforms recent federated LoRA methods, and adds only 0.9% wall-clock overhead. Our code is available at https://github.com/illidanlab/Dysco.
Abstract（参考訳）: 大きな事前訓練されたモデルのファインチューニングは、通信と計算を減らすためにローランド適応(LoRA)に依存していることが多いが、異種クライアントはアダプタアグリゲーションを不安定にすることができる。この不安定性の幾何学的源としてデータパラメータ干渉を同定する。この干渉は、LoRA更新サブスペースとクライアントアクティベーションのアライメントによって制御され、フェデレートされたLoRAアグリゲーションはパラメータ平均化だけでなく、サブスペースアロケーションとして見る必要があることを示唆している。クライアント固有のLoRAサブスペースを,連合的かつ動的に割り当てるプラグイン手法であるDynamic Subspace Boosting (Dysco)を提案する。各ラウンドにおいて、クライアントはローカル表現からアクティベーション非感受性なサブスペースを計算し、結果のベースのみを送信し、サーバは他のクライアントの非感受性な方向との互換性を最大化するクローズドフォームソリューションを通じてクライアント固有のマージサブスペースを構築する。表現のドリフトを処理するため、Dyscoは複数ラウンドのサブスペースブーストを実行し、過去の更新方向を保存し、将来の表現に適応させる。我々は,データパラメータ干渉を標準フェデレーション最適化境界に集約エラー項として埋め込んだ収束解析を行い,Dyscoのサーバ固定化部分空間がこの誤差に対してより厳密な上限を与えることを示す。 Llama-3.2-1Bを用いたMIMIC-IV臨床試験では、Dyscoは干渉を著しく低減し、直交空間分割の下でのベースラインと比較して、最終ラウンドの合成トレーニング損失を最大9倍削減し、MIMIC上で最大4.3%改善し、最近のフェデレートされたLoRA法を上回り、壁面のオーバーヘッドをわずか0.9%増やしている。私たちのコードはhttps://github.com/illidanlab/Dysco.comで公開されています。

関連論文リスト

SSR-Merge: Subspace Signal Routing for Training-Free LoRA Merging in Diffusion Models [27.413287599101327]
Low-Rank Adaptation (LoRA) 統合は、拡散モデルのために複数の訓練されたLoRAから多種多様な生成能力を効率的に組み合わせることができる。既存のLoRAマージ技術は、しばしば深刻なパラメータ干渉に悩まされ、共有パラメータ空間における破壊的な衝突を引き起こす。本稿では、パラメータ空間マージを行う代わりに、内部信号のルーティングによって干渉を解決するサブスペース信号ルーティング(SSR)を提案する。
論文参考訳（メタデータ） (2026-06-09T09:16:17Z)
FedSmoothLoRA: Toward Smoother and Faster Convergence in Federated Low-Rank Adaptation [70.67537583458572]
Low-Rank Adaptation (LoRA) を用いた基礎モデルのファインチューニングにより,通信コストと計算コストを削減できる。 FedAvgとLoRAの直接的な組み合わせには、3つの大きな問題がある。我々はFedSmoothLoRAを提案する。FedSmoothLoRAは、拡張された更新空間を保存し、局所的な最適化の連続性を改善し、クライアント対応の開始状態を提供する、フェデレートされたLoRAチューニングフレームワークである。
論文参考訳（メタデータ） (2026-05-28T06:53:46Z)
Federated LoRA Fine-Tuning for LLMs via Collaborative Alignment [4.733680065352959]
低ランク適応(LoRA)は,大規模言語モデル(LLM)のパラメータ効率向上のための強力なツールとして登場した。本稿では,LoRAを協調学習環境下で研究し,パラメータ効率を保ちながらクライアント間の協調的な微調整を可能にする。予備的な局所推定器のみに依存する汚染認識フレームワークであるCLAIR(Collaborative Low-rank Alignment and Identifiable Recovery)を提案する。
論文参考訳（メタデータ） (2026-05-20T14:12:16Z)
FedRot-LoRA: Mitigating Rotational Misalignment in Federated LoRA [25.49850401602623]
Federated LoRAは、分散データ上で大きな言語モデルを微調整するための通信効率のよいメカニズムを提供する。実際には、低いランクを維持するために使用される因子平均値と、局所的な更新の数学的に正しい集約との相違は、重大な集約エラーと不安定なトレーニングを引き起こす可能性がある。我々は、アグリゲーションの前に変換を介してクライアント更新を調整するフレームワークであるFedRot-LoRAを提案する。
論文参考訳（メタデータ） (2026-02-27T03:18:32Z)
Wireless Federated Multi-Task LLM Fine-Tuning via Sparse-and-Orthogonal LoRA [61.12136997430116]
低ランク適応(LoRA)に基づく分散連合学習(DFL)により、マルチタスクデータセットを持つモバイルデバイスは、ローカルに更新されたパラメータを、無線接続を介して近隣デバイスのサブセットと交換することで、大きな言語モデル(LLM)を協調的に微調整することができる。不均一データセットに微調整されたパラメータを直接集約すると、DFLライフサイクルの3つの主要な問題が発生する: (i) 微調整プロセス中に忘れる破滅的な知識、(ii) データの異種性に起因する更新方向の矛盾に起因する。
論文参考訳（メタデータ） (2026-02-24T02:45:32Z)
Rethinking LoRA for Data Heterogeneous Federated Learning: Subspace and State Alignment [45.726776332713136]
本稿では,クライアント側GaLoreスタイルの勾配-部分空間最適化とサーバ側ドリフト-ロバスト同期を組み合わせたFedGaLoreを提案する。 NLU、ビジョン、NLGベンチマーク全体において、FedGaLoreは、非IID設定における最先端のフェデレーションLoRAベースラインに対する堅牢性と正確性を改善する。
論文参考訳（メタデータ） (2026-02-02T07:27:44Z)
Regularizing Subspace Redundancy of Low-Rank Adaptation [54.473090597164834]
本稿では、マッピング部分空間間の冗長性を明示的にモデル化し、低ランク適応のサブスペース冗長性を適応的に正規化する手法であるReSoRAを提案する。提案手法は、視覚言語検索や標準的な視覚分類ベンチマークにおいて、様々なバックボーンやデータセットにまたがる既存のPETL手法を一貫して促進する。トレーニングの監督として、ReSoRAは追加の推論コストなしで、プラグイン・アンド・プレイ方式で既存のアプローチにシームレスに統合することができる。
論文参考訳（メタデータ） (2025-07-28T11:52:56Z)
DEeR: Deviation Eliminating and Noise Regulating for Privacy-preserving Federated Low-rank Adaptation [29.30782543513243]
我々は、UnderlineDeviation UnderlineEliminatingとNoisunderlinee Underline Regulating (DEeR)と呼ばれるプライバシー保護フェデレーションファインタニングフレームワークを提案する。 DeeRは、最先端のアプローチと比較して、公開医療データセットのパフォーマンスが向上していることを示す。
論文参考訳（メタデータ） (2024-10-16T18:11:52Z)
Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。本稿では,FedInsという新しいFLアルゴリズムを提案する。我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-11T09:58:47Z)
Subspace based Federated Unlearning [75.90552823500633]
フェデレート・アンラーニング(FL)は、ユーザが忘れられる権利を満たすために、特定のターゲットクライアントのFLへの貢献を取り除くことを目的としている。既存のフェデレートされた未学習アルゴリズムでは、パラメータの更新履歴をサーバに格納する必要がある。そこで我々は,SFUと呼ばれる,単純なyet効率のサブスペースに基づくフェデレーションアンラーニング手法を提案する。
論文参考訳（メタデータ） (2023-02-24T04:29:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。