論文の概要: Wireless Federated Multi-Task LLM Fine-Tuning via Sparse-and-Orthogonal LoRA

• arxiv url: http://arxiv.org/abs/2602.20492v1
• Date: Tue, 24 Feb 2026 02:45:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-25 17:34:53.58203
• Title: Wireless Federated Multi-Task LLM Fine-Tuning via Sparse-and-Orthogonal LoRA
• Title（参考訳）: Sparse-and-Orthogonal LoRAによる無線フェデレーションマルチタスクLDMファインチューニング
• Authors: Nuocheng Yang, Sihua Wang, Ouwen Huan, Mingzhe Chen, Tony Q. S. Quek, Changchuan Yin,
• Abstract要約: 低ランク適応(LoRA)に基づく分散連合学習(DFL)により、マルチタスクデータセットを持つモバイルデバイスは、ローカルに更新されたパラメータを、無線接続を介して近隣デバイスのサブセットと交換することで、大きな言語モデル(LLM)を協調的に微調整することができる。 不均一データセットに微調整されたパラメータを直接集約すると、DFLライフサイクルの3つの主要な問題が発生する: (i) 微調整プロセス中に忘れる破滅的な知識、(ii) データの異種性に起因する更新方向の矛盾に起因する。
• 参考スコア（独自算出の注目度）: 61.12136997430116
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decentralized federated learning (DFL) based on low-rank adaptation (LoRA) enables mobile devices with multi-task datasets to collaboratively fine-tune a large language model (LLM) by exchanging locally updated parameters with a subset of neighboring devices via wireless connections for knowledge integration.However, directly aggregating parameters fine-tuned on heterogeneous datasets induces three primary issues across the DFL life-cycle: (i) \textit{catastrophic knowledge forgetting during fine-tuning process}, arising from conflicting update directions caused by data heterogeneity; (ii) \textit{inefficient communication and convergence during model aggregation process}, due to bandwidth-intensive redundant model transmissions; and (iii) \textit{multi-task knowledge interference during inference process}, resulting from incompatible knowledge representations coexistence during inference. To address these issues in a fully decentralized scenario, we first propose a sparse-and-orthogonal LoRA that ensures orthogonality between model updates to eliminate direction conflicts during fine-tuning.Then, we analyze how device connection topology affects multi-task performance, prompting a cluster-based topology design during aggregation.Finally, we propose an implicit mixture of experts (MoE) mechanism to avoid the coexistence of incompatible knowledge during inference. Simulation results demonstrate that the proposed approach effectively reduces communication resource consumption by up to $73\%$ and enhances average performance by $5\%$ compared with the traditional LoRA method.
• Abstract（参考訳）: 低ランク適応(LoRA)に基づく分散フェデレーションラーニング(DFL)により、ローカルに更新されたパラメータを無線接続を介して近隣機器のサブセットと交換することで、マルチタスクデータセットを持つモバイルデバイスが大規模言語モデル(LLM)を協調的に微調整できる。 一 データの異質性による更新方向の相反による微調整の過程を忘れること。 (ii)帯域集中型冗長モデル伝送によるモデル集約過程におけるtextit{非効率通信と収束 (iii)推論過程におけるtextit{multi-task 知識干渉は、推論過程において相容れない知識表現から生じる。 完全分散化シナリオにおいて、まずモデル更新間の直交性を保証し、微調整中の方向衝突を解消する疎直性LoRAを提案し、次に、デバイス接続トポロジがマルチタスクのパフォーマンスにどのように影響するかを分析し、集約中のクラスタベースのトポロジ設計を促す。 シミュレーションの結果,提案手法は,従来のLoRA法と比較して,通信資源消費量を最大7,3 %削減し,平均性能を5 %向上することを示した。

関連論文リスト

• Stabilizing Decentralized Federated Fine-Tuning via Topology-Aware Alternating LoRA [20.00589625873043]
  textttTAD-LoRAは、フェデレーション学習のサーバレス版である。 我々は, TextttTAD-LoRA が強い連結トポロジにおいて競合し, 適度かつ弱い連結トポロジの下で明確なゲインをもたらすことを示す。
  論文  参考訳（メタデータ） (2026-01-31T01:57:53Z)
• Adaptive Federated LoRA in Heterogeneous Wireless Networks with Independent Sampling [15.218221234361922]
  Federated LoRAは、分散デバイス上で大きな言語モデルを効率的に微調整する技術として登場した。 本稿では,システムとデータの不均一性の両方の下で微調整を行う独立したフェデレーションコンバージェンスウォールクロック時間を提案する。 実験により,本手法は,様々なモデルやデータセットを対象とした最先端手法と比較して,ウォールクロック時間を短縮することを示した。
  論文  参考訳（メタデータ） (2025-05-29T15:31:37Z)
• Over-the-Air Federated Learning and Optimization [52.5188988624998]
  エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。 本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。 エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。 さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
  論文  参考訳（メタデータ） (2023-10-16T05:49:28Z)
• Scalable Hierarchical Over-the-Air Federated Learning [3.8798345704175534]
  この研究は、干渉とデバイスデータの不均一性の両方を扱うために設計された新しい2段階学習手法を導入する。 本稿では,提案アルゴリズムの収束を導出するための包括的数学的アプローチを提案する。 干渉とデータの不均一性にもかかわらず、提案アルゴリズムは様々なパラメータに対して高い学習精度を実現する。
  論文  参考訳（メタデータ） (2022-11-29T12:46:37Z)
• Parallel Successive Learning for Dynamic Distributed Model Training over Heterogeneous Wireless Networks [50.68446003616802]
  フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。 我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。 我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
  論文  参考訳（メタデータ） (2022-02-07T05:11:01Z)
• Over-the-Air Multi-Task Federated Learning Over MIMO Interference Channel [17.362158131772127]
  We study over-the-air multi-task FL (OA-MTFL) over the multiple-input multiple-output (MIMO) interference channel。 そこで本研究では,各デバイスに局所勾配をアライメントするモデルアグリゲーション手法を提案する。 新たなモデルアグリゲーション手法を用いることで,デバイス選択はもはや我々の計画に必須ではないことを示す。
  論文  参考訳（メタデータ） (2021-12-27T10:42:04Z)
• Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned Edge Learning Over Broadband Channels [69.18343801164741]
  パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。 本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
  論文  参考訳（メタデータ） (2020-10-08T15:27:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。