Fugu-MT 論文翻訳(概要): Rethinking Parameter Sharing for LLM Fine-Tuning with Multiple LoRAs

論文の概要: Rethinking Parameter Sharing for LLM Fine-Tuning with Multiple LoRAs

arxiv url: http://arxiv.org/abs/2509.25414v1
Date: Mon, 29 Sep 2025 19:16:14 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-01 17:09:04.28473
Title: Rethinking Parameter Sharing for LLM Fine-Tuning with Multiple LoRAs
Title（参考訳）: 複数のLORAを用いたLDMファインチューニングのためのパラメータ共有の再考
Authors: Hao Ban, Kaiyi Ji,
Abstract要約: マルチタスクファインタニングにおいて,複数の$A$行列と1つの共有$B$を持つ非対称なマルチローラ設計を提案する。提案手法は,既存のマルチLoRA手法と比較して,同等あるいは優れた平均精度でタスク間のバランスの取れた性能を実現する。
参考スコア（独自算出の注目度）: 26.212332132619736
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large language models are often adapted using parameter-efficient techniques such as Low-Rank Adaptation (LoRA), formulated as $y = W_0x + BAx$, where $W_0$ is the pre-trained parameters and $x$ is the input to the adapted layer. While multi-adapter extensions often employ multiple LoRAs, prior studies suggest that the inner $A$ matrices are highly similar during training and thus suitable for sharing. We revisit this phenomenon and find that this similarity is largely attributable to the identical initialization rather than shared knowledge, with $B$ playing a more critical role in knowledge encoding and transfer. Motivated by these insights, we propose \textbf{ALoRA}, an asymmetric multi-LoRA design with multiple $A$ matrices and a single shared $B$ in multi-task fine-tuning, and \textbf{Fed-ALoRA}, which shares $B$ across clients in federated fine-tuning under both homogeneous and heterogeneous settings, through a novel matrix decomposition strategy to accommodate heterogeneous ranks across clients. Experiments on commonsense reasoning, math reasoning, multi-task NLP dataset, and federated NLP dataset demonstrate that our methods achieve more balanced performance across tasks with comparable or superior average accuracy relative to existing multi-LoRA approaches. Codes are available at https://github.com/OptMN-Lab/ALoRA.
Abstract（参考訳）: 大規模言語モデルはローランク適応 (LoRA) のようなパラメータ効率のよい手法を用いて適応されることが多く、$y = W_0x + BAx$で表される。マルチアダプタ拡張は複数のLoRAを使用することが多いが、以前の研究では、内部の$A$行列はトレーニング中に非常によく似ており、共有に適していることが示唆された。我々はこの現象を再考し、この類似性は共有知識よりも同一の初期化に起因するものであり、B$は知識の符号化と伝達においてより重要な役割を果たす。これらの知見により、マルチタスクファインタニングにおいて複数のA$行列と1つの共有$B$を持つ非対称なマルチロラ設計である \textbf{ALoRA} と、同種および異種両方の設定下でのフェデレートファインタニングにおいてクライアント間で$B$を共有する \textbf{Fed-ALoRA} を提案する。共感覚推論,数理推論,マルチタスクNLPデータセット,フェデレーションNLPデータセットの実験により,既存のマルチローラ手法と比較して,同等あるいは優れた平均精度でタスク間のバランスの取れた性能が得られた。コードはhttps://github.com/OptMN-Lab/ALoRAで公開されている。

関連論文リスト

QR-LoRA: Efficient and Disentangled Fine-tuning via QR Decomposition for Customized Generation [52.024845354511555]
構造化パラメータ更新にQR分解を利用する新しい微調整フレームワークであるQR-LoRAを提案する。我々の重要な洞察は、Q行列が視覚的特徴間の干渉を自然に最小化することである。 QR-LoRAは、コンテンツスタイルの融合タスクにおいて、より優れた絡み合いを実現することを示す実験である。
論文参考訳（メタデータ） (2025-07-07T01:31:01Z)
Ravan: Multi-Head Low-Rank Adaptation for Federated Fine-Tuning [16.99490636203893]
パラメータ効率とモデル表現率のバランスをとる適応型マルチヘッドLoRA法であるtextscRavanを提案する。ビジョンと言語ベンチマークの実験では、textscRavanは以前のパラメータ効率の基準線よりも2-8%精度が向上している。
論文参考訳（メタデータ） (2025-06-05T20:28:02Z)
WeightLoRA: Keep Only Necessary Adapters [76.32368157312477]
低ランク適応(texttLoRA$)は、指定されたレイヤにトレーニング可能なアダプタを追加する。我々は、最も重要な$textttLoRA$ヘッダの適応的な選択によってこの問題を克服する新しい方法である$textttWeightLoRA$を提案する。我々は、一連の競合ベンチマークとDeBERTa、BART、Llamaモデルの実験を行い、我々の手法を異なる適応的アプローチと比較した。
論文参考訳（メタデータ） (2025-06-03T10:33:16Z)
FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [61.79405341803085]
低ランク適応(LoRA)は、フェデレートラーニング(FL)における言語モデルの効率的な微調整に広く用いられている。低ランク適応(LoRA)は、フェデレートラーニング(FL)における言語モデルの効率的な微調整に広く用いられている。
論文参考訳（メタデータ） (2025-05-19T07:32:56Z)
R-LoRA: Randomized Multi-Head LoRA for Efficient Multi-Task Learning [12.431575579432458]
Low-Rank Adaptation (LoRA)は、低ランク行列による重み更新を近似することにより、コスト効率のよいソリューションを提供する。マルチタスク学習におけるLoRAの能力を高めるために,マルチヘッドランダム化を取り入れたR-LoRAを提案する。
論文参考訳（メタデータ） (2025-02-21T13:30:21Z)
Selective Aggregation for Low-Rank Adaptation in Federated Learning [10.683530421910028]
FedSA-LoRA(Federated Share-A Low-Rank Adaptation)では,2つの低ランクトレーニング可能な行列をA$とB$で使用して,重み更新をモデル化する。 FedSA-rsLoRA 法をこれらの LoRA 変種に拡張し,その結果 FedSA-rsLoRA 法と FedSA-VeRA 法が得られた。
論文参考訳（メタデータ） (2024-10-02T12:14:36Z)
Asymmetry in Low-Rank Adapters of Foundation Models [47.310550805920585]
本稿では、低ランクアダプタ行列の重要性において、予期せぬ非対称性を特徴付け、活用する。我々は、細調整の$B$が、細調整の$A$よりも本質的に効果的であることを示し、ランダムな未トレーニングの$A$は、細調整の$A$よりもほぼ同等に機能することを示します。
論文参考訳（メタデータ） (2024-02-26T18:59:12Z)
FedRA: A Random Allocation Strategy for Federated Tuning to Unleash the Power of Heterogeneous Clients [50.13097183691517]
実世界のフェデレーションシナリオでは、様々な計算と通信資源を持つ多種多様なクライアントが存在することが多い。本稿では,新しいフェデレーションチューニングアルゴリズムであるFedRAを提案する。各通信ラウンドにおいて、FedRAはランダムにアロケーション行列を生成する。アダプタを用いてアロケーション行列とファインチューンに基づいて、元のモデルから少数のレイヤを再編成する。
論文参考訳（メタデータ） (2023-11-19T04:43:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。