論文の概要: Crowded in B-Space: Calibrating Shared Directions for LoRA Merging

• arxiv url: http://arxiv.org/abs/2604.16826v1
• Date: Sat, 18 Apr 2026 04:33:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.191037
• Title: Crowded in B-Space: Calibrating Shared Directions for LoRA Merging
• Title（参考訳）: B-Spaceに群がる - LoRAマージのための共有方向の校正
• Authors: Yixuan Tang, Yi Yang,
• Abstract要約: 個別に訓練されたLoRAアダプタをマージすることは、共同マルチタスクトレーニングの実用的な代替手段であるが、しばしばパフォーマンスを損なう。 LoRAマージ干渉の主源は出力側行列の$B$であることを示す。 我々は、オーバーシェアされた方向をダウンスケールし、マージされた更新を再スケールすることで、マージ前に$B$をキャリブレートするデータフリーなPicoを提案する。
• 参考スコア（独自算出の注目度）: 12.949322198287417
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Merging separately trained LoRA adapters is a practical alternative to joint multi-task training, but it often hurts performance. Existing methods usually treat the LoRA update $ΔW = BA$ as a single object and do not distinguish the two LoRA matrices. We show that the main source of LoRA merge interference comes from the output-side matrix $B$. Across tasks, $B$ repeatedly uses a small set of shared directions, while $A$ remains much more task-specific. As a result, the merged adapter overemphasizes these shared directions, and task-specific information is lost. We propose Pico (Pre-merge interference calibration in output-space), a data-free method that calibrates $B$ before merge by downscaling over-shared directions and then rescaling the merged update. Pico plugs directly into existing merging methods such as Task Arithmetic, TIES, and TSV-M. Across eight different benchmarks from math, coding, finance, and medical domains, Pico improves average accuracy by 3.4-8.3 points over the corresponding base method and achieves the best overall average performance. Pico also enables merged adapters to outperform the LoRA trained with all task data. These results show that LoRA merging works better when the two LoRA matrices are treated separately.
• Abstract（参考訳）: 個別に訓練されたLoRAアダプタをマージすることは、共同マルチタスクトレーニングの実用的な代替手段であるが、しばしばパフォーマンスを損なう。 既存のメソッドは通常、LoRAの更新$ΔW = BA$を単一のオブジェクトとして扱い、2つのLoRA行列を区別しない。 LoRAマージ干渉の主源は出力側行列の$B$であることを示す。 タスク全体では、$B$は共有方向の小さなセットを何度も使用しますが、$A$はタスク固有のままです。 その結果、マージアダプタはこれらの共有方向を過度に強調し、タスク固有の情報が失われる。 出力空間におけるプリマージ干渉校正(Pico)を提案する。これは、マージ前にオーバーシェード方向をダウンスケーリングし、マージした更新を再スケーリングすることで、$B$をキャリブレーションするデータフリー手法である。 PicoはTask Arithmetic, TIES, TSV-Mといった既存のマージメソッドに直接プラグインする。 数学、コーディング、ファイナンス、医療ドメインの8つのベンチマークで、ピコは対応するベースメソッドよりも平均精度を3.4-8.3ポイント改善し、全体的な平均性能を最高のものにしている。 Picoはまた、マージアダプタがすべてのタスクデータでトレーニングされたLoRAを上回ります。 これらの結果から, 2つのLoRA行列を別々に処理した場合, LoRAのマージが良好であることが示唆された。

関連論文リスト

• Evolutionary Negative Module Pruning for Better LoRA Merging [46.397675691417675]
  複数のLow-Rank Adaptation専門家を単一のバックボーンにマージすることは、効率的なマルチタスクデプロイメントのための有望なアプローチである。 既存の手法は、ウェイトやサブスペースアライメントによる干渉を緩和しようとする。 そこで本研究では,これらのモジュールをマージ前に検出・排除する,プラグアンドプレイのLoRAプルーニング手法を提案する。
  論文  参考訳（メタデータ） (2026-04-20T03:13:18Z)
• LoRAFusion: Efficient LoRA Fine-Tuning for LLMs [7.13923757932177]
  Low-Rank Adaptation (LoRA) はLarge Language Models (LLM) のためのPEFT (Efficient Fine-Tuning) メソッドの先駆けとなった。 LLMのための効率的なLoRA微調整システムであるLoRAFusionを紹介する。 LoRAFusionはMegatron-LMと比較して最大1.96times$(平均1.47times$)エンドツーエンドのスピードアップを達成し、mLoRAよりも最大1.46times$(平均1.29times$)改善する。
  論文  参考訳（メタデータ） (2025-09-30T19:26:22Z)
• Rethinking Parameter Sharing for LLM Fine-Tuning with Multiple LoRAs [26.212332132619736]
  マルチタスクファインタニングにおいて,複数の$A$行列と1つの共有$B$を持つ非対称なマルチローラ設計を提案する。 提案手法は,既存のマルチLoRA手法と比較して,同等あるいは優れた平均精度でタスク間のバランスの取れた性能を実現する。
  論文  参考訳（メタデータ） (2025-09-29T19:16:14Z)
• Faster Than SVD, Smarter Than SGD: The OPLoRA Alternating Update [50.36542772932594]
  Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。 ローランクプロジェクションによる完全なトレーニング(SVDLoRA)とLoRAファインチューニングの間にはまだギャップがあり、LoRAのステップをさらに改善できることを示している。
  論文  参考訳（メタデータ） (2025-09-24T10:32:50Z)
• LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
  低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。 本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
  論文  参考訳（メタデータ） (2024-10-27T22:57:12Z)
• Selective Aggregation for Low-Rank Adaptation in Federated Learning [10.683530421910028]
  FedSA-LoRA(Federated Share-A Low-Rank Adaptation)では,2つの低ランクトレーニング可能な行列をA$とB$で使用して,重み更新をモデル化する。 FedSA-rsLoRA 法をこれらの LoRA 変種に拡張し,その結果 FedSA-rsLoRA 法と FedSA-VeRA 法が得られた。
  論文  参考訳（メタデータ） (2024-10-02T12:14:36Z)
• ResLoRA: Identity Residual Mapping in Low-Rank Adaption [96.59370314485074]
  低ランク適応(LoRA)の改良フレームワークであるResLoRAを提案する。 提案手法は,LoRAと比較してトレーニング可能なパラメータや推論コストを必要とせずに,より少ないトレーニングステップでより良い結果を得ることができる。 NLG,NLU,テキスト・ツー・イメージタスクの実験により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-02-28T04:33:20Z)
• CA-LoRA: Adapting Existing LoRA for Compressed LLMs to Enable Efficient Multi-Tasking on Personal Devices [78.16679232748196]
  本稿では,Large Language Models (LLM) を他のタスクに転送するための圧縮対応 LoRA (CA-LoRA) フレームワークを提案する。 実験の結果,CA-LoRAは圧縮LDMに適用したバニラロラ法よりも優れていた。 CA-LoRAのソースコードはhttps://github.com/thunlp/CA-LoRAで公開されている。
  論文  参考訳（メタデータ） (2023-07-15T04:37:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。