論文の概要: Preference-Aligned LoRA Merging: Preserving Subspace Coverage and Addressing Directional Anisotropy

• arxiv url: http://arxiv.org/abs/2603.26299v1
• Date: Fri, 27 Mar 2026 11:07:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-30 21:49:48.462023
• Title: Preference-Aligned LoRA Merging: Preserving Subspace Coverage and Addressing Directional Anisotropy
• Title（参考訳）: 優先型LoRAマージ:部分空間被覆の保存と方向異方性への対処
• Authors: Wooseong Jeong, Wonyoung Lee, Kuk-Jin Yoon,
• Abstract要約: 複数のローランド適応(LoRA)モジュールを統合することで汎用システムの構築が期待できる。 優先重み付きクロスエントロピー擬似空間を用いて重みを重み付けするTARA-Mergingを提案する。 8つのビジョンと6つのNLIベンチマークで、TARA-MergingはバニラとLoRA対応のベースラインを一貫して上回っている。
• 参考スコア（独自算出の注目度）: 50.63908869296697
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Merging multiple Low-Rank Adaptation (LoRA) modules is promising for constructing general-purpose systems, yet challenging because LoRA update directions span different subspaces and contribute unevenly. When merged naively, such mismatches can weaken the directions most critical to certain task losses while overemphasizing relatively less important ones, ultimately reducing the model's ability to represent all tasks faithfully. We revisit this problem through two perspectives: subspace coverage, which captures how broadly LoRA directions cover diverse representational directions, and anisotropy, which reflects the imbalance of influence across those directions. We propose TARA-Merging (Task-Rank Anisotropy Alignment), which aligns merging weights using a preference-weighted cross-entropy pseudo-loss while preserving task-relevant LoRA subspaces. This ensures broad subspace coverage and mitigates anisotropy via direction-wise reweighting. Across eight vision and six NLI benchmarks, TARA-Merging consistently outperforms vanilla and LoRA-aware baselines, demonstrating strong robustness and generalization, and highlighting the importance of addressing both subspace coverage and anisotropy in LoRA merging.
• Abstract（参考訳）: 複数のローランド適応(LoRA)モジュールを統合することで汎用システムの構築が期待できるが、LoRAの更新方向が異なるサブスペースにまたがって不均一に寄与するため、難しい。 このようなミスマッチは、比較的重要でないタスクを強調しながら、特定のタスクの損失に対して最も重要な方向を弱め、最終的には全てのタスクを忠実に表現するモデルの能力を低下させる。 この問題を2つの視点で再検討する: 空間被覆(subspace coverage) - LoRA方向が多様な表現方向をいかに広範にカバーしているかを捉え、異方性( anisotropy) - それらの方向に対する影響の不均衡を反映する。 タスク関連LoRA部分空間を保存しながら、優先重み付きクロスエントロピー擬似空間を用いて重み付けを整列するTARA-Merging(Task-Rank Anisotropy Alignment)を提案する。 これにより、広い部分空間のカバレッジが保証され、方向ワイド再重み付けによって異方性が緩和される。 8つのビジョンと6つのNLIベンチマークで、TARA-MergingはバニラとLoRAを意識したベースラインを一貫して上回り、強い堅牢性と一般化を示し、LoRAマージにおけるサブスペースカバレッジと異方性の両方に対処することの重要性を強調している。

関連論文リスト

• Decomposing and Composing: Towards Efficient Vision-Language Continual Learning via Rank-1 Expert Pool in a Single LoRA [50.97792275353563]
  単一低ランク適応 (LoRA) モジュールを分解可能な Rank-1 エキスパートプールとして再構成する,新しいフレームワークを提案する。 本手法では,このエキスパートプールから[Guided]トークンのセマンティクスに導かれて,疎結合でタスク固有の更新を動的に作成することを学ぶ。
  論文  参考訳（メタデータ） (2026-01-30T10:54:51Z)
• Resolving Conflicts in Lifelong Learning via Aligning Updates in Subspaces [12.630494786258842]
  Low-Rank Adaptation (LoRA)は効果的な継続的学習を可能にするが、しばしば破滅的な忘れ込みに悩まされる。 そこで我々は,PS-LoRAを提案する。PS-LoRAは最適化サブ空間内で更新を調整することで競合を解決するためのフレームワークである。 提案手法では,先行知識との整合性を確保するために,矛盾する方向と大小偏差をペナルティ化する二重正則化手法を用いている。
  論文  参考訳（メタデータ） (2025-11-28T15:34:36Z)
• NP-LoRA: Null Space Projection Unifies Subject and Style in LoRA Fusion [16.64405108290577]
  Low-Rank Adaptation (LoRA) 融合は学習対象とスタイル表現を再利用・構成するための重要な技術である。 既存の方法は重量ベースのマージに依存しており、一方のLoRAが他方を支配下に置くことが多い。 サブスペース分離を強制するLoRA融合のためのプロジェクションベースのフレームワークであるNull Space Projection LoRAを提案する。
  論文  参考訳（メタデータ） (2025-11-14T08:06:01Z)
• Latent Space Factorization in LoRA [10.994747174370099]
  低ランク適応 (LoRA) はパラメータ効率の高い微調整法として広く用いられている。 本稿ではFVAE-LoRA(Facterized Variational Autoencoder LoRA)を提案する。 また,本論文のエビデンス・ロウアー・バウンドの定式化は,潜在空間間の分解を明示的に促進し,一方の潜在空間をタスク・サレントな特徴に,他方の残余情報に割り当てるものである。
  論文  参考訳（メタデータ） (2025-10-22T14:37:20Z)
• Two Is Better Than One: Rotations Scale LoRAs [26.617019830475172]
  Low-Rank Adaptation (LoRA)ベースのMixture-of-Experts (MoE)は、大規模言語モデル(LLM)が多様なタスクに効率的に適応できるようにする。 入力を最良の専門家にルーティングする従来のゲーティングメカニズムは、LLMのスケーラビリティを根本的に阻害する可能性がある。 本稿では,ロラス表現の回転操作を導入し,幾何学的に着想を得た新しいゲーティング手法であるRadarGateを提案する。
  論文  参考訳（メタデータ） (2025-05-29T07:22:43Z)
• SRLoRA: Subspace Recomposition in Low-Rank Adaptation via Importance-Based Fusion and Reinitialization [2.594346658179846]
  Low-Rank Adaptation (LoRA)は、固定された低ランク部分空間への更新を制約する。 本稿では,低ランク適応(SRLoRA)における部分空間再構成について,重要性に基づく融合と再初期化を用いて紹介する。 SRLoRAは標準のLoRAよりも高速な収束と精度の向上を実現している。
  論文  参考訳（メタデータ） (2025-05-18T14:12:40Z)
• BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
  Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。 本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
  論文  参考訳（メタデータ） (2025-02-19T10:33:22Z)
• LoRA vs Full Fine-tuning: An Illusion of Equivalence [73.5303340531806]
  我々は,Low-Rank Adaptation (LoRA) とフルファインタニングによる事前学習モデルについて検討する。 特異値分解が全く異なる構造を示すLoRAおよび完全微調整収量行列が得られた。 我々は、LoRAが完全な微調整を忘れてはならないという発見を拡張し、その忘れ物は侵入者次元に大きく局所化されていることを発見した。
  論文  参考訳（メタデータ） (2024-10-28T17:14:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。