論文の概要: NP-LoRA: Null Space Projection Unifies Subject and Style in LoRA Fusion

• arxiv url: http://arxiv.org/abs/2511.11051v1
• Date: Fri, 14 Nov 2025 08:06:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-17 22:42:18.491001
• Title: NP-LoRA: Null Space Projection Unifies Subject and Style in LoRA Fusion
• Title（参考訳）: NP-LoRA:LoRA核融合の主題とスタイルを統一した核宇宙投射
• Authors: Chuheng Chen, Xiaofei Zhou, Geyuan Zhang, Yong Huang,
• Abstract要約: Low-Rank Adaptation (LoRA) 融合は学習対象とスタイル表現を再利用・構成するための重要な技術である。 既存の方法は重量ベースのマージに依存しており、一方のLoRAが他方を支配下に置くことが多い。 サブスペース分離を強制するLoRA融合のためのプロジェクションベースのフレームワークであるNull Space Projection LoRAを提案する。
• 参考スコア（独自算出の注目度）: 16.64405108290577
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-Rank Adaptation (LoRA) fusion has emerged as a key technique for reusing and composing learned subject and style representations for controllable generation without costly retraining. However, existing methods rely on weight-based merging, where one LoRA often dominates the other, leading to interference and degraded fidelity. This interference is structural: separately trained LoRAs occupy low-rank high-dimensional subspaces, leading to non-orthogonal and overlapping representations. In this work, we analyze the internal structure of LoRAs and find their generative behavior is dominated by a few principal directions in the low-rank subspace, which should remain free from interference during fusion. To achieve this, we propose Null Space Projection LoRA (NP-LoRA), a projection-based framework for LoRA fusion that enforces subspace separation to prevent structural interference among principal directions. Specifically, we first extract principal style directions via singular value decomposition (SVD) and then project the subject LoRA into its orthogonal null space. Furthermore, we introduce a soft projection mechanism that enables smooth control over the trade-off between subject fidelity and style consistency. Experiments show NP-LoRA consistently improves fusion quality over strong baselines (e.g., DINO and CLIP-based metrics, with human and LLM preference scores), and applies broadly across backbones and LoRA pairs without retraining.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA) 融合は、学習対象の再利用と構成において、コストのかかる再学習を伴わない制御可能な生成のためのスタイル表現の鍵となる技術として登場した。 しかし、既存の手法は重みベースのマージに依存しており、一方のLoRAが他方を支配しており、干渉や劣化した忠実度に繋がる。 この干渉は構造的であり、別々に訓練されたLoRAは低ランクな高次元部分空間を占有し、非直交および重なり合う表現をもたらす。 本研究では,LoRAの内部構造を解析し,その生成挙動は低ランク部分空間におけるいくつかの主方向によって支配され,核融合時の干渉から解放される。 そこで本研究では,LoRA融合のための投射型フレームワークであるNull Space Projection LoRA(NP-LoRA)を提案する。 具体的には、まず特異値分解(SVD)を通して主スタイル方向を抽出し、次に対象の LoRA を直交零空間に射影する。 さらに,主観的忠実度とスタイル整合性のトレードオフを円滑に制御するソフトプロジェクション機構を導入する。 実験の結果、NP-LoRAは強いベースライン(例えば、DINOとCLIPベースの測定値、人間とLLMの選好スコア)よりも核融合品質を一貫して改善し、バックボーンとLoRAのペアをトレーニングすることなく広く適用できることがわかった。

関連論文リスト

• Latent Space Factorization in LoRA [10.994747174370099]
  低ランク適応 (LoRA) はパラメータ効率の高い微調整法として広く用いられている。 本稿ではFVAE-LoRA(Facterized Variational Autoencoder LoRA)を提案する。 また,本論文のエビデンス・ロウアー・バウンドの定式化は,潜在空間間の分解を明示的に促進し,一方の潜在空間をタスク・サレントな特徴に,他方の残余情報に割り当てるものである。
  論文  参考訳（メタデータ） (2025-10-22T14:37:20Z)
• LoRAtorio: An intrinsic approach to LoRA Skill Composition [11.429106388558925]
  Low-Rank Adaptation (LoRA) はテキスト・画像拡散モデルにおいて広く採用されている手法である。 既存のアプローチでは、複数のLoRAアダプタを効果的に構成するのに苦労している。 ロラトリオ(Loratorio)は、マルチロラ合成のための新しいフリートレインフレームワークである。
  論文  参考訳（メタデータ） (2025-08-15T17:52:56Z)
• SRLoRA: Subspace Recomposition in Low-Rank Adaptation via Importance-Based Fusion and Reinitialization [2.594346658179846]
  Low-Rank Adaptation (LoRA)は、固定された低ランク部分空間への更新を制約する。 本稿では,低ランク適応(SRLoRA)における部分空間再構成について,重要性に基づく融合と再初期化を用いて紹介する。 SRLoRAは標準のLoRAよりも高速な収束と精度の向上を実現している。
  論文  参考訳（メタデータ） (2025-05-18T14:12:40Z)
• A Stronger Mixture of Low-Rank Experts for Fine-Tuning Foundation Models [22.457766373989365]
  Low-Rank Adapters (LoRA) は、命令チューニングやドメイン適応など、様々な分野に広く採用されている。 LoRAの限られた表現能力に対処するため、複数のLoRAアダプタを組み込むためのMixture-of-Expert (MoE)が導入されている。 マルチスペースプロジェクションによる特徴学習手順の安定化と向上を図るため,MoE-LoRAの新たなトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2025-02-20T05:58:53Z)
• BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
  Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。 本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
  論文  参考訳（メタデータ） (2025-02-19T10:33:22Z)
• LoRA vs Full Fine-tuning: An Illusion of Equivalence [73.5303340531806]
  我々は,Low-Rank Adaptation (LoRA) とフルファインタニングによる事前学習モデルについて検討する。 特異値分解が全く異なる構造を示すLoRAおよび完全微調整収量行列が得られた。 我々は、LoRAが完全な微調整を忘れてはならないという発見を拡張し、その忘れ物は侵入者次元に大きく局所化されていることを発見した。
  論文  参考訳（メタデータ） (2024-10-28T17:14:01Z)
• Flat-LoRA: Low-Rank Adaptation over a Flat Loss Landscape [52.98187034726091]
  フルパラメータ空間の平坦領域に位置する低ランク適応を同定することを目的としたFlat-LoRAを提案する。 また、Flat-LoRAはドメイン内とドメイン外の両方の一般化を改善していることを示す。
  論文  参考訳（メタデータ） (2024-09-22T11:24:10Z)
• Mixture-of-Subspaces in Low-Rank Adaptation [19.364393031148236]
  計算効率が高く,実装が容易で,大規模言語,マルチモーダル,拡散モデルにも容易に適用可能なサブスペースインスパイアされたローランド適応法(LoRA)を提案する。 より柔軟にするために、元のLoRA重みとミキサーを併用して学習し、Mixture-of-Subspaces LoRAと呼ぶ。 MoSLoRAは、コモンセンス推論、ビジュアルインストラクションチューニング、主観駆動のテキスト・ツー・イメージ生成など、異なるモードのタスクでLoRAを一貫して上回っている。
  論文  参考訳（メタデータ） (2024-06-16T14:19:49Z)
• Mixture of LoRA Experts [87.50120181861362]
  本稿では,階層的制御と未分散分岐選択を利用する LoRA Experts (MoLE) アプローチを提案する。 MoLEアプローチは直接算術マージよりも優れたLoRA融合性能を実現する。
  論文  参考訳（メタデータ） (2024-04-21T11:59:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。