論文の概要: Label-Free Cross-Task LoRA Merging with Null-Space Compression

• arxiv url: http://arxiv.org/abs/2603.26317v1
• Date: Fri, 27 Mar 2026 11:34:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-30 21:49:48.47007
• Title: Label-Free Cross-Task LoRA Merging with Null-Space Compression
• Title（参考訳）: Null-Space Compression を用いたラベルフリークロスタスク LoRA マージ
• Authors: Wonyoung Lee, Wooseong Jeong, Kuk-Jin Yoon,
• Abstract要約: 我々は,ラベルフリーで出力に依存しない手法であるNull-Space Compression (NSC) Mergingを紹介した。 NSCは、従来のメソッドがタスクのサブセットに収まるバランスの取れたゲインを持つ20の異種視覚タスクに対して、最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 50.63908869296697
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model merging combines independently fine-tuned checkpoints without joint multi-task training. In the era of foundation-model, fine-tuning with Low-Rank Adaptation (LoRA) is prevalent, making LoRA merging a promising target. Existing approaches can work in homogeneous settings where all target tasks are classification but often fail when tasks span classification and regression. Approaches using entropy-based surrogates do not apply to regression and are costly for large language models due to long token sequences. We introduce Null-Space Compression (NSC) Merging, a label-free, output-agnostic method that sets merge weights from adapter geometry. Our key observation is that during LoRA finetuning the down-projection factor $A$ in $ΔW = BA$ compresses its null space, and the compression correlates with performance. NSC uses this as an optimization signal for merging that can generalize across classification, regression, and sequence generation. NSC achieves state-of-the-art performance across twenty heterogeneous vision tasks with balanced gains where prior methods overfit subsets of tasks. It also outperforms baselines on six NLI benchmarks and on vision-language evaluations for VQA and image captioning, demonstrating scalability and effectiveness.
• Abstract（参考訳）: モデルマージは、ジョイントマルチタスクトレーニングなしで独立して微調整されたチェックポイントを組み合わせる。 基礎モデルの時代には、LoRA(Lo-Rank Adaptation)による微調整が一般的であり、LoRAの合併が有望な目標となっている。 既存のアプローチは、すべてのタスクが分類された均質な設定で機能するが、タスクが分類と回帰にまたがる場合、しばしば失敗する。 エントロピーに基づくサロゲートを用いたアプローチは回帰には適用されず、長いトークンシーケンスのために大きな言語モデルに費用がかかる。 我々は,ラベルフリーで出力に依存しない手法であるNull-Space Compression (NSC) Mergingを紹介した。 我々のキーとなる観察は、LoRAがダウンプロジェクション係数を$A$ in $ΔW = BA$で微調整する間、そのヌル空間を圧縮し、圧縮は性能と相関するということである。 NSCはこれを、分類、回帰、シーケンス生成をまたいで一般化できるマージの最適化信号として使用する。 NSCは、従来のメソッドがタスクのサブセットに収まるバランスの取れたゲインを持つ20の異種視覚タスクに対して、最先端のパフォーマンスを達成する。 また、6つのNLIベンチマークとVQAと画像キャプションの視覚言語評価のベースラインを上回り、スケーラビリティと有効性を実証している。

関連論文リスト

• CAIRO: Decoupling Order from Scale in Regression [13.755937210012883]
  回帰を2つの異なる段階に分離する枠組みを提案する。 第1段階では,スケール不変ランキングの損失を最小限に抑えることで,スコアリング関数を学習する。 第2に,等速回帰による目標スケールの復元を行う。
  論文  参考訳（メタデータ） (2026-02-16T03:50:05Z)
• Layer-wise LoRA fine-tuning: a similarity metric approach [0.6323908398583081]
  Low-Rank Adaptation (LoRA) 技術は、事前学習されたモデルを凍結し、少数のパラメータを更新することで、このプロセスの計算コストを削減することを目的としている。 従来の問題に対して,LoRAやその変種を用いて,少数の層のみを微調整に体系的に選択することで対処する。 異なるモデルやタスク間で予測性能を維持しながら、LoRAベースのテクニックのトレーニング可能なパラメータを最大50%削減する。
  論文  参考訳（メタデータ） (2026-02-05T18:38:53Z)
• When Shared Knowledge Hurts: Spectral Over-Accumulation in Model Merging [39.696384608482255]
  SVC(Singular Value)は、サブスペースの重なり合いを定量化し、特異値を再スケールしてバランスの取れたスペクトルを復元するトレーニングフリーでデータフリーな後処理手法である。 SVCは、強力なマージベースラインを一貫して改善し、ビジョンと言語ベンチマーク間で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-02-05T10:52:36Z)
• Exploiting Discriminative Codebook Prior for Autoregressive Image Generation [54.14166700058777]
  トークンベースの自己回帰画像生成システムは、まずトークンインデックスのシーケンスをコードブックでトークン化し、次にこれらのシーケンスを自己回帰パラダイムでモデル化する。 自己回帰生成モデルはインデックス値のみに基づいて訓練されるが、豊富なトークン類似性情報を含むコードブックにエンコードされた前者は利用されない。 近年の研究では、トークン上に単純なk平均クラスタリングを行い、コードブックを減らした生成モデルのトレーニングを容易にすることで、これを先に組み込もうとしている。 k-meansの代替として、差別的コードブック先駆者(DCPE)を提案する。
  論文  参考訳（メタデータ） (2025-08-14T15:00:00Z)
• Train with Perturbation, Infer after Merging: A Two-Stage Framework for Continual Learning [57.514786046966265]
  textbfPerturb-and-Merge(P&M)は,モデルマージをCLパラダイムに統合し,忘れを緩和する新しい連続学習フレームワークである。 提案手法は,複数の連続学習ベンチマークデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-05-28T14:14:19Z)
• Token-Efficient RL for LLM Reasoning [0.02488650627593658]
  本稿では,大規模言語モデル (LLM) において,厳密なメモリと計算限界下での推論に適した強化学習戦略を提案する。 ベースラインサブトラクションを用いた早期ポリシー勾配法に基づいて,出力トークンの小さな情報サブセット上で動作する批判のない手法を設計する。 提案手法は,SVAMPベンチマークの精度を46%から70%以上に向上し,マルチ桁乗算において高い性能を示した。
  論文  参考訳（メタデータ） (2025-04-29T14:58:43Z)
• Multi-Task Model Merging via Adaptive Weight Disentanglement [69.7292615212444]
  モデルマージのための適応重み分散法を提案する。 余剰ベクトルの抽出に成功し, 減算後, タスクベクトルは頑健な性能を維持した。
  論文  参考訳（メタデータ） (2024-11-27T20:08:55Z)
• LiNeS: Post-training Layer Scaling Prevents Forgetting and Enhances Model Merging [80.17238673443127]
  LiNeSは、微調整タスク性能を向上しつつ、事前訓練された一般化を維持するために設計されたポストトレーニング編集技術である。 LiNeSは、視覚と自然言語処理のさまざまなベンチマークにおいて、シングルタスクとマルチタスクの両方で大幅に改善されている。
  論文  参考訳（メタデータ） (2024-10-22T16:26:05Z)
• Agglomerative Token Clustering [61.0477253613511]
  Agglomerative Token Clustering (ATC)は、新しいトークンマージ手法である。 ATCはすべてのタスクで最先端のパフォーマンスを達成でき、既定の最先端をオフ・ザ・シェルフで適用した場合と同等に動作させることができる。
  論文  参考訳（メタデータ） (2024-09-18T12:37:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。