論文の概要: Accurate and Efficient Low-Rank Model Merging in Core Space

• arxiv url: http://arxiv.org/abs/2509.17786v1
• Date: Mon, 22 Sep 2025 13:48:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 18:58:16.420369
• Title: Accurate and Efficient Low-Rank Model Merging in Core Space
• Title（参考訳）: コア空間における高精度かつ効率的な低ランクモデルマージ
• Authors: Aniello Panariello, Daniel Marczak, Simone Magistri, Angelo Porrello, Bartłomiej Twardowski, Andrew D. Bagdanov, Simone Calderara, Joost van de Weijer,
• Abstract要約: コアスペースのマージフレームワークは、共通アライメントベースでLoRA対応モデルのマージを可能にする。 Core Spaceは既存のマージ技術を大幅に改善し、ビジョンと言語タスクの両面で最先端の結果が得られます。
• 参考スコア（独自算出の注目度）: 39.05680982515462
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we address the challenges associated with merging low-rank adaptations of large neural networks. With the rise of parameter-efficient adaptation techniques, such as Low-Rank Adaptation (LoRA), model fine-tuning has become more accessible. While fine-tuning models with LoRA is highly efficient, existing merging methods often sacrifice this efficiency by merging fully-sized weight matrices. We propose the Core Space merging framework, which enables the merging of LoRA-adapted models within a common alignment basis, thereby preserving the efficiency of low-rank adaptation while substantially improving accuracy across tasks. We further provide a formal proof that projection into Core Space ensures no loss of information and provide a complexity analysis showing the efficiency gains. Extensive empirical results demonstrate that Core Space significantly improves existing merging techniques and achieves state-of-the-art results on both vision and language tasks while utilizing a fraction of the computational resources. Codebase is available at https://github.com/apanariello4/core-space-merging.
• Abstract（参考訳）: 本稿では,大規模ニューラルネットワークの低ランク適応の融合に伴う課題に対処する。 Low-Rank Adaptation (LoRA) のようなパラメータ効率のよい適応技術が出現し、モデルファインチューニングがよりアクセスしやすくなってきた。 LoRAを用いた微調整モデルは非常に効率的であるが、既存のマージ手法では、完全な重量行列をマージすることで、この効率を犠牲にすることが多い。 本稿では,LoRA適応モデルの共通アライメントベースでのマージを可能にするCore Space mergingフレームワークを提案する。 さらに、Core Spaceへのプロジェクションが情報の損失を確実にすることを示す公式な証明を提供し、効率向上を示す複雑性解析を提供する。 実験により、Core Spaceは既存のマージ技術を大幅に改善し、計算資源のごく一部を活用しながら、ビジョンと言語の両方のタスクにおける最先端の結果を達成することを示した。 Codebaseはhttps://github.com/apanariello4/core-space-merging.comで入手できる。

関連論文リスト

• Deep Hierarchical Learning with Nested Subspace Networks [53.71337604556311]
  大規模ニューラルネットワークのためのNested Subspace Networks (NSN)を提案する。 NSNは、単一のモデルを連続した計算予算の範囲で動的かつきめ細かな調整を可能にする。 我々は,NSNを訓練済みのLLMに外科的に適用し,スムーズで予測可能な計算性能フロンティアを解き放つことができることを示した。
  論文  参考訳（メタデータ） (2025-09-22T15:13:14Z)
• AFLoRA: Adaptive Federated Fine-Tuning of Large Language Models with Resource-Aware Low-Rank Adaption [3.805501490912696]
  フェデレートされた微調整は、分散データを使用して下流タスクにファンデーションモデルを適用するための有望なアプローチとして現れている。 大規模言語モデルのための適応的で軽量なファインチューニングフレームワークであるAFLoRAを提案する。
  論文  参考訳（メタデータ） (2025-05-30T16:35:32Z)
• Reinforced Model Merging [53.84354455400038]
  本稿では,タスク統合に適した環境とエージェントを含むRMM(Reinforced Model Merging)という,革新的なフレームワークを提案する。 評価プロセス中にデータサブセットを利用することで、報酬フィードバックフェーズのボトルネックに対処し、RMMを最大100倍高速化する。
  論文  参考訳（メタデータ） (2025-03-27T08:52:41Z)
• LightGNN: Simple Graph Neural Network for Recommendation [14.514770044236375]
  グラフニューラルネットワーク(GNN)は、協調的なレコメンデーションにおいて優れたパフォーマンスを示している。 既存のGNNパラダイムは、大規模でノイズの多い実世界のデータセットを扱う場合、スケーラビリティと堅牢性の課題に直面している。 軽量・蒸留方式のGNNプルーニングフレームワークであるLightGNNについて述べる。
  論文  参考訳（メタデータ） (2025-01-06T18:59:55Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• Momentum Contrastive Autoencoder: Using Contrastive Learning for Latent Space Distribution Matching in WAE [51.09507030387935]
  Wasserstein autoencoder (WAE) は、2つの分布が一致することは、このAEの潜在空間が予め指定された事前分布と一致するという制約の下で、単純なオートエンコーダ(AE)損失を最小限にすることと同値であることを示している。 本稿では,この問題を解決する手段として,自己指導型表現学習に有効であることを示すコントラスト学習フレームワークを提案する。 WAEの損失を最適化するために、対照的な学習フレームワークを使用することで、WAEの一般的なアルゴリズムと比較して、より高速に収束し、より安定した最適化が達成できることを示す。
  論文  参考訳（メタデータ） (2021-10-19T22:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。