論文の概要: PGSB: Pretrained-Guided Shared Basis for LoRA Model Merging

• arxiv url: http://arxiv.org/abs/2610.14558v1
• Date: Sat, 10 Oct 2026 04:26:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 13:00:13.034217
• Title: PGSB: Pretrained-Guided Shared Basis for LoRA Model Merging
• Title（参考訳）: PGSB:LoRAモデル統合のための事前訓練ガイド共有バス
• Abstract要約: Low-Rank Adaptation (LoRA) は,各タスク適応を,凍結した事前学習重量に対する低ランク更新として表現することで,モデルマージの効率的な代替手段を提供する。 本稿では,LoRAモデル統合のための2段階フレームワークであるPretrained-Guided Shared Basis (PGSB)を提案する。
• 参考スコア（独自算出の注目度）: 30.889133897052275
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large pretrained models have achieved remarkable success across diverse domains, yet adapting them to multiple downstream tasks remains challenging: full fine-tuning is costly, while maintaining separate task-specific models is storage-inefficient and fails to produce a unified multi-task model. Low-Rank Adaptation (LoRA) offers an efficient alternative for Model Merging by representing each task adaptation as a low-rank update over frozen pretrained weights. However, existing LoRA merging methods often treat task-specific updates as directly comparable objects and merge them in their original low-rank parameter spaces. This overlooks two key factors: which update directions provide reliable shared support across tasks, and how these directions should be re-parameterized with respect to the pretrained weights before merging. To address this limitation, we propose Pretrained-Guided Shared Basis (PGSB), a two-stage framework for LoRA model merging. PGSB first identifies shared directions among task-specific LoRA updates, and then re-parameterizes these directions using their interaction with the pretrained weights, producing a more suitable basis for merging. Extensive experiments demonstrate that PGSB consistently outperforms state-of-the-art baselines across multiple benchmarks. Codes are available at https://github.com/Kitschnada/Pretrained-Basis .
• Abstract（参考訳）: 完全な微調整はコストがかかる一方で、個別のタスク固有のモデルはストレージ非効率であり、統一されたマルチタスクモデルの生成に失敗する。 Low-Rank Adaptation (LoRA) は,各タスク適応を,凍結した事前学習重量に対する低ランク更新として表現することで,モデルマージの効率的な代替手段を提供する。 しかし、既存のLoRAマージメソッドは、タスク固有の更新を直接同等のオブジェクトとして扱い、元の低ランクパラメータ空間にマージすることが多い。 これは、タスク間で信頼できる共有サポートを提供する更新方向と、マージ前の事前訓練された重みに関して、これらの方向をどのようにパラメータ化すべきかという2つの重要な要素を見落としている。 この制限に対処するため,LoRAモデル統合のための2段階フレームワークであるPretrained-Guided Shared Basis (PGSB)を提案する。 PGSBはまずタスク固有のLoRA更新間の共有方向を特定し、事前訓練された重みとの相互作用を用いてこれらの方向を再パラメータ化し、マージのより適切な基盤を生成する。 大規模な実験により、PGSBは複数のベンチマークで常に最先端のベースラインを上回っていることが示された。 コードはhttps://github.com/Kitschnada/Pretrained-Basis で公開されている。

関連論文リスト

• ChainLoRA: Geometry-Preserving Task Vector Merging for Continual Learning in LLMs [47.47506424027992]
  ChainLoRAは、連鎖更新タスクベクトル幾何学に基づいて構築されたリプレイフリー連続マージフレームワークである。 実験の結果,ChainLoRAは評価されたリプレイフリー手法の中で最先端の性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2026-09-30T16:43:34Z)
• RW-LoRA: Communication-Efficient Decentralized LoRA Fine-Tuning via Random Walks [20.21667584370137]
  LoRAのような微調整の計算手法は、大規模な基礎モデルに適応するための標準的なアプローチとなっている。 既存の分散LoRAメソッドの多くは集中集約に依存しており、Gossipベースの分散LoRAは複数のモデルコピー間で繰り返し同期を必要とする。 本稿では,複数のモデル複製を維持する代わりに,ネットワークを横断する単一モデルトークンを逐次更新するランダムなLoRAファインタニング方式を提案する。
  論文  参考訳（メタデータ） (2026-08-31T08:24:24Z)
• PACT: Preserving Anchored Cores in Task-vectors for Model Merging [68.52455853496585]
  モデルマージは、複数のタスク固有の細調整されたモデルを単一のマルチタスクモデルに結合することを目的としている。 既存のモデルマージアプローチのほとんどは、Task Arithmeticパラダイムに従っています。 本研究では,タスクベクトル内の固定されたタスク固有コア(LBW次元)を,事前学習した重みのサブ空間と補間を整合させることにより保存するPACTを提案する。
  論文  参考訳（メタデータ） (2026-06-17T02:48:35Z)
• Model Merging in the Essential Subspace [78.5390284258307]
  モデルマージは、複数のタスク固有の細調整されたモデルを、追加のトレーニングなしで単一のマルチタスクモデルに統合することを目的としている。 広範囲の研究にもかかわらず、タスク干渉は依然として大きな障害であり、しばしば統合されたモデルの性能を損なう。 効率的なモデルマージのための堅牢なフレームワークであるESM(Essential Subspace Merging)を提案する。
  論文  参考訳（メタデータ） (2026-02-23T00:33:38Z)
• Bagging-Based Model Merging for Robust General Text Embeddings [73.51674133699196]
  汎用テキスト埋め込みモデルは、幅広いNLPおよび情報検索アプリケーションを支える。 本稿では,データスケジューリングとモデルマージという2つの観点から,テキスト埋め込みのためのマルチタスク学習の体系的研究を行う。 本稿では,Baging ベースの rObust mOdel Merging (BOOM) を提案する。
  論文  参考訳（メタデータ） (2026-02-05T15:45:08Z)
• Unraveling LoRA Interference: Orthogonal Subspaces for Robust Model Merging [38.12136955174922]
  個別タスクのための微調整された大規模言語モデル(LM)は、高いパフォーマンスをもたらすが、デプロイメントやストレージには高価である。 最近の研究は、複数のタスク固有のモデルを追加トレーニングなしで単一のマルチタスクモデルに結合するモデルマージについて検討している。 既存のマージ方式は、性能劣化のためにローランク適応(LoRA)を微調整したモデルでは失敗することが多い。
  論文  参考訳（メタデータ） (2025-05-28T23:28:12Z)
• CABS: Conflict-Aware and Balanced Sparsification for Enhancing Model Merging [11.2457468104475]
  タスクベクトルに基づくモデルマージは、複数のタスク固有のモデルを再トレーニングせずにマルチタスクモデルに統合する効率的な方法を提供する。 最近の研究は、モデルのマージによって直面する重要な課題の1つであるタスクベクトル間の衝突に、スパーシフィケーションを通じて対処するために努力されている。 CABS(Conflict-Aware and Balanced Sparsification)を提案する。
  論文  参考訳（メタデータ） (2025-02-26T12:38:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。