論文の概要: CT-Merging: Consensus Directions and Task-Level Scaling for LoRA Adapter Merging
- arxiv url: http://arxiv.org/abs/2607.20561v1
- Date: Sat, 18 Jul 2026 05:19:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-24 18:26:25.170327
- Title: CT-Merging: Consensus Directions and Task-Level Scaling for LoRA Adapter Merging
- Title（参考訳）: CT-Merging:LoRAアダプタマージにおける合意方向とタスクレベルスケーリング
- Abstract要約: CT-Mergingは、平均的なタスクサブスペースプロジェクタからコンセンサス方向を推定するLoRA対応のマージアルゴリズムである。
DC-Merge CLIP のベンチマークでは、CT-Merging は最先端のマージ手法に比べて平均正規化精度が優れている。
- 参考スコア（独自算出の注目度）: 1.0312968200748116
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: LoRA adapters provide an efficient way to specialize a pretrained model for many downstream tasks, but deploying one adapter per task requires adapter storage and task selection at inference time. Model merging addresses this issue by combining independently trained adapters into one multi-task adapter. Recent SVD-based LoRA merging methods mainly focus on constructing shared or task specific directions, while the coefficients assigned to the final directions are often directly from the original task SVD. On a fixed merged basis, inherited coefficients preserve component order with high rank correlation, yet their magnitudes differ substantially from the coefficients induced by the task updates. To address this mismatch, we propose CT-Merging, a LoRA-aware merging algorithm that estimates consensus directions from average task subspace projectors and assigns task-level RMS coefficient scales in the final update. CT-Merging uses repeated support across task SVD subspaces to construct the common basis, while reducing reliance on rank wise SVD magnitudes after direction construction. On the DC-Merge CLIP adapter benchmark, CT-Merging achieves superior average normalized accuracy compared to state-of-the-art merging methods and further improves over DC-Merge by 2.56 points on ViT-B/32 and 1.51 points on ViT-L/14 KnoTS-trained checkpoints.
- Abstract（参考訳）: LoRAアダプタは、多くの下流タスクのために事前訓練されたモデルを専門化する効率的な方法を提供するが、タスク毎に1つのアダプタをデプロイするには、推論時にアダプタストレージとタスク選択が必要である。
モデルマージは、独立に訓練されたアダプタを1つのマルチタスクアダプタに統合することでこの問題に対処する。
SVDをベースとした最近のLoRAマージ手法は、主に共有方向やタスク特定方向の構築に重点を置いているが、最終方向に割り当てられた係数は、元のタスクSVDから直接であることが多い。
固定マージベースでは、継承係数は高階相関で成分の順序を保つが、その大きさはタスク更新によって引き起こされる係数と大きく異なる。
このミスマッチに対処するために,LoRA対応のマージアルゴリズムであるCT-Mergingを提案する。これは,平均的なタスクサブスペースプロジェクタからコンセンサス方向を推定し,最終更新でタスクレベルのRMS係数尺度を割り当てる。
CT-Mergingは、タスクSVDサブスペース間の繰り返しサポートを使用して共通基盤を構築し、方向設定後のランク wise SVD サイズへの依存を減らす。
DC-Merge CLIP のベンチマークでは、CT-Merging は最先端のマージ法に比べて平均正規化精度が優れており、VT-B/32 では2.56 点、VT-L/14 KnoTS で訓練されたチェックポイントでは1.51 点で DC-Merge よりも改善されている。
関連論文リスト
- Latent-LoRA: Compact Latent-Space Adapters with Gradient-Free Routing for Continual Learning [2.749219725903528]
大規模言語モデルは個々のタスクによく当てはまるが、それらをシーケンシャルに学習する固有のメカニズムは欠如している。
LoRAベースの連続学習手法はタスクごとに個別の低ランクアダプタを割り当てるが、既存のアプローチでは推論時にタスクの同一性を必要とするか、全てのアダプタを無差別にまとめる必要がある。
最近のゲーティングベースのソリューションは、正しいアダプタへの入力をルートするが、それ自体が忘れることを防ぐために保護を必要とするトレーニング可能なパラメータを導入する。
Latent-LoRAはリプレイフリーで、トレーニング可能なルーティングコンポーネントを必要としない。
論文 参考訳（メタデータ） (2026-07-26T20:42:56Z) - Predicting Mergeability of Parameter-Efficient Fine-Tuning Updates [14.79638146416283]
低ランク適応により、多くのドメイン特化言語モデルアダプタのトレーニングが安価になる。
トレーニングの最初の数パーセントで測定された信号から予測できることが示されています。
これらの信号を軽量な予測器であるMergeProbeにパッケージ化する。
論文 参考訳（メタデータ） (2026-06-17T19:40:51Z) - Essential Subspace Merging for Multi-Task Learning [78.5390284258307]
タスク更新によって引き起こされる出力シフトを分析し、そのエネルギーが少数の主方向に集中していることを確認する。
残りのほとんどの方向は、タスク関連エネルギーをほとんど持たないが、複数のタスク更新にまたがる蓄積は、マージ中に深刻な干渉を引き起こす可能性がある。
ESDに基づいて,トレーニング不要な静的マージ手法であるEssential Subspace Merging (ESM)を導入する。
ESMをトレーニング不要な動的マージメソッドであるESM++に拡張し、タスク固有の残留物を低ランクの専門家に分解する。
論文 参考訳（メタデータ） (2026-06-17T15:07:11Z) - PACT: Preserving Anchored Cores in Task-vectors for Model Merging [68.52455853496585]
モデルマージは、複数のタスク固有の細調整されたモデルを単一のマルチタスクモデルに結合することを目的としている。
既存のモデルマージアプローチのほとんどは、Task Arithmeticパラダイムに従っています。
本研究では,タスクベクトル内の固定されたタスク固有コア(LBW次元)を,事前学習した重みのサブ空間と補間を整合させることにより保存するPACTを提案する。
論文 参考訳（メタデータ） (2026-06-17T02:48:35Z) - DC-Merge: Improving Model Merging with Directional Consistency [62.02490833158024]
DC-Mergeは方向整合モデルマージの手法である。
各タスクベクトルのエネルギー分布は、その特異値を滑らかにすることで均衡する。
ビジョンとビジョン言語ベンチマークの実験では、DC-Mergeは一貫して最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2026-03-06T13:04:25Z) - Task-Driven Subspace Decomposition for Knowledge Sharing and Isolation in LoRA-based Continual Learning [82.30237756328596]
Low-Rank Adaptation (LoRA) は継続学習 (CL) において注目を集めている。
いくつかのLoRAベースのCLメソッドは、更新スペースを分離することでタスク間の干渉を減らす。
LoDAは、一般的なタスク固有のLoRAサブスペースを構築するために、タスク駆動の分解を実行する。
論文 参考訳（メタデータ） (2026-02-27T02:31:00Z) - Task-Aware LoRA Adapter Composition via Similarity Retrieval in Vector Databases [3.4869850730657728]
本稿では,ベクトルデータベースにおける類似性検索を利用した動的LoRAアダプタ合成のための新しいフレームワークを提案する。
提案手法は,22種類のコモンセンス推論,質問応答,自然言語推論,感情分析などの学習例を組み込んで,タスク認識ベクトルデータベースを構築する。
我々のフレームワークは、追加のレトリバートレーニングを必要とせず、凍結埋め込みで動作し、効率的で解釈可能なアダプタ構成を可能にする。
論文 参考訳（メタデータ） (2026-02-01T22:20:04Z) - Tensorized Clustered LoRA Merging for Multi-Task Interference [29.488565631016332]
マルチタスク設定では、ヘテロジニアスソースでトレーニングされたLoRAアダプタをマージすると、しばしばtextittaskの干渉が発生し、下流のパフォーマンスが低下する。
本稿では,タスクの干渉に対処するために,テンソル化されたクラスタ化LoRAライブラリを提案する。
TC-LoRAはPhi-3で+1.4%、Mistral-7Bで+2.3%の精度を達成し、LCM適応におけるTC-LoRAの有効性を示した。
論文 参考訳（メタデータ） (2025-08-06T01:26:43Z) - Dynamic Context-oriented Decomposition for Task-aware Low-rank Adaptation with Less Forgetting and Faster Convergence [131.41894248194995]
タスク認識方式でアダプタを初期化する新しい手法であるコンテキスト指向分解適応(CorDA)を提案する。
本手法は,タスク認識により,知識保存モード (KPM) と命令レビューモード (IPM) の2つのオプション適応モードを実現する。
論文 参考訳（メタデータ） (2025-06-16T07:55:14Z) - Task Arithmetic in Trust Region: A Training-Free Model Merging Approach to Navigate Knowledge Conflicts [13.356826891549856]
マルチタスクモデルマージは、複数の微調整されたモデルから知識を統合するための効率的なソリューションを提供する。
Task Arithmetic (TA) の有望なパフォーマンスにもかかわらず、タスクベクトル間で衝突が発生する可能性がある。
本稿では,信頼領域をモデルパラメータ空間の次元として定義するタスク算術的信頼領域(TATR)を提案する。
論文 参考訳（メタデータ） (2025-01-25T04:09:56Z) - Multi-Task Model Merging via Adaptive Weight Disentanglement [69.7292615212444]
モデルマージのための適応重み分散法を提案する。
余剰ベクトルの抽出に成功し, 減算後, タスクベクトルは頑健な性能を維持した。
論文 参考訳（メタデータ） (2024-11-27T20:08:55Z) - Cost Aggregation Is All You Need for Few-Shot Segmentation [28.23753949369226]
本稿では,数発のセグメンテーションタスクに取り組むために,変圧器を用いたボリュームアグリゲーション(VAT)を提案する。
VATは畳み込みとトランスフォーマーの両方を使用して、クエリとサポートの間の高次元相関マップを効率的に処理する。
提案手法は,意味対応タスクにおける標準ベンチマークにおいても,最先端の性能を実現する。
論文 参考訳（メタデータ） (2021-12-22T06:18:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。