論文の概要: TaDA: Calibrated Probe Gating for Task-Domain LoRA Merging
- arxiv url: http://arxiv.org/abs/2606.05016v1
- Date: Wed, 03 Jun 2026 15:39:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-04 20:44:18.864663
- Title: TaDA: Calibrated Probe Gating for Task-Domain LoRA Merging
- Title（参考訳）: TaDA: Task-Domain LoRAマージのための校正プローブゲーティング
- Authors: Huy Quoc To, Fuyi Li, Guangyan Huang, Ming Liu,
- Abstract要約: タスクとドメインアダプタは変換器アーキテクチャ全体にわたって一貫した深さ依存性の非対称性を示す。
本稿では,この構造を利用したトレーニングフリーなアルゴリズムを提案する。
$textbfTaDA$は、推論オーバーヘッドがゼロの標準ランク-r$LoRAアダプタを生成する。
- 参考スコア（独自算出の注目度）: 6.356259006504384
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Combining a task LoRA adapter with a domain LoRA adapter into a single unified model is a practical yet largely unexplored challenge. Existing methods treat both adapters as symmetric peers, applying uniform weights across all layers. We argue that task and domain adapters exhibit a consistent depth-dependent asymmetry across transformer architectures. Domain dominance increases with layer depth, while shallower layers retain stronger task-relevant signals. Motivated by this observation, we propose $\textbf{TaDA}$ ($\textbf{Ta}$sk-$\textbf{D}$omain LoR$\textbf{A}$ Merging), a training-free algorithm that exploits this structure through calibrated probe-guided per-layer gating and per-component subspace-aware merging. The gating assigns individual weights per layer and projection type using a probe signal proved invariant to adapter weight magnitude. The merging discards conflicting singular directions before combining the remaining components. $\textbf{TaDA}$ produces a standard rank-$r$ LoRA adapter with zero inference overhead. On six scientific QA benchmarks with Llama-2-7B, TaDA achieves an average accuracy of 0.452, outperforming DARE-TIES by +3.6 percentage points and obtaining the best result on all six benchmarks. On six image classification benchmarks with ViT-L/16, TaDA reaches 85.9\% average accuracy, improving over the strongest merging baseline while leading in three of the six individual benchmarks.
- Abstract（参考訳）: タスク LoRA アダプタとドメイン LoRA アダプタを単一の統一モデルに組み合わせることは、実用的ではあるが、ほとんど探索されていない課題である。
既存の手法では、両方のアダプタを対称なピアとして扱い、すべての層に均一な重みを適用している。
タスクとドメインアダプタは変換器アーキテクチャ全体にわたって一貫した深さ依存性の非対称性を示す。
ドメインの優位性は層深度とともに増大する一方、浅い層はより強力なタスク関連信号を保持する。
この観測によって動機付けられた学習自由アルゴリズムである$\textbf{TaDA}$$$\textbf{Ta}$sk-$\textbf{D}$omain LoR$\textbf{A}$ Mergingを提案する。
このゲーティングは、プローブ信号を用いて、層ごとの個々の重みと投射型を、アダプタの重み等級に不変であると証明した。
マージは、残りの成分を結合する前に、特異な方向を衝突させる。
$\textbf{TaDA}$は、推論オーバーヘッドがゼロの標準ランク-$r$ LoRAアダプタを生成する。
Llama-2-7Bの6つの科学的QAベンチマークでは、平均精度は0.452で、DARE-TIESを+3.6ポイント上回り、6つのベンチマークで最高の結果が得られる。
ViT-L/16の6つの画像分類ベンチマークにおいて、TaDAは平均精度85.9\%に達し、最強のマージベースラインよりも改善され、6つのベンチマークのうち3つに導かれる。
関連論文リスト
- From "Weak" Signals to Strong Models: Preference Delta Aggregation with LoRA Merging [26.22748334252526]
強力な大規模言語モデル(LLM)のトレーニングには高品質な監視が必要で、しばしば不足する。
近年の研究では、弱ウェイカーモデルペアのペア選好データが、比較的高品質なデルタを通した効果的な監視信号を提供できることが示されている。
複数の「弱」信号は、強いモデル(例えば、Qwen3 8B)を改善するために構成的に集約できるのか?
PDAは、各弱いウェイカーモデルペアから選好デルタを導出し、選好最適化を通じて学習したLoRAアダプタとしてインスタンス化し、結果として得られるデルタをLoRAマージによって集約する最初のフレームワークである。
論文 参考訳（メタデータ） (2026-05-29T21:00:29Z) - Analyzing Quality-Latency-Resource Trade-offs in a Technical Documentation RAG Assistant Using LoRA Adaptation [0.0]
発電機のローランド適応(LoRA)を用いた検索拡張世代(RAG)システムにおける品質-遅延-リソーストレードオフについて検討する。
公式文書上で5,144の質問応答ペアのベンチマークを構築し、それを固定されたハイブリッド検索パイプライン(BGE-M3高密度、BGE-M3ネイティブ、Reciprocal Rank Fusion、クロスエンコーダ更新)と組み合わせる。
論文 参考訳（メタデータ） (2026-05-27T09:37:55Z) - FIM-LoRA: Task-Informative Rank Allocation for LoRA via Calibration-Time Gradient-Variance Estimation [0.0]
低ランク適応(LoRA)は、全ての適応された重み行列に均一なランクを割り当てる。
各LoRA-B行列の勾配分散を層情報化の代用として計算し, 等級予算を比例的に再分配する。
結果として得られるアダプタは、層ごとのランクパターンを持つ標準のLoRAである。
論文 参考訳（メタデータ） (2026-05-16T04:03:21Z) - Crowded in B-Space: Calibrating Shared Directions for LoRA Merging [12.949322198287417]
個別に訓練されたLoRAアダプタをマージすることは、共同マルチタスクトレーニングの実用的な代替手段であるが、しばしばパフォーマンスを損なう。
LoRAマージ干渉の主源は出力側行列の$B$であることを示す。
我々は、オーバーシェアされた方向をダウンスケールし、マージされた更新を再スケールすることで、マージ前に$B$をキャリブレートするデータフリーなPicoを提案する。
論文 参考訳（メタデータ） (2026-04-18T04:33:16Z) - Sensitivity-Positional Co-Localization in GQA Transformers [0.0]
グループクエリアテンション変換器における基本構造問題について検討する。
タスクの正確性に最も敏感なレイヤは、位置エンコーディング適応が最大のレバレッジを持つレイヤと一致しているか?
LSLORAは,新しい正当性差分隠れ状態メートル法により同定された層へのLoRA適応を制限し,GARFAは対象層に8個の学習可能なKVヘッドスカラー乗算器を付加する。
論文 参考訳（メタデータ） (2026-04-09T03:41:33Z) - WeightLoRA: Keep Only Necessary Adapters [76.32368157312477]
低ランク適応(texttLoRA$)は、指定されたレイヤにトレーニング可能なアダプタを追加する。
我々は、最も重要な$textttLoRA$ヘッダの適応的な選択によってこの問題を克服する新しい方法である$textttWeightLoRA$を提案する。
我々は、一連の競合ベンチマークとDeBERTa、BART、Llamaモデルの実験を行い、我々の手法を異なる適応的アプローチと比較した。
論文 参考訳（メタデータ） (2025-06-03T10:33:16Z) - LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。
本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
論文 参考訳（メタデータ） (2024-10-27T22:57:12Z) - Mitigating the Alignment Tax of RLHF [76.4300447532456]
強化学習(Reinforcement Learning)とヒューマンフィードバック(Human Feedback)の下のLLMの調整は、事前訓練された能力(アライメント税(アライメント税)としても知られる)を忘れてしまう可能性がある。
最小アライメント税を課しながらアライメント性能を最大化するためのモデル平均化を提案する。
我々は,OpenLLaMA-3B上でのRLHFアルゴリズムによるHMAの性能評価を行い,さらにMistral-7Bまで拡張した。
論文 参考訳（メタデータ） (2023-09-12T14:16:54Z) - Semantic-Aligned Matching for Enhanced DETR Convergence and Multi-Scale
Feature Fusion [95.7732308775325]
提案したDetection TRansformer (DETR) は、オブジェクト検出のための完全なエンドツーエンドパラダイムを確立している。
DETRは遅いトレーニング収束に悩まされており、様々な検出タスクの適用性を妨げている。
我々は,DETRの収束を加速し,検出性能を向上させるためにセマンティック・アラインド・マッチDreTR++を設計する。
論文 参考訳（メタデータ） (2022-07-28T15:34:29Z) - Disentangle Your Dense Object Detector [82.22771433419727]
深層学習に基づく高密度物体検出器はここ数年で大きな成功を収め、ビデオ理解などのマルチメディアアプリケーションにも応用されてきた。
しかし、現在の高密度検出器の訓練パイプラインは、保持できない多くの接続に妥協されている。
そこで本研究では, 簡易かつ効果的な遠心分離機構を設計し, 現在の最先端検出器に統合するDED(Disentangled Dense Object Detector)を提案する。
論文 参考訳（メタデータ） (2021-07-07T00:52:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。