論文の概要: JIVEAdapter: A Multi-Task Additive Low-Rank Adapter via Joint and Individual Variation Explained (JIVE)
- arxiv url: http://arxiv.org/abs/2610.07036v1
- Date: Sun, 04 Oct 2026 21:09:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.522563
- Title: JIVEAdapter: A Multi-Task Additive Low-Rank Adapter via Joint and Individual Variation Explained (JIVE)
- Title（参考訳）: JIVEAdapter:JIVE(Joint and individual Variation Explained)によるマルチタスク付加型低ランクアダプタ
- Abstract要約: JIVEAdapterは、統計的結合と個人変動説明(JIVE)にインスパイアされたマルチタスクアダプタである。
すべての重み更新を、タスク間で共有されるジョイント構造と、タスクごとの個別構造に分解する。
DeBERTaV3ベースのGLUEとSuperGLUEでは、JIVEAdapterは強力なシングルタスクとマルチタスクローランクベースラインと競合する。
- 参考スコア（独自算出の注目度）: 3.5641809082678098
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Parameter-efficient fine-tuning adapts pretrained models at a fraction of the cost of full fine-tuning, yet most low-rank adapters are single-task and represent each weight update multiplicatively, leaving no explicit account of what is shared across tasks and what is task-specific. We introduce JIVEAdapter, a multi-task "additive" low-rank adapter inspired by statistical Joint and Individual Variation Explained (JIVE). JIVEAdapter decomposes every weight update into a Joint structure shared across all tasks plus a per-task Individual structure, penalizes the Individual structures to be near-orthogonal to the Joint so shared and task-specific signal stay "interpretable" and separated, and allocates rank adaptively across a shared Joint pool and a per-task Individual pool. The Joint is learned once, jointly over a task group or incrementally, one task at a time, then frozen and reused as a prior for new tasks without retraining the shared part. On GLUE and SuperGLUE with DeBERTaV3-base, JIVEAdapter is competitive with strong single-task and multi-task low-rank baselines at a matched per-task effective rank, without extra modules such as MoE, and when a related held-in task exists its frozen Joint serves a held-out task by reusing that task's Individual with only a cheap per-direction scale, otherwise training a small new one.
- Abstract（参考訳）: パラメータ効率の良い微調整は、完全な微調整のコストのごく一部で事前訓練されたモデルに適応するが、ほとんどの低ランクアダプタはシングルタスクであり、各重み更新を乗法的に表現する。
JIVEAdapterは、統計的結合と個人変動説明(JIVE)にインスパイアされたマルチタスクの「付加的」低ランクアダプタである。
JIVEAdapterは、すべてのタスク間で共有される関節構造とタスクごとの個別構造にすべての重み付けを分解し、共有されたタスク固有の信号が"解釈可能"で分離され、共有された関節プールとタスクごとの個人プールに順応的にランクを割り当てる。
ジョイントは一度,タスクグループ上で共同で,あるいは漸進的に,一度にひとつのタスクについて学習し,共有部分を再トレーニングすることなく,新たなタスクの事前として凍結して再利用する。
GLUE と SuperGLUE with DeBERTaV3-base では、JIVEAdapter は強力なシングルタスクとマルチタスクのローランクのベースラインを、MoE のような余分なモジュールを使わずに、マッチした1タスク毎の有効ランクで競合する。
関連論文リスト
- One Adapter, Many Tasks: Task-Conditioned Feature Transformations for Continual Learning [45.405420567098155]
textbfFACET: task-conditioned textbfFetextbfAture transformation with textbfConditiontextbfEd feature consistextbfTency。
本手法は,トレーニング可能なパラメータとGFLOPを著しく少なくし,優れた性能を実現する。
論文 参考訳（メタデータ） (2026-08-31T17:03:45Z) - IntHQ: Task-Interactive Hierarchical Query on Dual-Stream Representations for Generative Recommendation [20.546679348797905]
既存のマルチタスクは本質的に3倍の崩壊を起こしやすいことを示す。
InHQは3つのコンポーネントを持つマルチタスク生成レコメンデータで、1つの崩壊を緩和する。
オフライン評価では、InHQは4つの代表的なタスクヘッド構成の下で、競争力のあるバックボーンを一貫して上回っている。
論文 参考訳（メタデータ） (2026-08-10T14:13:47Z) - FLAME: Adaptive Mixture-of-Experts for Continual Multimodal Multi-Task Learning [31.686140342132745]
複数のドメインにまたがる実世界のモデル展開には、2つの補完的な体制の下で運用するマルチモーダルモデルが必要である。
フレキシブルなモダリティの組み合わせにまたがるマルチタスク事前学習と連続学習のためのスケーラブルなMoEフレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-10T06:09:32Z) - ThanoRA: Task Heterogeneity-Aware Multi-Task Low-Rank Adaptation [96.86211867758652]
Low-Rank Adaptation (LoRA) は、基礎モデルの下流の微調整に広く採用されている。
タスク不均一性を考慮したマルチタスク低ランク適応フレームワークであるTanoRAを提案する。
論文 参考訳（メタデータ） (2025-05-24T11:01:45Z) - Musketeer: Joint Training for Multi-task Vision Language Model with Task Explanation Prompts [75.75548749888029]
本稿では,全てのタスクに対してパラメータを共同で訓練し,複数の異種タスク間で完全に共有する視覚言語モデルを提案する。
単一のモデルで、Musteteerは単一のタスクでトレーニングされた強いベースラインに匹敵する結果を得る。
論文 参考訳（メタデータ） (2023-05-11T17:57:49Z) - Multi-Head Adapter Routing for Cross-Task Generalization [56.75667096355806]
ポリトロポンは、事前訓練と少数ショット適応の両方の間、各タスクのアダプタのサブセットを選択するルーティング関数とアダプタのインベントリを学習する。
複数タスクの事前学習において、数ショットの適応よりもルーティングの方が有益であることがわかった。
論文 参考訳（メタデータ） (2022-11-07T19:35:55Z) - Grouped Adaptive Loss Weighting for Person Search [44.713344415358414]
個人探索は、特にエンドツーエンドで解決された場合、典型的なマルチタスク学習問題である。
本稿では,各タスクの重みを自動的に動的に調整するグループ適応損失重み付け法を提案する。
論文 参考訳（メタデータ） (2022-09-23T09:32:54Z) - Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。
他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。
我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
論文 参考訳（メタデータ） (2022-03-30T23:16:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。