論文の概要: Task Adaptive Parameter Sharing for Multi-Task Learning
- arxiv url: http://arxiv.org/abs/2203.16708v1
- Date: Wed, 30 Mar 2022 23:16:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-02 08:18:44.939135
- Title: Task Adaptive Parameter Sharing for Multi-Task Learning
- Title（参考訳）: マルチタスク学習のためのタスク適応パラメータ共有
- Authors: Matthew Wallingford, Hao Li, Alessandro Achille, Avinash Ravichandran,
Charless Fowlkes, Rahul Bhotika, Stefano Soatto
- Abstract要約: Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。
他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。
我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
- 参考スコア（独自算出の注目度）: 114.80350786535952
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Adapting pre-trained models with broad capabilities has become standard
practice for learning a wide range of downstream tasks. The typical approach of
fine-tuning different models for each task is performant, but incurs a
substantial memory cost. To efficiently learn multiple downstream tasks we
introduce Task Adaptive Parameter Sharing (TAPS), a general method for tuning a
base model to a new task by adaptively modifying a small, task-specific subset
of layers. This enables multi-task learning while minimizing resources used and
competition between tasks. TAPS solves a joint optimization problem which
determines which layers to share with the base model and the value of the
task-specific weights. Further, a sparsity penalty on the number of active
layers encourages weight sharing with the base model. Compared to other
methods, TAPS retains high accuracy on downstream tasks while introducing few
task-specific parameters. Moreover, TAPS is agnostic to the model architecture
and requires only minor changes to the training scheme. We evaluate our method
on a suite of fine-tuning tasks and architectures (ResNet, DenseNet, ViT) and
show that it achieves state-of-the-art performance while being simple to
implement.
- Abstract（参考訳）: 幅広い能力で事前訓練されたモデルに適応することは、幅広い下流タスクを学ぶための標準的なプラクティスとなっている。
各タスクで異なるモデルを微調整する典型的なアプローチはパフォーマンスだが、かなりのメモリコストがかかる。
複数のダウンストリームタスクを効率的に学習するために、より小さなタスク固有のレイヤのサブセットを適応的に修正することにより、新しいタスクにベースモデルをチューニングする一般的な方法であるtask adaptive parameter sharing (taps)を導入する。
これにより、使用するリソースとタスク間の競合を最小限に抑えながら、マルチタスク学習が可能になる。
TAPSは、どの層をベースモデルと共有すべきか、タスク固有の重みの値を決定する共同最適化問題を解く。
さらに、アクティブ層数に対する空間的ペナルティは、ベースモデルとの重み共有を促進する。
他の方法と比較して、tapsは下流タスクの精度を保ちつつ、タスク固有のパラメータも少ない。
さらに、TAPSはモデルアーキテクチャに非依存であり、トレーニングスキームに小さな変更しか必要としない。
我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
関連論文リスト
- Task Arithmetic in Trust Region: A Training-Free Model Merging Approach to Navigate Knowledge Conflicts [13.356826891549856]
マルチタスクモデルマージは、複数の微調整されたモデルから知識を統合するための効率的なソリューションを提供する。
Task Arithmetic (TA) の有望なパフォーマンスにもかかわらず、タスクベクトル間で衝突が発生する可能性がある。
本稿では,信頼領域をモデルパラメータ空間の次元として定義するタスク算術的信頼領域(TATR)を提案する。
論文 参考訳（メタデータ） (2025-01-25T04:09:56Z) - Tint Your Models Task-wise for Improved Multi-task Model Merging [17.496018757317824]
本稿では,各タスクに1つのタスク固有のレイヤをトレーニング可能な調整として導入するテストタイムアプローチであるModel Tintingを提案する。
提案手法は, 統合係数とタスク固有層を併用することにより, タスク競合を最小限のコストで効果的に軽減する。
本手法は,コンピュータビジョンと自然言語処理の両方において,最先端の性能を実現する。
論文 参考訳（メタデータ） (2024-12-26T07:42:06Z) - LiNeS: Post-training Layer Scaling Prevents Forgetting and Enhances Model Merging [80.17238673443127]
LiNeSは、微調整タスク性能を向上しつつ、事前訓練された一般化を維持するために設計されたポストトレーニング編集技術である。
LiNeSは、視覚と自然言語処理のさまざまなベンチマークにおいて、シングルタスクとマルチタスクの両方で大幅に改善されている。
論文 参考訳（メタデータ） (2024-10-22T16:26:05Z) - On Giant's Shoulders: Effortless Weak to Strong by Dynamic Logits Fusion [23.63688816017186]
既存の弱強法では、静的な知識伝達比と、複雑な知識を伝達するための単一の小さなモデルを用いることが多い。
本稿では,複数のタスク固有小モデルに対して,それぞれ異なるタスクに特化して動作する動的ロジット融合手法を提案する。
本手法では,シングルタスクシナリオでは96.4%,マルチタスクシナリオでは86.3%のパフォーマンスギャップを埋める。
論文 参考訳（メタデータ） (2024-06-17T03:07:41Z) - Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。
TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
論文 参考訳（メタデータ） (2023-11-23T15:46:54Z) - DiSparse: Disentangled Sparsification for Multitask Model Compression [92.84435347164435]
DiSparseは、シンプルで効果的で、第一級のマルチタスクプルーニングとスパーストレーニングスキームである。
実験の結果,様々な設定や設定において優れた性能を示した。
論文 参考訳（メタデータ） (2022-06-09T17:57:46Z) - Rethinking Hard-Parameter Sharing in Multi-Task Learning [20.792654758645302]
マルチタスク学習(MTL)におけるハードパラメータ共有により、タスクはモデルのパラメータの一部を共有でき、ストレージコストを低減し、予測精度を向上させることができる。
共通の共有プラクティスは、タスク毎に別々のトップレイヤを使用しながら、タスク間でディープニューラルネットワークのボトムレイヤを共有することだ。
異なるボトム層パラメータを使用することで、一般的なプラクティスよりも大幅にパフォーマンスが向上する可能性がある。
論文 参考訳（メタデータ） (2021-07-23T17:26:40Z) - Reparameterizing Convolutions for Incremental Multi-Task Learning
without Task Interference [75.95287293847697]
マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。
まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。
第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
論文 参考訳（メタデータ） (2020-07-24T14:44:46Z) - Knowledge Distillation for Multi-task Learning [38.20005345733544]
マルチタスク学習(MTL)は、全てのタスクで優れたパフォーマンスを達成し、計算コストを下げるための複数のタスクを実行する単一のモデルを学習することである。
そのようなモデルを学ぶには、難易度、大きさ、特性の異なる一連のタスクの損失を共同で最適化する必要がある。
本研究では,マルチタスク学習における不均衡問題に対処するために,知識蒸留に基づく手法を提案する。
論文 参考訳（メタデータ） (2020-07-14T08:02:42Z) - HyperGrid: Efficient Multi-Task Transformers with Grid-wise Decomposable
Hyper Projections [96.64246471034195]
我々は,マルチタスク学習を効果的に行う新しいアプローチであるtextscHyperGridを提案する。
本手法は,微調整とマルチタスク学習のギャップを埋めるのに役立つ。
論文 参考訳（メタデータ） (2020-07-12T02:49:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。