論文の概要: Polyhistor: Parameter-Efficient Multi-Task Adaptation for Dense Vision
Tasks
- arxiv url: http://arxiv.org/abs/2210.03265v1
- Date: Fri, 7 Oct 2022 00:25:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-10 13:59:32.696871
- Title: Polyhistor: Parameter-Efficient Multi-Task Adaptation for Dense Vision
Tasks
- Title（参考訳）: Polyhistor:Dense Vision Tasksのためのパラメータ効率の良いマルチタスク適応
- Authors: Yen-Cheng Liu, Chih-Yao Ma, Junjiao Tian, Zijian He, Zsolt Kira
- Abstract要約: 本稿では,複数のタスクにまたがる情報をトレーニング可能なパラメータで共有するために,PolyhistorとPolyhistor-Liteを提案する。
具体的には、Polyhistorは、トレーニング可能なパラメータの10%しか使用せず、最先端技術と比較して、競争精度を達成している。
- 参考スコア（独自算出の注目度）: 36.34331439747556
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Adapting large-scale pretrained models to various downstream tasks via
fine-tuning is a standard method in machine learning. Recently,
parameter-efficient fine-tuning methods show promise in adapting a pretrained
model to different tasks while training only a few parameters. Despite their
success, most existing methods are proposed in Natural Language Processing
tasks with language Transformers, and adaptation to Computer Vision tasks with
Vision Transformers remains under-explored, especially for dense vision tasks.
Further, in multi-task settings, individually fine-tuning and storing separate
models for different tasks is inefficient. In this work, we provide an
extensive multi-task parameter-efficient benchmark and examine existing
parameter-efficient fine-tuning NLP methods for vision tasks. Our results on
four different dense vision tasks showed that existing methods cannot be
efficiently integrated due to the hierarchical nature of the Hierarchical
Vision Transformers. To overcome this issue, we propose Polyhistor and
Polyhistor-Lite, consisting of Decomposed HyperNetworks and Layer-wise Scaling
Kernels, to share information across different tasks with a few trainable
parameters. This leads to favorable performance improvements against existing
parameter-efficient methods while using fewer trainable parameters.
Specifically, Polyhistor achieves competitive accuracy compared to the
state-of-the-art while only using ~10% of their trainable parameters.
Furthermore, our methods show larger performance gains when large networks and
more pretraining data are used.
- Abstract（参考訳）: 微調整によるダウンストリームタスクへの大規模事前トレーニングモデルの適用は、機械学習の標準的な方法である。
近年,パラメータ効率のよい微調整手法は,いくつかのパラメータを学習しながら,事前学習したモデルを異なるタスクに適応させる可能性を示している。
その成功にもかかわらず、既存の手法の多くは言語トランスフォーマーを用いた自然言語処理タスクで提案されており、視覚トランスフォーマーによるコンピュータビジョンタスクへの適応は、特に密集した視覚タスクにおいて、未検討のままである。
さらに、マルチタスク設定では、個別に個別に微調整し、異なるタスクのために別々のモデルを格納することは非効率である。
本研究では,多タスクパラメータ効率のベンチマークを行い,視覚タスクのためのパラメータ効率の優れたNLP手法について検討する。
その結果, 階層的視覚トランスフォーマーの階層的性質から, 既存の手法を効率的に統合することはできないことがわかった。
この問題を解決するために、複数のトレーニング可能なパラメータで異なるタスク間で情報を共有するために、分解されたHyperNetworksとLayer-wise Scaling Kernelsで構成されるPolyhistorとPolyhistor-Liteを提案する。
これにより、トレーニング可能なパラメータを少なくしながら、既存のパラメータ効率のよいメソッドに対して優れたパフォーマンス改善がもたらされる。
特に、polyhistorはトレーニング可能なパラメータの10%しか使用せずに、最先端と比較して競争力のある精度を実現している。
さらに,大規模ネットワークと事前学習データの利用により,性能が向上することを示す。
関連論文リスト
- VMT-Adapter: Parameter-Efficient Transfer Learning for Multi-Task Dense
Scene Understanding [6.816428690763012]
大規模な事前訓練モデルを活用するための標準的なアプローチは、下流タスクのすべてのモデルパラメータを微調整することである。
本稿では,複数のタスクから知識を共有するVMT-Adapterを提案する。
また、ダウンプロジェクションとアッププロジェクションの間で共有パラメータを学習することで、トレーニング可能なパラメータをさらに削減するVMT-Adapter-Liteを提案する。
論文 参考訳（メタデータ） (2023-12-14T08:25:04Z) - Prototype-based HyperAdapter for Sample-Efficient Multi-task Tuning [30.251155072822055]
Prototype-based HyperAdapter (PHA)は、アダプタチューニングとハイパーネットワーク上に構築された新しいフレームワークである。
サンプル効率のよい条件付きモジュールを生成するために、インスタンスdenseレトリバーとプロトタイプのハイパーネットワークを導入する。
PHAは、トレーニング可能なパラメータ、ストリームタスクの精度、サンプル効率のトレードオフをより良くすることを示す。
論文 参考訳（メタデータ） (2023-10-18T02:42:17Z) - Parameter Efficient Multi-task Model Fusion with Partial Linearization [97.23530944186078]
パラメータ効率のよい微調整技術において,マルチタスク融合を改善する新しい手法を提案する。
提案手法は, アダプタモジュールのみを部分的に線形化し, 線形化アダプタにタスク演算を適用する。
我々の部分線形化手法は、複数のタスクをより効果的に1つのモデルに融合させることを可能にしている。
論文 参考訳（メタデータ） (2023-10-07T08:55:54Z) - Prompt Guided Transformer for Multi-Task Dense Prediction [14.815576352301322]
本稿では,Prompt Guided Transformerと呼ばれる軽量なタスク条件モデルを導入し,性能とモデルパラメータを最適化する。
提案手法は,タスク条件のパラメータを少なくしながら,タスク条件付き手法の最先端化を実現し,性能とパラメータサイズの間に大きなバランスを保っている。
論文 参考訳（メタデータ） (2023-07-28T07:25:57Z) - Pro-tuning: Unified Prompt Tuning for Vision Tasks [133.12978197265596]
ファインチューニングは、トレーニング済みの視覚モデルを利用して下流タスクを実行するデファクトアプローチである。
本研究では,様々な下流視覚タスクに凍結視覚モデルを適用するために,パラメータ効率のよいプロンプトチューニング(Pro-tuning)を提案する。
論文 参考訳（メタデータ） (2022-07-28T21:09:31Z) - DiSparse: Disentangled Sparsification for Multitask Model Compression [92.84435347164435]
DiSparseは、シンプルで効果的で、第一級のマルチタスクプルーニングとスパーストレーニングスキームである。
実験の結果,様々な設定や設定において優れた性能を示した。
論文 参考訳（メタデータ） (2022-06-09T17:57:46Z) - Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。
他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。
我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
論文 参考訳（メタデータ） (2022-03-30T23:16:07Z) - Parameter-efficient Multi-task Fine-tuning for Transformers via Shared
Hypernetworks [37.2958914602899]
共有ハイパーネットワークを用いて、すべてのレイヤやタスクのアダプタパラメータを生成できることを示す。
よく知られたGLUEベンチマークの実験では、タスク当たり0.29%のパラメータしか追加することなく、マルチタスク学習のパフォーマンスが改善された。
論文 参考訳（メタデータ） (2021-06-08T16:16:40Z) - Parameter-Efficient Transfer Learning with Diff Pruning [108.03864629388404]
diff pruningは、プリトレイン・ファインチューンフレームワーク内でパラメータ効率の高い転送学習を可能にするシンプルなアプローチです。
diff pruningで微調整されたモデルは、GLUEベンチマークで完全に微調整されたベースラインのパフォーマンスと一致します。
論文 参考訳（メタデータ） (2020-12-14T12:34:01Z) - Parameter-Efficient Transfer from Sequential Behaviors for User Modeling
and Recommendation [111.44445634272235]
本稿では,PeterRecと呼ばれるパラメータ効率のよい移動学習アーキテクチャを提案する。
PeterRecは、トレーニング済みのパラメータを、一連の再学習ニューラルネットワークを注入することで、微調整中に修正されないようにする。
我々は5つの下流タスクにおいて学習したユーザ表現の有効性を示すために、広範囲な実験的アブレーションを行う。
論文 参考訳（メタデータ） (2020-01-13T14:09:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。