論文の概要: Adapter is All You Need for Tuning Visual Tasks
- arxiv url: http://arxiv.org/abs/2311.15010v2
- Date: Thu, 30 Nov 2023 14:57:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-01 19:52:26.980119
- Title: Adapter is All You Need for Tuning Visual Tasks
- Title（参考訳）: 視覚タスクをチューニングするためのアダプタは、すべて必要です
- Authors: Dongshuo Yin, Leiyi Hu, Bin Li and Youqun Zhang
- Abstract要約: 本稿では,新しい適応型チューニング手法であるマルチ認知型ビジュアルアダプタ(Mona)チューニングを提案する。
まず、視覚信号の処理能力を高めるために、複数の視覚フレンドリーなフィルタをアダプタに導入する。
次に,適応器に拡張正規化層を追加し,視覚フィルタの入力特徴の分布を調節する。
- 参考スコア（独自算出の注目度）: 3.6149777601911097
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pre-training & fine-tuning can enhance the transferring efficiency and
performance in visual tasks. Recent delta-tuning methods provide more options
for visual classification tasks. Despite their success, existing visual
delta-tuning art fails to exceed the upper limit of full fine-tuning on
challenging tasks like instance segmentation and semantic segmentation. To find
a competitive alternative to full fine-tuning, we propose the Multi-cognitive
Visual Adapter (Mona) tuning, a novel adapter-based tuning method. First, we
introduce multiple vision-friendly filters into the adapter to enhance its
ability to process visual signals, while previous methods mainly rely on
language-friendly linear filters. Second, we add the scaled normalization layer
in the adapter to regulate the distribution of input features for visual
filters. To fully demonstrate the practicality and generality of Mona, we
conduct experiments on multiple representative visual tasks, including instance
segmentation on COCO, semantic segmentation on ADE20K, object detection on
Pascal VOC, and image classification on several common datasets. Exciting
results illustrate that Mona surpasses full fine-tuning on all these tasks and
is the only delta-tuning method outperforming full fine-tuning on instance
segmentation and semantic segmentation tasks. For example, Mona achieves a 1%
performance gain on the COCO dataset compared to full fine-tuning.
Comprehensive results suggest that Mona-tuning is more suitable for retaining
and utilizing the capabilities of pre-trained models than full fine-tuning. The
code will be released at https://github.com/Leiyi-Hu/mona.
- Abstract（参考訳）: 事前トレーニングと微調整は視覚タスクの転送効率と性能を向上させる。
最近のデルタチューニング手法は、視覚分類タスクにより多くのオプションを提供する。
その成功にもかかわらず、既存のビジュアルデルタチューニングアートは、インスタンスセグメンテーションやセマンティクスセグメンテーションのような困難なタスクの完全な微調整の上限を超えることができない。
完全微調整に代わる競争的な選択肢を見出すため、我々は、新しいアダプタベースのチューニング方法であるmulti-cognitive visual adapter (mona) tuningを提案する。
まず,複数の視覚に優しいフィルタを導入し,視覚信号の処理能力を高め,従来の手法は言語に優しい線形フィルタに大きく依存していた。
第2に,視覚フィルタの入力特性の分布を規制するために,アダプタにスケールド正規化層を追加する。
モナの実用性と汎用性を実証するため,COCOのインスタンスセグメンテーション,ADE20Kのセマンティックセグメンテーション,パスカルVOCのオブジェクト検出,複数の共通データセットのイメージ分類など,複数の視覚的タスクの実験を行った。
興奮的な結果は、Monaがこれらすべてのタスクの完全な微調整を超えており、インスタンスセグメンテーションとセマンティックセグメンテーションタスクで完全な微調整を行う唯一のデルタ微調整メソッドであることを示している。
例えば、Monaは完全な微調整に比べてCOCOデータセットで1%のパフォーマンス向上を達成した。
総合的な結果は、モナチューニングは完全な微調整よりも、事前訓練されたモデルの能力の保持と活用に適していることを示唆している。
コードはhttps://github.com/leiyi-hu/monaでリリースされる。
関連論文リスト
- 5%>100%: Breaking Performance Shackles of Full Fine-Tuning on Visual Recognition Tasks [6.391868559857146]
本稿では,新しい適応型チューニング手法であるマルチ認知型ビジュアルアダプタ(Mona)チューニングを提案する。
まず、視覚信号の処理能力を高めるために、複数の視覚フレンドリーなフィルタをアダプタに導入する。
次に,適応器に拡張正規化層を追加し,視覚フィルタの入力特徴の分布を調節する。
論文 参考訳（メタデータ） (2024-08-15T17:58:10Z) - MoSA: Mixture of Sparse Adapters for Visual Efficient Tuning [20.68925288222065]
スパースアダプタの混合(英: Mixture of Sparse Adapters, MoSA)は、新しいアダプタチューニング法である。
MoSAは、余分な計算ストレージオーバーヘッドを伴わずに、標準よりも大幅にパフォーマンスが向上する。
MoSAは、他のAdapter Tuningメソッド、および他のベースラインを大きなマージンで一貫して上回っている。
論文 参考訳（メタデータ） (2023-12-05T17:50:55Z) - Pre-train, Adapt and Detect: Multi-Task Adapter Tuning for Camouflaged
Object Detection [38.5505943598037]
カモフラージュされた物体を検出するために, 事前学習, 適応, 検出のパラダイムを提案する。
大規模な事前学習モデルを導入することで、大量のマルチモーダルデータから得られた豊富な知識を直接CODに転送することができる。
提案手法は既存のCODモデルよりも大きなマージンで優れている。
論文 参考訳（メタデータ） (2023-07-20T08:25:38Z) - An Efficient General-Purpose Modular Vision Model via Multi-Task
Heterogeneous Training [79.78201886156513]
本稿では、複数の視覚タスクを実行でき、他の下流タスクに効率的に適応できるモデルを提案する。
提案手法は,単一タスク状態モデルに匹敵する結果を達成し,下流タスクの強力な一般化を実証する。
論文 参考訳（メタデータ） (2023-06-29T17:59:57Z) - Visual Tuning [143.43997336384126]
微調整ビジュアルモデルは、多くの下流視覚タスクにおいて有望なパフォーマンスを示すことが広く示されている。
最近の進歩は、事前訓練されたパラメータ全体をフルチューニングするよりも優れたパフォーマンスを達成することができる。
この調査は、最近の作品の大規模かつ思慮深い選択を特徴付け、作業とモデルの体系的かつ包括的な概要を提供する。
論文 参考訳（メタデータ） (2023-05-10T11:26:36Z) - Active Finetuning: Exploiting Annotation Budget in the
Pretraining-Finetuning Paradigm [132.9949120482274]
本稿では,事前学習ファインタニングパラダイムにおけるアノテーションのためのサンプルの選択に焦点を当てる。
本研究では,アクティブな微調整タスクのためのActiveFTと呼ばれる新しい手法を提案する。
画像分類とセマンティックセグメンテーションの両方に基づくベースラインよりも優れたActiveFTの先行性能と高効率性を示す。
論文 参考訳（メタデータ） (2023-03-25T07:17:03Z) - Your representations are in the network: composable and parallel
adaptation for large scale models [90.26965623489157]
InCAは、事前訓練されたモデルの任意のアクティベーション層にクロスタッチするトランスファー学習の軽量な方法である。
InCAは,1つのトップスコーリングアダプタを選択しても,フル微調整に匹敵する性能を発揮することを示す。
論文 参考訳（メタデータ） (2023-03-07T18:12:24Z) - Two-stage LLM Fine-tuning with Less Specialization and More
Generalization [93.12197594813378]
本稿では,Model Tuning (ProMoT) を用いた Prompt Tuning を提案する。
ProMoTは、タスク固有のフォーマット学習を、最初はプロンプトチューニングを行い、次にこのソフトプロンプトでモデル自体を微調整することで、追加的で取り外し可能なパラメータにオフロードする。
ProMoTは、微調整タスクと意味的に関連するコンテキスト内学習タスクの一般化を強化することもできる。
論文 参考訳（メタデータ） (2022-11-01T17:56:57Z) - Pro-tuning: Unified Prompt Tuning for Vision Tasks [133.12978197265596]
ファインチューニングは、トレーニング済みの視覚モデルを利用して下流タスクを実行するデファクトアプローチである。
本研究では,様々な下流視覚タスクに凍結視覚モデルを適用するために,パラメータ効率のよいプロンプトチューニング(Pro-tuning)を提案する。
論文 参考訳（メタデータ） (2022-07-28T21:09:31Z) - AMF: Adaptable Weighting Fusion with Multiple Fine-tuning for Image
Classification [14.05052135034412]
本稿では,各データサンプルの微調整戦略を適応的に決定する適応型マルチチューニング手法を提案する。
提案手法は,FGVC-Aircraft,Describable Textureのデータセットにおいて,1.69%,2.79%の精度で標準的な微調整手法より優れている。
論文 参考訳（メタデータ） (2022-07-26T14:50:03Z) - On the Effectiveness of Adapter-based Tuning for Pretrained Language
Model Adaptation [36.37565646597464]
プリトレーニング言語モデル(PrLM)に軽量アダプタモジュールを追加することで、アダプタベースのチューニングが機能する
新しいタスクごとにいくつかのトレーニング可能なパラメータを追加するだけで、高いパラメータ共有が可能になる。
アダプタベースのチューニングは,低リソースタスクと多言語タスクの微調整に優れることを示す。
論文 参考訳（メタデータ） (2021-06-06T16:10:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。