Fugu-MT 論文翻訳(概要): iConFormer: Dynamic Parameter-Efficient Tuning with Input-Conditioned Adaptation

論文の概要: iConFormer: Dynamic Parameter-Efficient Tuning with Input-Conditioned Adaptation

arxiv url: http://arxiv.org/abs/2409.02838v1
Date: Wed, 4 Sep 2024 16:06:23 GMT
ステータス: 処理完了
システム内更新日: 2024-09-05 17:11:35.177363
Title: iConFormer: Dynamic Parameter-Efficient Tuning with Input-Conditioned Adaptation
Title（参考訳）: iConFormer: 入出力適応による動的パラメータ効率チューニング
Authors: Hayeon Jo, Hyesong Choi, Minhee Cho, Dongbo Min,
Abstract要約: 本稿では,iConFormerと呼ばれる新しいPEFT手法,入出力トランスフォーマーを提案する。インスタンスレベルの特徴変換を可能にする動的アダプタに,入出力ネットワーク(iCoN)を導入する。具体的に言うと、iCoNは各機能に対してチャネルワイドな畳み込みカーネルを生成し、それを適応畳み込みプロセスを使って変換し、下流タスクに適したタスク固有できめ細かな詳細を効果的にキャプチャする。
参考スコア（独自算出の注目度）: 15.97351561456467
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Transfer learning based on full fine-tuning (FFT) of the pre-trained encoder and task-specific decoder becomes increasingly complex as deep models grow exponentially. Parameter efficient fine-tuning (PEFT) approaches using adapters consisting of small learnable layers have emerged as an alternative to FFT, achieving comparable performance while maintaining high training efficiency. However, the inflexibility of the adapter with respect to input instances limits its capability of learning task-specific information in diverse downstream tasks. In this paper, we propose a novel PEFT approach, input-Conditioned transFormer, termed iConFormer, that leverages a dynamic adapter conditioned on the input instances. To secure flexible learning ability on input instances in various downstream tasks, we introduce an input-Conditioned Network (iCoN) in the dynamic adapter that enables instance-level feature transformation. To be specific, iCoN generates channel-wise convolutional kernels for each feature and transform it using adaptive convolution process to effectively capture task-specific and fine-grained details tailor to downstream tasks. Experimental results demonstrate that by tuning just 1.6% to 2.8% of the Transformer backbone parameters, iConFormer achieves performance comparable to FFT in monocular depth estimation and semantic segmentation, while outperforming it in image classification and instance segmentation. Also, the proposed method consistently outperforms recent PEFT methods for all the tasks mentioned above.
Abstract（参考訳）: 事前訓練されたエンコーダとタスク固有のデコーダの完全な微調整(FFT)に基づく伝達学習は、ディープモデルが指数関数的に増加するにつれて、ますます複雑化する。 FFTの代替として、小さな学習可能な層からなるアダプタを用いたパラメータ効率の良い微細チューニング(PEFT)アプローチが登場し、高いトレーニング効率を維持しつつ、同等のパフォーマンスを実現している。しかし、入力インスタンスに対するアダプタの柔軟性は、様々な下流タスクにおいてタスク固有の情報を学習する能力を制限している。本稿では,入力インスタンスに条件付き動的アダプタを利用する新しいPEFT手法iConFormerを提案する。下流タスクにおける入力インスタンスのフレキシブルな学習能力を確保すべく、インスタンスレベルの特徴変換を可能にする動的アダプタに入出力ネットワーク(iCoN)を導入する。具体的に言うと、iCoNは各機能に対してチャネルワイドな畳み込みカーネルを生成し、それを適応畳み込みプロセスを使って変換し、下流タスクに適したタスク固有できめ細かな詳細を効果的にキャプチャする。実験の結果、Transformerのバックボーンパラメータの1.6%から2.8%をチューニングすることで、モノクロ深度推定やセマンティックセグメンテーションにおいてFFTに匹敵する性能を達成し、画像分類やインスタンスセグメンテーションでは性能を向上した。また,提案手法は,上述した全てのタスクに対して,最近のPEFT法よりも一貫して優れている。

関連論文リスト

Dyn-Adapter: Towards Disentangled Representation for Efficient Visual Recognition [22.615830919860777]
本稿では動的アダプタ(Dyn-Adapter)という,効率的な視覚認識パラダイムを提案する。適応的なトレーニング戦略とともに,複数レベルの特徴抽出のための早期のバランスの取れた動的アーキテクチャを考案する。予測中のFLOPを50%削減し,高い認識精度を維持した。
論文参考訳（メタデータ） (2024-07-19T13:33:38Z)
Adapter-X: A Novel General Parameter-Efficient Fine-Tuning Framework for Vision [52.80792724919329]
本稿では,2次元画像と3次元点雲の微調整を改善するためのAdapter-Xという新しいフレームワークを提案する。 2D画像と3Dポイントの雲のモードで完全な微調整をし、パラメータが大幅に少ない、すなわち2Dと3Dの分類タスクにおいて、オリジナルのトレーニング可能なパラメータのわずか0.20%と1.88%で、初めて性能を上回った。
論文参考訳（メタデータ） (2024-06-05T08:26:44Z)
Dynamic Tuning Towards Parameter and Inference Efficiency for ViT Adaptation [67.13876021157887]
動的チューニング(DyT)は、ViT適応のためのパラメータと推論効率を改善するための新しいアプローチである。 DyTは既存のPEFT法に比べて性能が優れており、VTAB-1KベンチマークではFLOPの71%しか呼び出されていない。
論文参考訳（メタデータ） (2024-03-18T14:05:52Z)
Dynamic Adapter Meets Prompt Tuning: Parameter-Efficient Transfer Learning for Point Cloud Analysis [51.14136878142034]
ポイントクラウド分析は、事前訓練されたモデルのポイントクラウドの転送によって、優れたパフォーマンスを実現している。モデル適応のための既存の方法は通常、高い計算コストに依存するため、非効率な全てのモデルパラメータを更新する。本稿では,タスク性能とパラメータ効率のトレードオフを考慮した,ポイントクラウド解析のためのパラメータ効率変換学習を提案する。
論文参考訳（メタデータ） (2024-03-03T08:25:04Z)
Prototype-based HyperAdapter for Sample-Efficient Multi-task Tuning [30.251155072822055]
Prototype-based HyperAdapter (PHA)は、アダプタチューニングとハイパーネットワーク上に構築された新しいフレームワークである。サンプル効率のよい条件付きモジュールを生成するために、インスタンスdenseレトリバーとプロトタイプのハイパーネットワークを導入する。 PHAは、トレーニング可能なパラメータ、ストリームタスクの精度、サンプル効率のトレードオフをより良くすることを示す。
論文参考訳（メタデータ） (2023-10-18T02:42:17Z)
Exploring the Benefits of Differentially Private Pre-training and Parameter-Efficient Fine-tuning for Table Transformers [56.00476706550681]
Table Transformer(TabTransformer)は最先端のニューラルネットワークモデルであり、差分プライバシ(DP)はデータのプライバシを確保する上で不可欠なコンポーネントである。本稿では,これら2つの側面を組み合わせ,伝達学習のシナリオで組み合わせることのメリットについて考察する。
論文参考訳（メタデータ） (2023-09-12T19:08:26Z)
Conditional Adapters: Parameter-efficient Transfer Learning with Fast Inference [53.65845680932835]
Conditional Adapter (CoDA) はパラメータ効率の変換学習手法であり、推論効率も向上する。様々な言語、ビジョン、音声タスクにおいて、CoDAは2倍から8倍の推論スピードアップを達成する。
論文参考訳（メタデータ） (2023-04-11T03:17:37Z)
AdapterBias: Parameter-efficient Token-dependent Representation Shift for Adapters in NLP Tasks [55.705355299065474]
数百万のパラメータを持つトランスフォーマーベースの事前学習モデルは、大きなストレージを必要とする。近年のアプローチでは、アダプタをトレーニングすることでこの欠点に対処しているが、それでも比較的多くのパラメータを必要とする。本研究では,驚くほどシンプルで効果的なアダプタアーキテクチャであるAdapterBiasを提案する。
論文参考訳（メタデータ） (2022-04-30T16:49:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。