論文の概要: UniPT: Universal Parallel Tuning for Transfer Learning with Efficient
Parameter and Memory
- arxiv url: http://arxiv.org/abs/2308.14316v1
- Date: Mon, 28 Aug 2023 05:38:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-29 15:32:00.000841
- Title: UniPT: Universal Parallel Tuning for Transfer Learning with Efficient
Parameter and Memory
- Title(参考訳): UniPT: 効率的なパラメータとメモリを用いた伝達学習のためのユニバーサル並列チューニング
- Authors: Haiwen Diao, Bo Wan, Ying Zhang, Xu Jia, Huchuan Lu, Long Chen
- Abstract要約: 我々は、Universal Parallel Tuning (UniPT)と呼ばれる新しいメモリ効率のPETL戦略を提案する。
我々のUniPTは、メモリ消費を劇的に減らし、最高のメモリ効率の競合に勝るだけでなく、異なるアーキテクチャの低メモリシナリオにおいて、既存のPETLメソッドよりも高いパフォーマンスを実現しています。
- 参考スコア(独自算出の注目度): 69.33445217944029
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fine-tuning pre-trained models has emerged as a powerful technique in
numerous domains, owing to its ability to leverage enormous pre-existing
knowledge and achieve remarkable performance on downstream tasks. However,
updating the parameters of entire networks is computationally intensive.
Although state-of-the-art parameter-efficient transfer learning (PETL) methods
significantly reduce the trainable parameters and storage demand, almost all of
them still need to back-propagate the gradients through large pre-trained
networks. This memory-extensive characteristic extremely limits the
applicability of PETL methods in real-world scenarios. To this end, we propose
a new memory-efficient PETL strategy, dubbed Universal Parallel Tuning (UniPT).
Specifically, we facilitate the transfer process via a lightweight learnable
parallel network, which consists of two modules: 1) A parallel interaction
module that decouples the inherently sequential connections and processes the
intermediate activations detachedly of the pre-trained network. 2) A confidence
aggregation module that learns optimal strategies adaptively for integrating
cross-layer features. We evaluate UniPT with different backbones (e.g.,
VSE$\infty$, CLIP4Clip, Clip-ViL, and MDETR) on five challenging
vision-and-language tasks (i.e., image-text retrieval, video-text retrieval,
visual question answering, compositional question answering, and visual
grounding). Extensive ablations on ten datasets have validated that our UniPT
can not only dramatically reduce memory consumption and outperform the best
memory-efficient competitor, but also achieve higher performance than existing
PETL methods in a low-memory scenario on different architectures. Our code is
publicly available at: https://github.com/Paranioar/UniPT.
- Abstract(参考訳): ファインチューニングされた事前学習モデルは、既存の膨大な知識を活用し、下流タスクで顕著なパフォーマンスを達成する能力のため、多くの領域で強力な技術として登場した。
しかし、ネットワーク全体のパラメータの更新は計算集約的である。
PETL(State-of-the-the-art parameter- efficient transfer learning)法はトレーニング可能なパラメータとストレージの需要を大幅に削減するが、ほとんどすべてのパラメータは、大きなトレーニング済みネットワークを通じて勾配をバックプロパタイズする必要がある。
このメモリ集約特性は、実世界のシナリオにおけるPETL法の適用性を極めて制限する。
そこで本稿では,新しいメモリ効率のpetl戦略であるuniversal parallel tuning (unipt)を提案する。
具体的には,2つのモジュールからなる軽量学習可能な並列ネットワークによる転送プロセスを容易にする。
1) 本質的にシーケンシャルな接続を分離し、プリトレーニングされたネットワークから分離して中間のアクティベーションを処理する並列インタラクションモジュール。
2) 層間機能統合のための最適戦略を適応的に学習する信頼集約モジュール。
異なるバックボーン(例えば、vse$\infty$, clip4clip, clip-vil, mdetr)のユニプトを5つの難解なヴィジュアル・アンド・ランゲージタスク(画像・テキスト検索、ビデオテキスト検索、ビジュアル質問応答、構成的質問応答、ビジュアル・グラウンド)で評価する。
10のデータセットに対する大規模な改善により、我々のUniPTはメモリ消費を劇的に減らし、最高のメモリ効率の競争相手に勝るだけでなく、異なるアーキテクチャの低メモリシナリオにおいて既存のPETLメソッドよりも高いパフォーマンスを実現することができることが実証された。
私たちのコードは、https://github.com/Paranioar/UniPTで公開されています。
関連論文リスト
- Dynamic Adapter Meets Prompt Tuning: Parameter-Efficient Transfer Learning for Point Cloud Analysis [51.14136878142034]
ポイントクラウド分析は、事前訓練されたモデルのポイントクラウドの転送によって、優れたパフォーマンスを実現している。
モデル適応のための既存の方法は通常、高い計算コストに依存するため、非効率な全てのモデルパラメータを更新する。
本稿では,タスク性能とパラメータ効率のトレードオフを考慮した,ポイントクラウド解析のためのパラメータ効率変換学習を提案する。
論文 参考訳(メタデータ) (2024-03-03T08:25:04Z) - Time-, Memory- and Parameter-Efficient Visual Adaptation [75.28557015773217]
バックボーンを介して勾配をバックプロパゲートしない適応法を提案する。
凍結した、事前訓練されたバックボーンの機能を利用する軽量ネットワークを並列に設計することで、これを実現する。
論文 参考訳(メタデータ) (2024-02-05T10:55:47Z) - DTL: Disentangled Transfer Learning for Visual Recognition [21.549234013998255]
軽量なコンパクトサイドネットワーク(CSN)を用いて、トレーニング可能なパラメータをバックボーンから切り離すDTL(Disentangled Transfer Learning)を導入する。
提案手法は,大量のGPUメモリ使用量とトレーニング可能なパラメータを削減できるだけでなく,既存のPETL法よりも高い精度で性能を向上する。
論文 参考訳(メタデータ) (2023-12-13T02:51:26Z) - RTP: Rethinking Tensor Parallelism with Memory Deduplication [3.036340414461332]
Rotated Parallelism(RTP)は、分散トレーニング環境におけるメモリ重複に着目した革新的なアプローチである。
我々の経験的評価はRTPの効率を裏付けるものであり、分散システムトレーニング中のメモリ消費が極めて最適に近いことを示している。
論文 参考訳(メタデータ) (2023-11-02T23:12:42Z) - Parameter and Computation Efficient Transfer Learning for
Vision-Language Pre-trained Models [79.34513906324727]
本稿では,視覚言語事前学習モデルのためのパラメータと効率的な伝達学習(PCETL)を提案する。
そこで本研究では,新しい動的アーキテクチャスキップ(DAS)アプローチを効果的PCETLに適用する。
論文 参考訳(メタデータ) (2023-09-04T09:34:33Z) - Make Pre-trained Model Reversible: From Parameter to Memory Efficient
Fine-Tuning [6.451743797015637]
本稿では,事前学習した言語モデルに対するメモリ効率のよい微調整(MEFT)を提案する。
MEFTはアダプタをPLMに挿入し、PLMの開始点を保ち、追加の事前訓練なしで可逆的にすることができる。
MEFTは、トレーニング可能なパラメータの無視量でフル微調整の84%まで、アクティベーションメモリを大幅に削減する。
論文 参考訳(メタデータ) (2023-06-01T09:26:17Z) - LST: Ladder Side-Tuning for Parameter and Memory Efficient Transfer
Learning [82.93130407930762]
大規模な事前訓練されたモデルのパラメータセット全体を更新するのはコストがかかる。
PETL技術は、トレーニング済みのバックボーンネットワーク内のパラメータの小さなサブセットを更新して、新しいタスクを実行できる。
本稿では,学習用メモリの必要量を大幅に削減するPETL技術であるLadder Side-Tuning (LST)を提案する。
論文 参考訳(メタデータ) (2022-06-13T23:51:56Z) - Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than
In-Context Learning [81.3514358542452]
ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。
パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。
本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
論文 参考訳(メタデータ) (2022-05-11T17:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。