論文の概要: UniPT: Universal Parallel Tuning for Transfer Learning with Efficient Parameter and Memory

• arxiv url: http://arxiv.org/abs/2308.14316v2
• Date: Mon, 11 Mar 2024 10:28:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 16:26:26.220896
• Title: UniPT: Universal Parallel Tuning for Transfer Learning with Efficient Parameter and Memory
• Title（参考訳）: UniPT: 効率的なパラメータとメモリを用いた伝達学習のためのユニバーサル並列チューニング
• Authors: Haiwen Diao, Bo Wan, Ying Zhang, Xu Jia, Huchuan Lu, Long Chen
• Abstract要約: PETLは、トレーニング済みモデルを下流ドメインに適応するための効果的な戦略である。 最近のPETLは、より価値の高いメモリ効率特性に焦点を当てている。 メモリ効率の良い新しいPETL戦略Universal Parallel Tuning (UniPT)を提案する。
• 参考スコア（独自算出の注目度）: 69.33445217944029
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Parameter-efficient transfer learning (PETL), i.e., fine-tuning a small portion of parameters, is an effective strategy for adapting pre-trained models to downstream domains. To further reduce the memory demand, recent PETL works focus on the more valuable memory-efficient characteristic. In this paper, we argue that the scalability, adaptability, and generalizability of state-of-the-art methods are hindered by structural dependency and pertinency on specific pre-trained backbones. To this end, we propose a new memory-efficient PETL strategy, Universal Parallel Tuning (UniPT), to mitigate these weaknesses. Specifically, we facilitate the transfer process via a lightweight and learnable parallel network, which consists of: 1) A parallel interaction module that decouples the sequential connections and processes the intermediate activations detachedly from the pre-trained network. 2) A confidence aggregation module that learns optimal strategies adaptively for integrating cross-layer features. We evaluate UniPT with different backbones (e.g., T5, VSE$\infty$, CLIP4Clip, Clip-ViL, and MDETR) on various vision-and-language and pure NLP tasks. Extensive ablations on 18 datasets have validated that UniPT can not only dramatically reduce memory consumption and outperform the best competitor, but also achieve competitive performance over other plain PETL methods with lower training memory overhead. Our code is publicly available at: https://github.com/Paranioar/UniPT.
• Abstract（参考訳）: パラメータ効率変換学習(PETL)は、事前学習されたモデルを下流領域に適応させる効果的な戦略である。 メモリ需要をさらに減らすため、最近のPETLはより価値の高いメモリ効率特性に重点を置いている。 本稿では, 最先端手法のスケーラビリティ, 適応性, 一般化性は, 特定の事前学習されたバックボーンに対する構造的依存性と優性によって妨げられていると論じる。 そこで本研究では,これらの弱点を軽減すべく,新たなメモリ効率の高いpetl戦略であるuniversal parallel tuning (unipt)を提案する。 具体的には, 軽量で学習可能な並列ネットワークによる転送プロセスを容易にする。 1)シーケンシャル接続を分離し、事前訓練されたネットワークから中間活性化を処理する並列相互作用モジュール。 2) 層間機能統合のための最適戦略を適応的に学習する信頼集約モジュール。 我々は様々な視覚言語および純粋なnlpタスクにおいて、異なるバックボーン(例えば、t5, vse$\infty$, clip4clip, clip-vil, mdetr)を持つuniptを評価する。 18のデータセットに対する大規模な改善は、UniPTがメモリ消費を劇的に減らし、最高の競合相手を上回るだけでなく、トレーニングメモリオーバーヘッドの低い他の普通のPETLメソッドよりも競争力のあるパフォーマンスを達成できることを実証した。 私たちのコードは、https://github.com/Paranioar/UniPTで公開されています。

関連論文リスト

• Skip Tuning: Pre-trained Vision-Language Models are Effective and Efficient Adapters Themselves [123.07450481623124]
  下流タスクに視覚言語モデルを適用するための新しいパラダイムとして,Skip Tuningを提案する。 既存のPTやアダプタベースの方法とは異なり、Skip Tuningは追加のコンテキストベクトルやアダプタモジュールを導入することなく、FTベースラインにLayer-wise Skipping(LSkip)とClass-wise Skipping(CSkip)を適用する。
  論文  参考訳（メタデータ） (2024-12-16T07:33:23Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Boosting Memory Efficiency in Transfer Learning for High-Resolution Medical Image Classification [1.5791081894226173]
  FPT+(Fun-fine Prompt Tuning plus)は、高解像度の医用画像分類のために設計されたPETL法である。 FPT+は、軽量なサイドネットワークをトレーニングし、大規模な事前学習モデルから事前学習された知識にアクセスすることによって、転送学習を行う。 FPT+は, サイズ, モダリティ, 複雑さの異なる8つの医用画像データセットで評価した。
  論文  参考訳（メタデータ） (2024-08-05T12:33:07Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Time-, Memory- and Parameter-Efficient Visual Adaptation [75.28557015773217]
  バックボーンを介して勾配をバックプロパゲートしない適応法を提案する。 凍結した、事前訓練されたバックボーンの機能を利用する軽量ネットワークを並列に設計することで、これを実現する。
  論文  参考訳（メタデータ） (2024-02-05T10:55:47Z)
• LST: Ladder Side-Tuning for Parameter and Memory Efficient Transfer Learning [82.93130407930762]
  大規模な事前訓練されたモデルのパラメータセット全体を更新するのはコストがかかる。 PETL技術は、トレーニング済みのバックボーンネットワーク内のパラメータの小さなサブセットを更新して、新しいタスクを実行できる。 本稿では,学習用メモリの必要量を大幅に削減するPETL技術であるLadder Side-Tuning (LST)を提案する。
  論文  参考訳（メタデータ） (2022-06-13T23:51:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。