論文の概要: UniPT: Universal Parallel Tuning for Transfer Learning with Efficient Parameter and Memory

• arxiv url: http://arxiv.org/abs/2308.14316v2
• Date: Mon, 11 Mar 2024 10:28:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 16:26:26.220896
• Title: UniPT: Universal Parallel Tuning for Transfer Learning with Efficient Parameter and Memory
• Title（参考訳）: UniPT: 効率的なパラメータとメモリを用いた伝達学習のためのユニバーサル並列チューニング
• Authors: Haiwen Diao, Bo Wan, Ying Zhang, Xu Jia, Huchuan Lu, Long Chen
• Abstract要約: PETLは、トレーニング済みモデルを下流ドメインに適応するための効果的な戦略である。 最近のPETLは、より価値の高いメモリ効率特性に焦点を当てている。 メモリ効率の良い新しいPETL戦略Universal Parallel Tuning (UniPT)を提案する。
• 参考スコア（独自算出の注目度）: 69.33445217944029
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Parameter-efficient transfer learning (PETL), i.e., fine-tuning a small portion of parameters, is an effective strategy for adapting pre-trained models to downstream domains. To further reduce the memory demand, recent PETL works focus on the more valuable memory-efficient characteristic. In this paper, we argue that the scalability, adaptability, and generalizability of state-of-the-art methods are hindered by structural dependency and pertinency on specific pre-trained backbones. To this end, we propose a new memory-efficient PETL strategy, Universal Parallel Tuning (UniPT), to mitigate these weaknesses. Specifically, we facilitate the transfer process via a lightweight and learnable parallel network, which consists of: 1) A parallel interaction module that decouples the sequential connections and processes the intermediate activations detachedly from the pre-trained network. 2) A confidence aggregation module that learns optimal strategies adaptively for integrating cross-layer features. We evaluate UniPT with different backbones (e.g., T5, VSE$\infty$, CLIP4Clip, Clip-ViL, and MDETR) on various vision-and-language and pure NLP tasks. Extensive ablations on 18 datasets have validated that UniPT can not only dramatically reduce memory consumption and outperform the best competitor, but also achieve competitive performance over other plain PETL methods with lower training memory overhead. Our code is publicly available at: https://github.com/Paranioar/UniPT.
• Abstract（参考訳）: パラメータ効率変換学習(PETL)は、事前学習されたモデルを下流領域に適応させる効果的な戦略である。 メモリ需要をさらに減らすため、最近のPETLはより価値の高いメモリ効率特性に重点を置いている。 本稿では, 最先端手法のスケーラビリティ, 適応性, 一般化性は, 特定の事前学習されたバックボーンに対する構造的依存性と優性によって妨げられていると論じる。 そこで本研究では,これらの弱点を軽減すべく,新たなメモリ効率の高いpetl戦略であるuniversal parallel tuning (unipt)を提案する。 具体的には, 軽量で学習可能な並列ネットワークによる転送プロセスを容易にする。 1)シーケンシャル接続を分離し、事前訓練されたネットワークから中間活性化を処理する並列相互作用モジュール。 2) 層間機能統合のための最適戦略を適応的に学習する信頼集約モジュール。 我々は様々な視覚言語および純粋なnlpタスクにおいて、異なるバックボーン(例えば、t5, vse$\infty$, clip4clip, clip-vil, mdetr)を持つuniptを評価する。 18のデータセットに対する大規模な改善は、UniPTがメモリ消費を劇的に減らし、最高の競合相手を上回るだけでなく、トレーニングメモリオーバーヘッドの低い他の普通のPETLメソッドよりも競争力のあるパフォーマンスを達成できることを実証した。 私たちのコードは、https://github.com/Paranioar/UniPTで公開されています。

関連論文リスト

• FPT+: A Parameter and Memory Efficient Transfer Learning Method for High-resolution Medical Image Classification [1.5791081894226173]
  FPT+(Fun-fine Prompt Tuning plus)は、高解像度の医用画像分類のために設計されたPETL法である。 FPT+は、軽量なサイドネットワークをトレーニングし、大規模な事前学習モデルから事前学習された知識にアクセスすることによって、転送学習を行う。 実験の結果、FPT+は他のPETL法よりも優れており、学習可能なパラメータの1.03%とViT-Bモデル全体を微調整するために必要なメモリの3.18%しか使用していない。
  論文  参考訳（メタデータ） (2024-08-05T12:33:07Z)
• Pareto Low-Rank Adapters: Efficient Multi-Task Learning with Preferences [49.14535254003683]
  PaLoRAは、タスク固有の低ランクアダプタでオリジナルのモデルを拡張する、新しいパラメータ効率の手法である。 実験の結果,PaLoRAは様々なデータセットでMTLとPFLのベースラインを上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-07-10T21:25:51Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• Time-, Memory- and Parameter-Efficient Visual Adaptation [75.28557015773217]
  バックボーンを介して勾配をバックプロパゲートしない適応法を提案する。 凍結した、事前訓練されたバックボーンの機能を利用する軽量ネットワークを並列に設計することで、これを実現する。
  論文  参考訳（メタデータ） (2024-02-05T10:55:47Z)
• Make Pre-trained Model Reversible: From Parameter to Memory Efficient Fine-Tuning [6.451743797015637]
  本稿では,事前学習した言語モデルに対するメモリ効率のよい微調整(MEFT)を提案する。 MEFTはアダプタをPLMに挿入し、PLMの開始点を保ち、追加の事前訓練なしで可逆的にすることができる。 MEFTは、トレーニング可能なパラメータの無視量でフル微調整の84%まで、アクティベーションメモリを大幅に削減する。
  論文  参考訳（メタデータ） (2023-06-01T09:26:17Z)
• LST: Ladder Side-Tuning for Parameter and Memory Efficient Transfer Learning [82.93130407930762]
  大規模な事前訓練されたモデルのパラメータセット全体を更新するのはコストがかかる。 PETL技術は、トレーニング済みのバックボーンネットワーク内のパラメータの小さなサブセットを更新して、新しいタスクを実行できる。 本稿では,学習用メモリの必要量を大幅に削減するPETL技術であるLadder Side-Tuning (LST)を提案する。
  論文  参考訳（メタデータ） (2022-06-13T23:51:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。