論文の概要: UniPT: Universal Parallel Tuning for Transfer Learning with Efficient Parameter and Memory

• arxiv url: http://arxiv.org/abs/2308.14316v1
• Date: Mon, 28 Aug 2023 05:38:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-29 15:32:00.000841
• Title: UniPT: Universal Parallel Tuning for Transfer Learning with Efficient Parameter and Memory
• Title（参考訳）: UniPT: 効率的なパラメータとメモリを用いた伝達学習のためのユニバーサル並列チューニング
• Authors: Haiwen Diao, Bo Wan, Ying Zhang, Xu Jia, Huchuan Lu, Long Chen
• Abstract要約: 我々は、Universal Parallel Tuning (UniPT)と呼ばれる新しいメモリ効率のPETL戦略を提案する。 我々のUniPTは、メモリ消費を劇的に減らし、最高のメモリ効率の競合に勝るだけでなく、異なるアーキテクチャの低メモリシナリオにおいて、既存のPETLメソッドよりも高いパフォーマンスを実現しています。
• 参考スコア（独自算出の注目度）: 69.33445217944029
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning pre-trained models has emerged as a powerful technique in numerous domains, owing to its ability to leverage enormous pre-existing knowledge and achieve remarkable performance on downstream tasks. However, updating the parameters of entire networks is computationally intensive. Although state-of-the-art parameter-efficient transfer learning (PETL) methods significantly reduce the trainable parameters and storage demand, almost all of them still need to back-propagate the gradients through large pre-trained networks. This memory-extensive characteristic extremely limits the applicability of PETL methods in real-world scenarios. To this end, we propose a new memory-efficient PETL strategy, dubbed Universal Parallel Tuning (UniPT). Specifically, we facilitate the transfer process via a lightweight learnable parallel network, which consists of two modules: 1) A parallel interaction module that decouples the inherently sequential connections and processes the intermediate activations detachedly of the pre-trained network. 2) A confidence aggregation module that learns optimal strategies adaptively for integrating cross-layer features. We evaluate UniPT with different backbones (e.g., VSE$\infty$, CLIP4Clip, Clip-ViL, and MDETR) on five challenging vision-and-language tasks (i.e., image-text retrieval, video-text retrieval, visual question answering, compositional question answering, and visual grounding). Extensive ablations on ten datasets have validated that our UniPT can not only dramatically reduce memory consumption and outperform the best memory-efficient competitor, but also achieve higher performance than existing PETL methods in a low-memory scenario on different architectures. Our code is publicly available at: https://github.com/Paranioar/UniPT.
• Abstract（参考訳）: ファインチューニングされた事前学習モデルは、既存の膨大な知識を活用し、下流タスクで顕著なパフォーマンスを達成する能力のため、多くの領域で強力な技術として登場した。 しかし、ネットワーク全体のパラメータの更新は計算集約的である。 PETL(State-of-the-the-art parameter- efficient transfer learning)法はトレーニング可能なパラメータとストレージの需要を大幅に削減するが、ほとんどすべてのパラメータは、大きなトレーニング済みネットワークを通じて勾配をバックプロパタイズする必要がある。 このメモリ集約特性は、実世界のシナリオにおけるPETL法の適用性を極めて制限する。 そこで本稿では,新しいメモリ効率のpetl戦略であるuniversal parallel tuning (unipt)を提案する。 具体的には,2つのモジュールからなる軽量学習可能な並列ネットワークによる転送プロセスを容易にする。 1) 本質的にシーケンシャルな接続を分離し、プリトレーニングされたネットワークから分離して中間のアクティベーションを処理する並列インタラクションモジュール。 2) 層間機能統合のための最適戦略を適応的に学習する信頼集約モジュール。 異なるバックボーン(例えば、vse$\infty$, clip4clip, clip-vil, mdetr)のユニプトを5つの難解なヴィジュアル・アンド・ランゲージタスク(画像・テキスト検索、ビデオテキスト検索、ビジュアル質問応答、構成的質問応答、ビジュアル・グラウンド)で評価する。 10のデータセットに対する大規模な改善により、我々のUniPTはメモリ消費を劇的に減らし、最高のメモリ効率の競争相手に勝るだけでなく、異なるアーキテクチャの低メモリシナリオにおいて既存のPETLメソッドよりも高いパフォーマンスを実現することができることが実証された。 私たちのコードは、https://github.com/Paranioar/UniPTで公開されています。

関連論文リスト

• FPT+: A Parameter and Memory Efficient Transfer Learning Method for High-resolution Medical Image Classification [1.5791081894226173]
  FPT+(Fun-fine Prompt Tuning plus)は、高解像度の医用画像分類のために設計されたPETL法である。 FPT+は、軽量なサイドネットワークをトレーニングし、大規模な事前学習モデルから事前学習された知識にアクセスすることによって、転送学習を行う。 実験の結果、FPT+は他のPETL法よりも優れており、学習可能なパラメータの1.03%とViT-Bモデル全体を微調整するために必要なメモリの3.18%しか使用していない。
  論文  参考訳（メタデータ） (2024-08-05T12:33:07Z)
• Pareto Low-Rank Adapters: Efficient Multi-Task Learning with Preferences [49.14535254003683]
  PaLoRAは、タスク固有の低ランクアダプタでオリジナルのモデルを拡張する、新しいパラメータ効率の手法である。 実験の結果,PaLoRAは様々なデータセットでMTLとPFLのベースラインを上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-07-10T21:25:51Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• Time-, Memory- and Parameter-Efficient Visual Adaptation [75.28557015773217]
  バックボーンを介して勾配をバックプロパゲートしない適応法を提案する。 凍結した、事前訓練されたバックボーンの機能を利用する軽量ネットワークを並列に設計することで、これを実現する。
  論文  参考訳（メタデータ） (2024-02-05T10:55:47Z)
• Make Pre-trained Model Reversible: From Parameter to Memory Efficient Fine-Tuning [6.451743797015637]
  本稿では,事前学習した言語モデルに対するメモリ効率のよい微調整(MEFT)を提案する。 MEFTはアダプタをPLMに挿入し、PLMの開始点を保ち、追加の事前訓練なしで可逆的にすることができる。 MEFTは、トレーニング可能なパラメータの無視量でフル微調整の84%まで、アクティベーションメモリを大幅に削減する。
  論文  参考訳（メタデータ） (2023-06-01T09:26:17Z)
• LST: Ladder Side-Tuning for Parameter and Memory Efficient Transfer Learning [82.93130407930762]
  大規模な事前訓練されたモデルのパラメータセット全体を更新するのはコストがかかる。 PETL技術は、トレーニング済みのバックボーンネットワーク内のパラメータの小さなサブセットを更新して、新しいタスクを実行できる。 本稿では,学習用メモリの必要量を大幅に削減するPETL技術であるLadder Side-Tuning (LST)を提案する。
  論文  参考訳（メタデータ） (2022-06-13T23:51:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。