論文の概要: Res-Tuning: A Flexible and Efficient Tuning Paradigm via Unbinding Tuner from Backbone

• arxiv url: http://arxiv.org/abs/2310.19859v1
• Date: Mon, 30 Oct 2023 17:58:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 18:30:59.600609
• Title: Res-Tuning: A Flexible and Efficient Tuning Paradigm via Unbinding Tuner from Backbone
• Title（参考訳）: Res-Tuning: Backboneからタナーをアンバインドするフレキシブルで効率的なチューニングパラダイム
• Authors: Zeyinzi Jiang, Chaojie Mao, Ziyuan Huang, Ao Ma, Yiliang Lv, Yujun Shen, Deli Zhao, Jingren Zhou
• Abstract要約: Res-Tuningは、バックボーンからチューナーをアンバインドする新しいチューニングパラダイムである。 一般的なチューニング手法は、結合のない定式化の下で同等の手法を持つことを示す。 本稿では,メモリ効率のよいRes-Tuningの変種を提案する。
• 参考スコア（独自算出の注目度）: 60.4611286093497
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Parameter-efficient tuning has become a trend in transferring large-scale foundation models to downstream applications. Existing methods typically embed some light-weight tuners into the backbone, where both the design and the learning of the tuners are highly dependent on the base model. This work offers a new tuning paradigm, dubbed Res-Tuning, which intentionally unbinds tuners from the backbone. With both theoretical and empirical evidence, we show that popular tuning approaches have their equivalent counterparts under our unbinding formulation, and hence can be integrated into our framework effortlessly. Thanks to the structural disentanglement, we manage to free the design of tuners from the network architecture, facilitating flexible combination of various tuning strategies. We further propose a memory-efficient variant of Res-Tuning, where the bypass i.e., formed by a sequence of tuners) is effectively detached from the main branch, such that the gradients are back-propagated only to the tuners but not to the backbone. Such a detachment also allows one-time backbone forward for multi-task inference. Extensive experiments on both discriminative and generative tasks demonstrate the superiority of our method over existing alternatives from the perspectives of efficacy and efficiency. Project page: $\href{https://res-tuning.github.io/}{\textit{https://res-tuning.github.io/}}$.
• Abstract（参考訳）: パラメータ効率のチューニングは、大規模な基礎モデルを下流アプリケーションに転送する傾向にある。 既存の方法は通常、いくつかの軽量チューナーをバックボーンに埋め込むが、そこではチューナーの設計と学習の両方がベースモデルに大きく依存する。 この作品はres-tuningと呼ばれる新しいチューニングパラダイムを提供しており、故意にチューナーをバックボーンから解き放つ。 理論的および実証的な証拠から、一般的なチューニングアプローチは、我々の拘束力のない定式化の下で同等のものを持ち、それゆえ、我々のフレームワークに無力に統合できることを示した。 構造的な絡み合いのおかげで、ネットワークアーキテクチャからチューナーの設計を解放し、様々なチューニング戦略の柔軟な組み合わせを容易にします。 さらに,本枝からバイパス(すなわちチューナー列によって形成される)を効果的に分離し,その勾配をチューナーのみにバックプロパゲーションするが,バックボーンにはない,メモリ効率の良いリズチューニングの変種を提案する。 このような分離は、マルチタスク推論のためのワンタイムバックボーンフォワードも可能にする。 判別タスクと生成タスクの両方に関する広範囲な実験は、有効性と効率の観点から、既存の代替案よりも優れた方法を示している。 プロジェクトページ: $\href{https://res-tuning.github.io/}{\textit{https://res-tuning.github.io/}}$

関連論文リスト

• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Dynamic Tuning Towards Parameter and Inference Efficiency for ViT Adaptation [67.13876021157887]
  動的チューニング(DyT)は、ViT適応のためのパラメータと推論効率を改善するための新しいアプローチである。 DyTは既存のPEFT法に比べて性能が優れており、VTAB-1KベンチマークではFLOPの71%しか呼び出されていない。
  論文  参考訳（メタデータ） (2024-03-18T14:05:52Z)
• Time-, Memory- and Parameter-Efficient Visual Adaptation [75.28557015773217]
  バックボーンを介して勾配をバックプロパゲートしない適応法を提案する。 凍結した、事前訓練されたバックボーンの機能を利用する軽量ネットワークを並列に設計することで、これを実現する。
  論文  参考訳（メタデータ） (2024-02-05T10:55:47Z)
• Res-Attn : An Enhanced Res-Tuning Approach with Lightweight Attention Mechanism [0.9210074587720175]
  Res-Tuningはモデルチューニングのためのフレキシブルで効率的なパラダイムを導入している。 低ランク注意を付加した高度で効率的なチューナーを提案する。
  論文  参考訳（メタデータ） (2023-12-28T09:23:40Z)
• Partial Fine-Tuning: A Successor to Full Fine-Tuning for Vision Transformers [50.23439411530435]
  部分微調整は、効率と精度を同時に向上できる革新的で有望な方向であることを示す。 部分的な微調整のための適切な層の選択を導くための,新しい微調整角度測定法を提案する。 広範囲のデータセットとモデルに関する包括的な実験は、部分的な微調整の大きな可能性を検証する。
  論文  参考訳（メタデータ） (2023-12-25T10:11:34Z)
• Ahead-of-Time P-Tuning [0.2538209532048867]
  Ahead-of-Time (AoT) P-Tuningは、事前学習言語モデル(LM)のためのパラメータ効率の良い微調整法である 我々は,RoBERTaモデルとDeBERTaモデルを用いて,GLUEおよびSuperGLUEベンチマークデータセットのAoT P-Tuningを評価する。 提案手法は, 1 つのバックボーン LM を用いてマルチタスクの推論を可能にする。
  論文  参考訳（メタデータ） (2023-05-18T09:24:53Z)
• Rethinking Efficient Tuning Methods from a Unified Perspective [34.67645496324432]
  我々はPETLの設計パラダイムを再検討し、パラメータ効率の伝達学習のための統一的なフレームワークU-Tuningを導出する。 U-Tuningフレームワークは、既存の手法を同時に包含し、パラメータ効率の移行学習のための新しいアプローチを導出することができる。
  論文  参考訳（メタデータ） (2023-03-01T17:38:03Z)
• Less is More: Selective Layer Finetuning with SubTuning [26.43027780266698]
  事前訓練されたモデルを微調整することは、ニューラルネットワークを新しいタスクで訓練するための標準的なアプローチとなり、高速な収束と性能の向上をもたらす。 本研究では、ネットワークのすべての重みを微調整する代わりに、慎重に選択された層のサブセットのみを訓練し、残りの重みを初期(事前の)値で凍結する、代替的な微調整法について検討する。 実験結果から,emphsubsetファインタニング(あるいはSubTuning)がモデルの完全ファインタニングに匹敵する精度を達成し,トレーニングデータが少ない場合のフルファインタニングの性能を超越することを示した。
  論文  参考訳（メタデータ） (2023-02-13T13:38:46Z)
• Prompt Tuning for Generative Multimodal Pretrained Models [75.44457974275154]
  我々は、理解タスクと生成タスクの両方に適応した統合シーケンス・ツー・シーケンス事前学習モデルに、即時チューニングを実装した。 実験結果から,軽量なプロンプトチューニングはファインタニングで同等の性能を発揮することが示された。 微調整モデルと比較して、プロンプト調整モデルでは敵攻撃に対する堅牢性が改善されている。
  論文  参考訳（メタデータ） (2022-08-04T08:56:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。