論文の概要: An Empirical Study on the Transferability of Transformer Modules in
Parameter-Efficient Fine-Tuning
- arxiv url: http://arxiv.org/abs/2302.00378v1
- Date: Wed, 1 Feb 2023 11:20:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-02 13:06:43.367306
- Title: An Empirical Study on the Transferability of Transformer Modules in
Parameter-Efficient Fine-Tuning
- Title（参考訳）: パラメータ効率の良い微調整における変圧器モジュールの伝達性に関する実証的研究
- Authors: Mohammad AkbarTajari, Sara Rajaee, Mohammad Taher Pilehvar
- Abstract要約: 本稿では,事前学習したモデルから下流タスクへ知識を伝達するトランスフォーマーモジュールの能力について検討する。
レイヤーノームは訓練可能な重量に制限された知識伝達能力を示す。
- 参考スコア（独自算出の注目度）: 18.69409646532038
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Parameter-efficient fine-tuning approaches have recently garnered a lot of
attention. Having considerably lower number of trainable weights, these methods
can bring about scalability and computational effectiveness. In this paper, we
look for optimal sub-networks and investigate the capability of different
transformer modules in transferring knowledge from a pre-trained model to a
downstream task. Our empirical results suggest that every transformer module in
BERT can act as a winning ticket: fine-tuning each specific module while
keeping the rest of the network frozen can lead to comparable performance to
the full fine-tuning. Among different modules, LayerNorms exhibit the best
capacity for knowledge transfer with limited trainable weights, to the extent
that, with only 0.003% of all parameters in the layer-wise analysis, they show
acceptable performance on various target tasks. On the reasons behind their
effectiveness, we argue that their notable performance could be attributed to
their high-magnitude weights compared to that of the other modules in the
pre-trained BERT.
- Abstract（参考訳）: パラメータ効率のよい微調整アプローチが最近注目を集めている。
トレーニング可能な重量がかなり少ないため、これらの方法はスケーラビリティと計算効率をもたらす可能性がある。
本稿では,最適サブネットワークを探索し,事前学習したモデルから下流タスクへの知識の伝達におけるトランスフォーマーモジュールの能力について検討する。
BERTのトランスフォーマーモジュールは、各モジュールを細調整し、残りのネットワークを凍結したままにしておくことで、完全な微調整に匹敵するパフォーマンスが得られる。
異なるモジュールのうち、層ノルムは限られた訓練可能な重みで知識伝達に最適な能力を示し、層分析で全てのパラメータの0.0003%しか持たず、様々な対象タスクで許容できる性能を示す。
それらの効果の背景にある理由から,それらの顕著な性能は,事前訓練されたBERTの他のモジュールと比較して,その高次重みに起因する可能性があると論じる。
関連論文リスト
- Preserving Pre-trained Representation Space: On Effectiveness of Prefix-tuning for Large Multi-modal Models [24.62337386603331]
大規模マルチモーダルモデル(LMM)は、機械が世界と対話する方法に革命をもたらしている。
下流タスクにLMMを適用するために,パラメータ効率細調整(PEFT)が普及している。
本稿では,各チューニング戦略の長所と短所に着目し,これらのアプローチに典型的な効率性から焦点を移す。
論文 参考訳（メタデータ） (2024-10-29T07:55:50Z) - Dynamic Tuning Towards Parameter and Inference Efficiency for ViT Adaptation [67.13876021157887]
動的チューニング(DyT)は、ViT適応のためのパラメータと推論効率を改善するための新しいアプローチである。
DyTは既存のPEFT法に比べて性能が優れており、VTAB-1KベンチマークではFLOPの71%しか呼び出されていない。
論文 参考訳（メタデータ） (2024-03-18T14:05:52Z) - Vanilla Transformers are Transfer Capability Teachers [34.24324719229975]
本稿では,モデルの事前学習性能と伝達能力が,下流タスク性能の合同決定要因であることを示す。
バニラモデルと比較してMoEモデルは転送能力が劣るため、下流タスクではサブパーパフォーマンスが低下する。
バニラモデルでガイドされたMoEモデルは、強力な事前学習性能と転送能力の両方を達成でき、最終的に下流タスクのパフォーマンスを向上させることができる。
論文 参考訳（メタデータ） (2024-03-04T12:40:28Z) - Dynamic Layer Tying for Parameter-Efficient Transformers [65.268245109828]
トレーニング中にレイヤを選択し、それらを結びつけるために強化学習を採用しています。
これにより、重量共有が容易になり、トレーニング可能なパラメータの数を減らし、効果的な正規化技術としても機能する。
特に、トレーニング中のメモリ消費は、従来のトレーニング方法よりも1桁も少ない。
論文 参考訳（メタデータ） (2024-01-23T14:53:20Z) - Consolidator: Mergeable Adapter with Grouped Connections for Visual
Adaptation [53.835365470800916]
視覚変換器の知識を効率よく効果的に伝達する方法を示す。
調整可能なパラメータの小さなセットを追加して,事前学習モデルを変更するコンソリケータを提案する。
我々のコンソリエータは、0.35%のパラメータで完全な微調整よりも最大7.56の精度で到達できる。
論文 参考訳（メタデータ） (2023-04-30T23:59:02Z) - PVP: Pre-trained Visual Parameter-Efficient Tuning [29.05396521860764]
大規模事前学習型トランスフォーマーは、様々なコンピュータビジョンタスクにおいて顕著な成功を収めている。
計算とストレージのコストが高いため、これらのモデルを下流タスクのために完全に微調整することは依然として非常に困難である。
事前学習型ビジュアルを提案する。
効率的な(PVP)チューニングフレームワーク - 最初にパラメータ効率のチューニングモジュールを事前トレーニングし、次に事前トレーニングされたモジュールを活用する。
論文 参考訳（メタデータ） (2023-04-26T15:55:29Z) - Strong Baselines for Parameter Efficient Few-Shot Fine-tuning [50.83426196335385]
FSC (Few-shot Classification) は、事前訓練(メタトレーニング)フェーズの後にクラス毎にいくつかの例を与えられた新しいクラスを学習する。
近年の研究では、新しいテストクラスで事前訓練された視覚変換器(ViT)を微調整することが、FSCにとって強力なアプローチであることが示されている。
しかし、微調整のViTは、時間、計算、ストレージに費用がかかる。
これにより、Transformerのパラメータのごく一部だけを微調整するPEFT法が考案された。
論文 参考訳（メタデータ） (2023-04-04T16:14:39Z) - Rethinking Efficient Tuning Methods from a Unified Perspective [34.67645496324432]
我々はPETLの設計パラダイムを再検討し、パラメータ効率の伝達学習のための統一的なフレームワークU-Tuningを導出する。
U-Tuningフレームワークは、既存の手法を同時に包含し、パラメータ効率の移行学習のための新しいアプローチを導出することができる。
論文 参考訳（メタデータ） (2023-03-01T17:38:03Z) - Adapted Multimodal BERT with Layer-wise Fusion for Sentiment Analysis [84.12658971655253]
本稿では,マルチモーダルタスクのためのBERTベースのアーキテクチャであるAdapted Multimodal BERTを提案する。
アダプタはタスクの事前訓練された言語モデルを手動で調整し、融合層はタスク固有の層ワイドな音声視覚情報とテキストBERT表現を融合させる。
われわれは、このアプローチがより効率的なモデルにつながり、微調整されたモデルよりも優れ、ノイズの入力に堅牢であることを示した。
論文 参考訳（メタデータ） (2022-12-01T17:31:42Z) - UPDeT: Universal Multi-agent Reinforcement Learning via Policy
Decoupling with Transformers [108.92194081987967]
タスクに適合する1つのアーキテクチャを設計し、汎用的なマルチエージェント強化学習パイプラインを最初に試行する。
従来のRNNモデルとは異なり、トランスフォーマーモデルを用いてフレキシブルなポリシーを生成する。
提案方式はUPDeT(Universal Policy Decoupling Transformer)と名付けられ,動作制限を緩和し,マルチエージェントタスクの決定プロセスをより説明しやすいものにする。
論文 参考訳（メタデータ） (2021-01-20T07:24:24Z) - Investigating Transferability in Pretrained Language Models [8.83046338075119]
本稿では,各事前学習層が伝達タスク性能に与える影響を簡易なアブレーション手法で判定する。
この手法により、BERTでは、下流GLUEタスクにおける高いプローブ性能を持つレイヤは、それらのタスクに対して高い精度で必要でも十分でもないことが分かる。
論文 参考訳（メタデータ） (2020-04-30T17:23:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。