論文の概要: Towards Robust Low-Resource Fine-Tuning with Multi-View Compressed
Representations
- arxiv url: http://arxiv.org/abs/2211.08794v1
- Date: Wed, 16 Nov 2022 09:39:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-17 13:44:22.699871
- Title: Towards Robust Low-Resource Fine-Tuning with Multi-View Compressed
Representations
- Title(参考訳): マルチビュー圧縮表現を用いたロバスト低リソースファインチューニングに向けて
- Authors: Linlin Liu, Xingxuan Li, Megh Thakkar, Xin Li, Lidong Bing, Shafiq
Joty, Luo Si
- Abstract要約: 事前訓練された言語モデル(PLM)の微調整は、低リソースのシナリオで過度に適合する傾向がある。
オーバーフィッティングを減らすために,PLMの隠れ表現を利用する新しい手法を提案する。
- 参考スコア(独自算出の注目度): 51.759605118425526
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Due to the huge amount of parameters, fine-tuning of pretrained language
models (PLMs) is prone to overfitting in the low resource scenarios. In this
work, we present a novel method that operates on the hidden representations of
a PLM to reduce overfitting. During fine-tuning, our method inserts random
autoencoders between the hidden layers of a PLM, which transform activations
from the previous layers into a multi-view compressed representation before
feeding it into the upper layers. The autoencoders are plugged out after
fine-tuning, so our method does not add extra parameters or increase
computation cost during inference. Our method demonstrates promising
performance improvement across a wide range of sequence- and token-level
low-resource NLP tasks.
- Abstract(参考訳): 大量のパラメータのため、事前訓練された言語モデル(PLM)の微調整は、低リソースのシナリオで過度に適合する傾向がある。
そこで本研究では,PLMの隠れ表現に基づいてオーバーフィッティングを低減する手法を提案する。
微調整の際には, PLMの隠蔽層間にランダムなオートエンコーダを挿入し, 前の層からのアクティベーションをマルチビュー圧縮表現に変換して上層に供給する。
オートエンコーダは微調整後に接続されるので,提案手法ではパラメータの追加や推論時の計算コストの増大は行わない。
本手法は,多種多様なシーケンスおよびトークンレベルの低リソースnlpタスクにおいて有望な性能改善を示す。
関連論文リスト
- Attention Prompt Tuning: Parameter-efficient Adaptation of Pre-trained
Models for Spatiotemporal Modeling [32.603558214472265]
本稿では,アクション認識などのビデオベースアプリケーションに対して,Attention Prompt Tuning(APT)を導入する。
APTは、バックボーンを凍結させながら微調整中にデータトークンとともに学習可能なプロンプトのセットを注入する。
提案手法は,FLOPとレイテンシを著しく低減するとともに,大幅な性能向上を実現している。
論文 参考訳(メタデータ) (2024-03-11T17:59:41Z) - Infusing Hierarchical Guidance into Prompt Tuning: A Parameter-Efficient
Framework for Multi-level Implicit Discourse Relation Recognition [16.647413058592125]
マルチレベル暗黙的談話関係認識(MIDRR)は,議論間の階層的談話関係の同定を目的とする。
本稿では,プロンプトベースを提案する。
上記の問題を解決するための多レベルIDRR(PEMI)フレームワーク。
論文 参考訳(メタデータ) (2024-02-23T03:53:39Z) - Continual Diffusion with STAMINA: STack-And-Mask INcremental Adapters [72.18914218115388]
近年の研究では、テキストから画像への拡散モデルを複数の微細な概念に逐次的にカスタマイズできることが示されている。
我々は、新しいタスクを学習する能力が、長いシーケンスで飽和に達することを示す。
本稿では,低ランクの注意マーク付きアダプタとカスタマイズトークンからなるSTAMINA(STack-And-Mask Incremental Adapters)を提案する。
論文 参考訳(メタデータ) (2023-11-30T18:04:21Z) - Frustratingly Simple Memory Efficiency for Pre-trained Language Models
via Dynamic Embedding Pruning [42.652021176354644]
プレトレーニング言語モデル(PLM)のメモリフットプリントは、メモリ制限された設定でのデプロイメントを妨げる可能性がある。
本稿では, 組込み行列のメモリフットプリントを最小化するために, この発見を活用する, 単純かつ効果的な手法を提案する。
このアプローチは、幅広いモデルやタスクにわたるメモリ使用量を大幅に削減することを示している。
論文 参考訳(メタデータ) (2023-09-15T19:00:00Z) - Regularized Mask Tuning: Uncovering Hidden Knowledge in Pre-trained
Vision-Language Models [89.07925369856139]
我々は,学習可能な選択によってネットワークパラメータをマスクする,正規化マスクチューニングと呼ばれる新しいタイプのチューニング手法を設計する。
神経経路にインスパイアされた我々は、下流タスクに必要な知識は、既にトレーニング済みの重みの中に存在するが、上流のトレーニング済みの段階では隠されていると論じる。
平均2.56%のパラメータをマスキングすることで、ゼロショットのCLIPと比較して18.73%のパフォーマンス改善を実現しています。
論文 参考訳(メタデータ) (2023-07-27T17:56:05Z) - NTK-approximating MLP Fusion for Efficient Language Model Fine-tuning [40.994306592119266]
訓練済みの言語モデル(PLM)を微調整することは、多くの自然言語処理アプリケーションにおいて主要な戦略として現れる。
いくつかの一般的なアプローチ(量子化や蒸留など)は、PLM微細チューニングの計算/メモリを減らすために広く研究されている。
我々は、NTK近似モジュールを融合して軽量PLMを作成することを提案する。
論文 参考訳(メタデータ) (2023-07-18T03:12:51Z) - Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。
本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
論文 参考訳(メタデータ) (2023-06-27T05:43:47Z) - Jump to Conclusions: Short-Cutting Transformers With Linear
Transformations [76.04020332394467]
トランスフォーマーベースの言語モデル(LM)は、各層で入力の隠れ表現を生成するが、予測には最終層表現のみを使用する。
線形変換を用いた簡単な鋳造法を提案する。
提案手法は,隠れ表現を検査する一般的な手法よりも正確な近似を導出することを示す。
論文 参考訳(メタデータ) (2023-03-16T16:10:16Z) - NoisyTune: A Little Noise Can Help You Finetune Pretrained Language
Models Better [98.5705258907774]
訓練済み言語モデル(PLM)の微調整は、下流タスクの成功に不可欠である。
PLMは、事前訓練の信号に過度に適合する危険性があり、下流のタスクと事前訓練のタスクの間にはギャップがある。
NoisyTuneは、微調整前にPLMのパラメータにいくつかのノイズを加えることで、下流タスクにおけるPLMの微調整を支援する。
論文 参考訳(メタデータ) (2022-02-24T11:08:02Z) - I-Tuning: Tuning Language Models with Image for Caption Generation [9.511101155155957]
本研究では,凍結したPLMをキャプション生成のための画像で調整する新たな視点を提案する。
我々は,この手法をI-Tuningと表現し,画像から視覚情報を自動フィルタリングし,PLMの出力隠れ状態を調整する。
論文 参考訳(メタデータ) (2022-02-14T09:36:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。