Fugu-MT 論文翻訳(概要): Parameter-Efficient Tuning with Special Token Adaptation

論文の概要: Parameter-Efficient Tuning with Special Token Adaptation

arxiv url: http://arxiv.org/abs/2210.04382v1
Date: Mon, 10 Oct 2022 01:02:51 GMT
ステータス: 処理完了
システム内更新日: 2022-10-11 14:13:59.379760
Title: Parameter-Efficient Tuning with Special Token Adaptation
Title（参考訳）: 特殊トークン適応によるパラメータ効率のチューニング
Authors: Xiaoocong Yang, James Y. Huang, Wenxuan Zhou, Muhao Chen
Abstract要約: PASTAは自然言語理解タスクの微調整に匹敵するパフォーマンスを実現している。我々の研究は、事前訓練された言語モデルにおける特別なトークンの重要な役割を実証している。
参考スコア（独自算出の注目度）: 25.37998979962568
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Parameter-efficient tuning aims at updating only a small subset of parameters when adapting a pretrained model to downstream tasks. In this work, we introduce PASTA, in which we only modify the special token representations (e.g., [SEP] and [CLS] in BERT) before the self-attention module at each layer in Transformer-based models. PASTA achieves comparable performance to fine-tuning in natural language understanding tasks including text classification and NER with up to only 0.029% of total parameters trained. Our work not only provides a simple yet effective way of parameter-efficient tuning, which has a wide range of practical applications when deploying finetuned models for multiple tasks, but also demonstrates the pivotal role of special tokens in pretrained language models.
Abstract（参考訳）: パラメータ効率のよいチューニングは、トレーニング済みモデルをダウンストリームタスクに適応する際に、パラメータの小さなサブセットのみを更新することを目的としている。本稿では,Transformer ベースモデルの各レイヤにおける自己保持モジュールの前に,特別なトークン表現(BERT の [SEP] や [CLS) など)を修正した PASTA を紹介する。 PASTAは、テキスト分類やNERを含む自然言語理解タスクの微調整に匹敵するパフォーマンスを達成し、トレーニングされた全パラメータの0.029%しか持たない。これは、複数のタスクに微調整されたモデルをデプロイする際に、幅広い実用的なアプリケーションを持つだけでなく、事前訓練された言語モデルにおける特別なトークンの役割を実証するものです。

関連論文リスト

Dynamic Subset Tuning: Expanding the Operational Range of Parameter-Efficient Training for Large Language Models [14.762222323897978]
大規模言語モデルのための新しいパラメータ効率訓練法を提案する。従来の方法とは異なり、このサブセットはロケーションで固定されるのではなく、トレーニングの過程でどのパラメータが修正されるかである。本手法により, モデル全体の任意の割合で, サブセットサイズをシームレスにスケーリングすることができる。
論文参考訳（メタデータ） (2024-11-13T13:53:10Z)
Towards Adaptive Prefix Tuning for Parameter-Efficient Language Model Fine-tuning [32.84435258519842]
ゲート機構により,粒度の細かいトークンレベルと粗い層レベルの両方でプレフィックスを調整できる適応型プリフィックスチューニング(APT)を提案する。 SuperGLUEとNERデータセットの実験は、APTの有効性を示している。
論文参考訳（メタデータ） (2023-05-24T14:51:01Z)
Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
私たちは新しいビジュアルを提案します。 Sensuous-Aware Fine-Tuning (SPT) スキーム。 SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
論文参考訳（メタデータ） (2023-03-15T12:34:24Z)
Evaluating Parameter-Efficient Transfer Learning Approaches on SURE Benchmark for Speech Understanding [40.27182770995891]
ファインチューニングは、事前訓練されたモデルからのトランスファー学習のデフォルトアルゴリズムとして広く使われている。本稿では,様々な音声処理タスクに対するパラメータ効率学習のための音声不確定評価(SURE)ベンチマークを提案する。
論文参考訳（メタデータ） (2023-03-02T08:57:33Z)
CHAPTER: Exploiting Convolutional Neural Network Adapters for Self-supervised Speech Models [62.60723685118747]
自己教師付き学習(SSL)は、ラベルのないデータから表現を学習するための強力な技術である。特徴抽出器にCNNアダプタを適用し,SSL音声モデルに特化して設計された効率的なチューニング手法を提案する。特徴抽出器にCNNを追加することで、感情や話者のタスクへの適応が促進されることを実証的に見出した。
論文参考訳（メタデータ） (2022-12-01T08:50:12Z)
Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning [81.3514358542452]
ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
論文参考訳（メタデータ） (2022-05-11T17:10:41Z)
Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
論文参考訳（メタデータ） (2022-03-30T23:16:07Z)
Unfreeze with Care: Space-Efficient Fine-Tuning of Semantic Parsing Models [5.893781742558463]
本研究は2つの有望な手法であるプレフィックスチューニングとバイアス長期チューニングについて,特に意味解析について検討する。 2つの異なるセマンティック解析データセットで比較し、また、ショット数と従来のデータ設定の両方で、フルおよび部分的な微調整と比較します。プレフィックスチューニングはセマンティック解析タスクを棚から取り出すのに役立ちませんが、特別なトークン埋め込みを追加して修正します。
論文参考訳（メタデータ） (2022-03-05T04:30:03Z)
UniPELT: A Unified Framework for Parameter-Efficient Language Model Tuning [64.638804236566]
本稿では,異なるPELTメソッドをサブモジュールとして組み込んだ統一フレームワークUniPELTを提案する。注目すべきは、GLUEベンチマークにおいて、UniPELTは、異なる設定で微調整を組み込んだり、性能を上回る、最高のPELTメソッドと比較して、一貫して13パーセントのゲインを達成していることだ。
論文参考訳（メタデータ） (2021-10-14T17:40:08Z)
Prefix-Tuning: Optimizing Continuous Prompts for Generation [85.6357778621526]
微調整は、大規模な事前訓練された言語モデルを使用して下流のタスクを実行する事実上の方法です。自然言語生成タスクの微調整に代わる軽量なプレフィックスチューニングを提案する。パラメータの0.1%しか学習しないことで、プレフィックスチューニングは完全なデータ設定で同等のパフォーマンスを得る。
論文参考訳（メタデータ） (2021-01-01T08:00:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。