論文の概要: On Robust Prefix-Tuning for Text Classification

• arxiv url: http://arxiv.org/abs/2203.10378v1
• Date: Sat, 19 Mar 2022 18:52:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-22 13:43:28.235818
• Title: On Robust Prefix-Tuning for Text Classification
• Title（参考訳）: テキスト分類のためのロバストプレフィックスチューニングについて
• Authors: Zonghan Yang, Yang Liu
• Abstract要約: 本稿では,プレフィックスチューニングの効率性とモジュール性を維持する頑健なプレフィックスチューニングフレームワークを提案する。 我々のフレームワークは、異なるタイプの5つのテキスト攻撃に対して、いくつかの強いベースラインに対するロバスト性を大幅に改善する。
• 参考スコア（独自算出の注目度）: 16.08753509741376
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, prefix-tuning has gained increasing attention as a parameter-efficient finetuning method for large-scale pretrained language models. The method keeps the pretrained models fixed and only updates the prefix token parameters for each downstream task. Despite being lightweight and modular, prefix-tuning still lacks robustness to textual adversarial attacks. However, most currently developed defense techniques necessitate auxiliary model update and storage, which inevitably hamper the modularity and low storage of prefix-tuning. In this work, we propose a robust prefix-tuning framework that preserves the efficiency and modularity of prefix-tuning. The core idea of our framework is leveraging the layerwise activations of the language model by correctly-classified training data as the standard for additional prefix finetuning. During the test phase, an extra batch-level prefix is tuned for each batch and added to the original prefix for robustness enhancement. Extensive experiments on three text classification benchmarks show that our framework substantially improves robustness over several strong baselines against five textual attacks of different types while maintaining comparable accuracy on clean texts. We also interpret our robust prefix-tuning framework from the optimal control perspective and pose several directions for future research.
• Abstract（参考訳）: 近年,大規模事前学習言語モデルのパラメータ効率向上手法としてプレフィックスチューニングが注目されている。 このメソッドは事前トレーニングされたモデルを固定し、ダウンストリームタスク毎にプレフィックストークンパラメータのみを更新する。 軽量でモジュール化されているにもかかわらず、プレフィックスチューニングはテキストの敵攻撃に対する堅牢性に欠ける。 しかし、現在開発されているほとんどの防衛技術は補助的なモデル更新と保存を必要としており、これは必然的にプレフィックスチューニングのモジュラリティと低ストレージを妨げている。 本稿では,プレフィックスチューニングの効率性とモジュール性を保持する堅牢なプレフィックスチューニングフレームワークを提案する。 フレームワークの中核となる考え方は、言語モデルの階層的アクティベーションを、追加の接頭辞微調整の標準として正しく分類されたトレーニングデータによって活用することである。 テストフェーズでは、バッチ毎に追加のバッチレベルプレフィックスをチューニングし、元のプレフィックスに追加して堅牢性を高める。 3つのテキスト分類ベンチマークにおいて、我々のフレームワークは、クリーンテキストに匹敵する精度を維持しつつ、異なるタイプに対する5つのテキスト攻撃に対して、いくつかの強いベースラインよりもロバスト性を大幅に向上することを示す。 また、最適制御の観点から頑健なプレフィックスチューニングフレームワークを解釈し、今後の研究の方向性を示す。

関連論文リスト

• Towards Infinite-Long Prefix in Transformer [18.24137806007111]
  本研究では,全パラメータの微調整性能に適合するプロンプト法と文脈に基づく微調整法について検討する。 無限長のプレフィックスではなく、トレーニング可能なパラメータをいくつか導入し、微調整するだけでよいアルゴリズムを実装している。 提案手法は, フルパラメータ細調整, P-Tuning V2, LoRA などの既存手法と比較して, 優れた性能, 競争性を実現している。
  論文  参考訳（メタデータ） (2024-06-20T06:56:35Z)
• PIP: Parse-Instructed Prefix for Syntactically Controlled Paraphrase Generation [61.05254852400895]
  Parse-Instructed Prefix (PIP) は、大規模な事前学習言語モデルをチューニングするためのプレフィックスチューニングの新しい適応である。 このタスクの従来の微調整手法とは対照的に、PIPは学習可能なパラメータの10倍少ない計算効率の代替手段である。
  論文  参考訳（メタデータ） (2023-05-26T07:42:38Z)
• Towards Adaptive Prefix Tuning for Parameter-Efficient Language Model Fine-tuning [32.84435258519842]
  ゲート機構により,粒度の細かいトークンレベルと粗い層レベルの両方でプレフィックスを調整できる適応型プリフィックスチューニング(APT)を提案する。 SuperGLUEとNERデータセットの実験は、APTの有効性を示している。
  論文  参考訳（メタデータ） (2023-05-24T14:51:01Z)
• CCPrefix: Counterfactual Contrastive Prefix-Tuning for Many-Class Classification [57.62886091828512]
  多クラス分類のための新しいプレフィックスチューニング手法であるCCPrefixを提案する。 基本的に、ラベル空間における実数対から派生したインスタンス依存の軟式接頭辞は、多クラス分類における言語動詞化を補完するために利用される。
  論文  参考訳（メタデータ） (2022-11-11T03:45:59Z)
• Inducer-tuning: Connecting Prefix-tuning and Adapter-tuning [53.72897232951918]
  インデューサチューニングはプレフィックスチューニングとファインチューニングのパフォーマンスギャップを埋めることができることを示す。 そこで本研究では,アクセプションチューニングにおける残形を活用しつつ,プレフィックスチューニングとして正確なメカニズムを共有する,新しいプレフィックスチューニング-textitinducer-tuningを提案する。
  論文  参考訳（メタデータ） (2022-10-26T04:39:42Z)
• Adversarial Self-Attention for Language Understanding [89.265747130584]
  本稿では,textitAdversarial Self-Attention Mechanism (ASA)を提案する。 ASAはトランスフォーマーの注意を逆向きに再構築し、汚染されたモデル構造からのモデルトレーニングを促進する。 微調整の場合、ASAを動力とするモデルは、一般化とロバスト性の両方を考慮すると、単純モデルよりも常に大きなマージンで勝る。
  論文  参考訳（メタデータ） (2022-06-25T09:18:10Z)
• Discourse-Aware Prompt Design for Text Generation [13.835916386769474]
  そこで本研究では, 簡易かつ効率的な手法により, プロンプトベースの条件付きテキスト生成を改善することができることを示す。 まず、人文テキストの高レベルな談話構造を、プレフィックスパラメータのテクスチャ階層的ブロッキングでモデル化できることを示す。 第2に,ネットワークの各レイヤにおけるプレフィックスパラメータのテキスト分割間隔を導入し,ソフトマックス関数のスパース変換を学習することで,スパースプレフィックスチューニングを提案する。
  論文  参考訳（メタデータ） (2021-12-10T18:15:44Z)
• Prefix-Tuning: Optimizing Continuous Prompts for Generation [85.6357778621526]
  微調整は、大規模な事前訓練された言語モデルを使用して下流のタスクを実行する事実上の方法です。 自然言語生成タスクの微調整に代わる軽量なプレフィックスチューニングを提案する。 パラメータの0.1%しか学習しないことで、プレフィックスチューニングは完全なデータ設定で同等のパフォーマンスを得る。
  論文  参考訳（メタデータ） (2021-01-01T08:00:36Z)
• Selecting Informative Contexts Improves Language Model Finetuning [66.26521454263343]
  本稿では,情報ゲインフィルタと呼ぶ汎用的な微調整手法を提案する。 微調整中、二次学習者は情報的例を選択し、非情報的例をスキップする。 提案手法は,データセット,微調整タスク,言語モデルアーキテクチャ間で一貫した改善がなされていることを示す。
  論文  参考訳（メタデータ） (2020-05-01T02:01:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。