論文の概要: Toward Adversarial Training on Contextualized Language Representation
- arxiv url: http://arxiv.org/abs/2305.04557v1
- Date: Mon, 8 May 2023 08:56:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-09 14:57:18.635077
- Title: Toward Adversarial Training on Contextualized Language Representation
- Title(参考訳): 文脈化言語表現の敵意学習に向けて
- Authors: Hongqiu Wu, Yongxiang Liu, Hanwen Shi, Hai Zhao, Min Zhang
- Abstract要約: 本稿では, PLMエンコーダが出力する文脈化言語表現の観点から, 対人訓練(AT)について検討する。
そこで我々は, テキストコンテキスト適応型表現-逆訓練(CreAT)を提案し, 攻撃を明示的に最適化し, エンコーダの文脈化表現を逸脱させる。
CreATは幅広いタスクで一貫したパフォーマンス向上を実現しており、エンコーダ部分のみを下流タスクに保持する言語事前トレーニングに有効であることが証明されている。
- 参考スコア(独自算出の注目度): 78.39805974043321
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Beyond the success story of adversarial training (AT) in the recent text
domain on top of pre-trained language models (PLMs), our empirical study
showcases the inconsistent gains from AT on some tasks, e.g. commonsense
reasoning, named entity recognition. This paper investigates AT from the
perspective of the contextualized language representation outputted by PLM
encoders. We find the current AT attacks lean to generate sub-optimal
adversarial examples that can fool the decoder part but have a minor effect on
the encoder. However, we find it necessary to effectively deviate the latter
one to allow AT to gain. Based on the observation, we propose simple yet
effective \textit{Contextualized representation-Adversarial Training} (CreAT),
in which the attack is explicitly optimized to deviate the contextualized
representation of the encoder. It allows a global optimization of adversarial
examples that can fool the entire model. We also find CreAT gives rise to a
better direction to optimize the adversarial examples, to let them less
sensitive to hyperparameters. Compared to AT, CreAT produces consistent
performance gains on a wider range of tasks and is proven to be more effective
for language pre-training where only the encoder part is kept for downstream
tasks. We achieve the new state-of-the-art performances on a series of
challenging benchmarks, e.g. AdvGLUE (59.1 $ \rightarrow $ 61.1), HellaSWAG
(93.0 $ \rightarrow $ 94.9), ANLI (68.1 $ \rightarrow $ 69.3).
- Abstract(参考訳): 先行学習言語モデル(PLM)上での最近のテキスト領域における敵対的トレーニング(AT)の成功談に加えて、実証的研究は、ATが持つ不整合的な利益、例えばコモンセンス推論、エンティティ認識などのタスクについて示す。
本稿では,plmエンコーダによって出力される文脈化言語表現の観点から検討する。
リーン攻撃の電流を見つけ、デコーダ部分を騙すがエンコーダに小さな影響を与えるような、最適でない逆向きの例を生成する。
しかし、ATが利益を得るためには、後者を効果的に外す必要がある。
この観察に基づいて,エンコーダの文脈化表現を逸脱するために攻撃を明示的に最適化した,単純かつ効果的な \textit{contextualized representation-adversarial training} (creat)を提案する。
これは、モデル全体を騙すことができる敵例のグローバルな最適化を可能にする。
また、Creatは敵のサンプルを最適化し、ハイパーパラメータに敏感さを和らげるために、より良い方向性をもたらす。
ATと比較すると、Creatは幅広いタスクで一貫したパフォーマンス向上を実現しており、エンコーダ部のみを下流タスクに保持する言語事前学習に有効であることが証明されている。
例えば、AdvGLUE (59.1 $ \rightarrow $ 61.1), HellaSWAG (93.0 $ \rightarrow $ 94.9), ANLI (68.1 $ \rightarrow $ 69.3) などです。
関連論文リスト
- TVTSv2: Learning Out-of-the-box Spatiotemporal Visual Representations at
Scale [59.01246141215051]
言語指導の観点から,その劣化要因を分析した。
本稿では,テキストエンコーダの一般化能力を維持するために,教師なし事前学習戦略を提案する。
最大10億のパラメータを持つTVTSv2と呼ばれる一連のモデルを作成します。
論文 参考訳(メタデータ) (2023-05-23T15:44:56Z) - Alleviating Over-smoothing for Unsupervised Sentence Representation [96.19497378628594]
本稿では,この問題を緩和するために,SSCL(Self-Contrastive Learning)というシンプルな手法を提案する。
提案手法は非常に単純で,様々な最先端モデルに拡張して,性能向上を図ることができる。
論文 参考訳(メタデータ) (2023-05-09T11:00:02Z) - Bag of Tricks for Effective Language Model Pretraining and Downstream
Adaptation: A Case Study on GLUE [93.98660272309974]
このレポートでは、ジェネラル言語理解評価のリーダーボードに関するVega v1を簡潔に紹介します。
GLUEは、質問応答、言語受容性、感情分析、テキスト類似性、パラフレーズ検出、自然言語推論を含む9つの自然言語理解タスクのコレクションである。
最適化された事前学習と微調整の戦略により、13億のモデルは4/9タスクに新しい最先端のタスクを設定し、91.3の平均スコアを達成しました。
論文 参考訳(メタデータ) (2023-02-18T09:26:35Z) - Language-Driven Anchors for Zero-Shot Adversarial Robustness [25.160195547250655]
本稿では,言語駆動型アンカー型対外訓練戦略を提案する。
テキストエンコーダのセマンティック一貫性を活用することで、LAATは画像モデルの対角的堅牢性を高めることを目指している。
LAATは、最先端手法よりもゼロショット対逆ロバスト性を著しく向上することを示す。
論文 参考訳(メタデータ) (2023-01-30T17:34:43Z) - Enhance the Visual Representation via Discrete Adversarial Training [24.3040211834614]
敵の訓練(AT)は、敵の例に対抗して最も効果的なアプローチの1つとして一般的に受け入れられている。
本稿では、画像データを個別のテキストのような入力、すなわち視覚的な単語に書き換えるための離散的逆行訓練(DAT)を提案する。
DATは視覚表現を強化するためのプラグイン・アンド・プレイ技術として、複数のタスクにおいて大幅な改善を実現している。
論文 参考訳(メタデータ) (2022-09-16T06:25:06Z) - Bridge the Gap Between CV and NLP! A Gradient-based Textual Adversarial
Attack Framework [17.17479625646699]
そこで本研究では,テキストの敵対的サンプルを作成するための統一的なフレームワークを提案する。
本稿では,T-PGD(Textual Projected Gradient Descent)という攻撃アルゴリズムを用いて,我々のフレームワークをインスタンス化する。
論文 参考訳(メタデータ) (2021-10-28T17:31:51Z) - Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た
ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。
マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
論文 参考訳(メタデータ) (2021-06-10T10:18:23Z) - Defending Pre-trained Language Models from Adversarial Word
Substitutions Without Performance Sacrifice [42.490810188180546]
敵対的単語置換は 最も困難な テキストの敵対的攻撃方法の1つです
本稿では、ADFAR(Anomaly Detection with Frequency-Aware Randomization)という、コンパクトかつ高性能に保存されたフレームワークを提案する。
本研究では, ADFAR が提案した防衛手法を, より高速な推論速度で大幅に上回っていることを示す。
論文 参考訳(メタデータ) (2021-05-30T14:24:53Z) - Towards Variable-Length Textual Adversarial Attacks [68.27995111870712]
データの離散性のため、自然言語処理タスクに対してテキストによる敵意攻撃を行うことは非自明である。
本稿では,可変長テキスト対比攻撃(VL-Attack)を提案する。
本手法は、iwslt14ドイツ語英訳で3,18$ bleuスコアを達成でき、ベースラインモデルより1.47$改善できる。
論文 参考訳(メタデータ) (2021-04-16T14:37:27Z) - Are L2 adversarial examples intrinsically different? [14.77179227968466]
理論的解析により、本質的に逆例と正規入力を区別できる性質を解明する。
我々は,MNISTで最大99%,CIFARで89%,ImageNetサブセットで最大87%の分類精度を,$L$攻撃に対して達成した。
論文 参考訳(メタデータ) (2020-02-28T03:42:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。