論文の概要: TAVAT: Token-Aware Virtual Adversarial Training for Language Understanding

• arxiv url: http://arxiv.org/abs/2004.14543v3
• Date: Fri, 4 Dec 2020 13:08:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 03:57:05.634386
• Title: TAVAT: Token-Aware Virtual Adversarial Training for Language Understanding
• Title（参考訳）: TAVAT: 言語理解のための仮想敵訓練
• Authors: Linyang Li, Xipeng Qiu
• Abstract要約: グラディエントベースの敵トレーニングは、ニューラルネットワークの堅牢性向上に広く利用されている。 埋め込み空間が離散であるため、自然言語処理タスクに容易に適応することはできない。 微粒な摂動を創り出すためのトークン認識仮想アドリアリトレーニング法を提案する。
• 参考スコア（独自算出の注目度）: 55.16953347580948
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gradient-based adversarial training is widely used in improving the robustness of neural networks, while it cannot be easily adapted to natural language processing tasks since the embedding space is discrete. In natural language processing fields, virtual adversarial training is introduced since texts are discrete and cannot be perturbed by gradients directly. Alternatively, virtual adversarial training, which generates perturbations on the embedding space, is introduced in NLP tasks. Despite its success, existing virtual adversarial training methods generate perturbations roughly constrained by Frobenius normalization balls. To craft fine-grained perturbations, we propose a Token-Aware Virtual Adversarial Training method. We introduce a token-level accumulated perturbation vocabulary to initialize the perturbations better and use a token-level normalization ball to constrain these perturbations pertinently. Experiments show that our method improves the performance of pre-trained models such as BERT and ALBERT in various tasks by a considerable margin. The proposed method improves the score of the GLUE benchmark from 78.3 to 80.9 using BERT model and it also enhances the performance of sequence labeling and text classification tasks.
• Abstract（参考訳）: ニューラルネットワークの堅牢性向上には、グラディエントベースの逆行訓練が広く用いられているが、埋め込み空間が離散的であるため、自然言語処理タスクに容易に適応することはできない。 自然言語処理の分野では、テキストが離散的であり、勾配によって直接摂動できないため、仮想対位訓練が導入される。 あるいは、NLPタスクでは、埋め込み空間上の摂動を生成する仮想敵トレーニングが導入される。 その成功にもかかわらず、既存の仮想敵の訓練方法はフロベニウス正規化球によってほぼ制約された摂動を生成する。 微粒な摂動を創り出すために,トークン認識型仮想敵訓練法を提案する。 トークンレベルの蓄積摂動語彙を導入し、摂動をより早く初期化し、トークンレベルの正規化球を用いて摂動を連続的に制限する。 実験の結果, BERT や ALBERT などの事前学習モデルの性能は, かなりの差で向上することがわかった。 提案手法は,BERTモデルを用いてGLUEベンチマークのスコアを78.3から80.9に改善し,シーケンスラベリングやテキスト分類タスクの性能を向上させる。

関連論文リスト

• Visual Prompt Tuning in Null Space for Continual Learning [51.96411454304625]
  既存のプロンプトチューニング手法は、継続学習(CL)における印象的な性能を示す。 本稿では,従来のタスクの特徴に代表される部分空間に直交する方向のプロンプトを調整し,各タスクを学習することを目的とする。 実際には、即時勾配予測を実装するために、実効的なヌル空間に基づく近似解が提案されている。
  論文  参考訳（メタデータ） (2024-06-09T05:57:40Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• Latent Policies for Adversarial Imitation Learning [21.105328282702885]
  本稿では,専門家によるデモンストレーションからロボットの移動と操作の学習について考察する。 GAIL(Generative Adversarial mimicion Learning)は、エージェント遷移と専門家を区別する判別器を訓練し、次に、識別器出力によって定義された報酬を使用してエージェントのポリシー生成を最適化する。 この研究の重要な洞察は、適切な潜在タスク空間で模倣学習を行うことで、高次元問題に挑戦してもトレーニングプロセスを安定させるということである。
  論文  参考訳（メタデータ） (2022-06-22T18:06:26Z)
• Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
  本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。 具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。 提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-12T04:42:49Z)
• Context-based Virtual Adversarial Training for Text Classification with Noisy Labels [1.9508698179748525]
  本研究では,テキスト分類器が雑音ラベルに過度に収まらないよう,コンテキストベースの仮想対位訓練(ConVAT)を提案する。 従来の手法とは異なり,提案手法は入力よりも文脈レベルで逆学習を行う。 2種類のラベルノイズを持つ4つのテキスト分類データセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2022-05-29T14:19:49Z)
• On Sensitivity of Deep Learning Based Text Classification Algorithms to Practical Input Perturbations [0.0]
  深層学習に基づくテキスト分類モデルの性能に及ぼす系統的な実践的摂動の影響を評価する。 摂動は、句読や停止語のような望ましくないトークンの追加と削除によって引き起こされる。 BERTを含むこれらの深層学習アプローチは、4つの標準ベンチマークデータセットにおいて、そのような正当な入力摂動に敏感であることを示す。
  論文  参考訳（メタデータ） (2022-01-02T08:33:49Z)
• Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
  画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。 これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。 そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
  論文  参考訳（メタデータ） (2021-09-24T07:20:13Z)
• Adversarial Training with Contrastive Learning in NLP [0.0]
  本稿では,言語処理タスクを逆学習するために,比較学習(ATCL)を用いた逆学習を提案する。 中心となる考え方は、高速勾配法(FGM)によって入力の埋め込み空間に線形摂動を生じさせ、元の表現と摂動表現を対照的な学習によって密に保つようモデルを訓練することである。 この結果から, 定量的(複雑度, BLEU) のスコアは, ベースラインに比べて向上しただけでなく, 両タスクのセマンティックレベルにおいても, 質的な結果が得られた。
  論文  参考訳（メタデータ） (2021-09-19T07:23:45Z)
• IQ-Learn: Inverse soft-Q Learning for Imitation [95.06031307730245]
  少数の専門家データからの模倣学習は、複雑な力学を持つ高次元環境では困難である。 行動クローニングは、実装の単純さと安定した収束性のために広く使われている単純な方法である。 本稿では,1つのQ-関数を学習することで,対向学習を回避する動的適応型ILを提案する。
  論文  参考訳（メタデータ） (2021-06-23T03:43:10Z)
• Consistency Training with Virtual Adversarial Discrete Perturbation [17.311821099484987]
  本稿では,オリジナル入力と摂動入力とが類似するトレーニングモデルの予測を強制する効果的な一貫性トレーニングフレームワークを提案する。 少数のトークンを置き換えることで得られる仮想対向離散ノイズは、トレーニングモデルの決定境界を効率的にプッシュする。
  論文  参考訳（メタデータ） (2021-04-15T07:49:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。