Fugu-MT 論文翻訳(概要): Targeted Adversarial Training for Natural Language Understanding

論文の概要: Targeted Adversarial Training for Natural Language Understanding

arxiv url: http://arxiv.org/abs/2104.05847v1
Date: Mon, 12 Apr 2021 22:31:41 GMT
ステータス: 処理完了
システム内更新日: 2021-04-15 02:13:26.308724
Title: Targeted Adversarial Training for Natural Language Understanding
Title（参考訳）: 自然言語理解のための学習目標
Authors: Lis Pereira, Xiaodong Liu, Hao Cheng, Hoifung Poon, Jianfeng Gao, Ichiro Kobayashi
Abstract要約: 自然言語理解のための対戦訓練を改善するために,TAT(Targeted Adversarial Training)アルゴリズムを提案する。重要なアイデアは、現在のミスをイントロスペクションし、モデルが最も重要になる場所に敵対的なトレーニングステップを優先することです。実験の結果,TAT は GLUE の標準対人訓練よりも精度を向上し,XNLI の最先端ゼロショット結果が得られた。
参考スコア（独自算出の注目度）: 59.65002318135991
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We present a simple yet effective Targeted Adversarial Training (TAT) algorithm to improve adversarial training for natural language understanding. The key idea is to introspect current mistakes and prioritize adversarial training steps to where the model errs the most. Experiments show that TAT can significantly improve accuracy over standard adversarial training on GLUE and attain new state-of-the-art zero-shot results on XNLI. Our code will be released at: https://github.com/namisan/mt-dnn.
Abstract（参考訳）: 自然言語理解のための対戦訓練を改善するために,TAT(Targeted Adversarial Training)アルゴリズムを提案する。鍵となる考え方は、現在のミスをイントロスペクションし、敵のトレーニングステップをモデルが最も好む場所に優先順位付けることです。実験の結果,TAT は GLUE の標準対人訓練よりも精度を向上し,XNLI の最先端ゼロショット結果が得られた。私たちのコードはhttps://github.com/namisan/mt-dnn.com/でリリースされます。

関連論文リスト

Acoustic Word Embeddings for Untranscribed Target Languages with Continued Pretraining and Learned Pooling [28.758396218435635]
音響単語の埋め込みは、単語のような一対の単位を用いてプール関数を訓練することによって生成される。自己教師型英語モデルからの平均プール表現は、有望な代替案として提案されたが、ターゲット言語でのそれらのパフォーマンスは、完全には競合しなかった。両手法が単語識別における近年のアプローチより優れていることを示す。
論文参考訳（メタデータ） (2023-06-03T16:44:21Z)
Improving Code Generation by Training with Natural Language Feedback [69.52985513422381]
自然言語フィードバックから学習するアルゴリズムを訓練時に形式化し、それをILF(Language Feedback)と呼ぶ。 ILFはトレーニング中に少量の人間によるフィードバックしか必要とせず、テスト時に同じフィードバックを必要としないため、ユーザフレンドリでサンプル効率がよい。 Instly Basic Python Problems (MBPP)ベンチマークでは、ICFを使用してCodegen-Mono 6.1Bモデルのpass@1レートを38%改善しています。
論文参考訳（メタデータ） (2023-03-28T16:15:31Z)
Adversarial Coreset Selection for Efficient Robust Training [11.510009152620666]
トレーニングデータの小さなサブセットを選択することは、堅牢なトレーニングの時間的複雑さを軽減するための原則的なアプローチを提供する方法を示す。本手法が敵の訓練を2～3回高速化することを示すため,広範囲な実験を行った。
論文参考訳（メタデータ） (2022-09-13T07:37:53Z)
Soft Adversarial Training Can Retain Natural Accuracy [0.0]
本研究では,制約条件下での頑健さを犠牲にすることなく,自然な精度を維持することができるトレーニングフレームワークを提案する。我々のフレームワークは特に、ロバスト性と精度の適切なバランスを必要とする適度にクリティカルなアプリケーションをターゲットにしています。
論文参考訳（メタデータ） (2022-06-04T04:13:25Z)
Adversarial Training with Contrastive Learning in NLP [0.0]
本稿では,言語処理タスクを逆学習するために,比較学習(ATCL)を用いた逆学習を提案する。中心となる考え方は、高速勾配法(FGM)によって入力の埋め込み空間に線形摂動を生じさせ、元の表現と摂動表現を対照的な学習によって密に保つようモデルを訓練することである。この結果から, 定量的(複雑度, BLEU) のスコアは, ベースラインに比べて向上しただけでなく, 両タスクのセマンティックレベルにおいても, 質的な結果が得られた。
論文参考訳（メタデータ） (2021-09-19T07:23:45Z)
MC-BERT: Efficient Language Pre-Training via a Meta Controller [96.68140474547602]
大規模事前学習は計算コストが高い。事前トレーニングを加速する初期の試みであるELECTRAは、各入力トークンがジェネレータに置き換えられたかどうかを予測する識別モデルを訓練している。本稿では,MC-BERTというメタラーニングフレームワークを提案する。
論文参考訳（メタデータ） (2020-06-10T09:22:19Z)
Adversarial Training for Large Neural Language Models [107.84290922621163]
対戦型事前学習は、一般化と堅牢性の両方を改善することができることを示す。 ALUMは、対向損失を最大化する埋め込み空間に摂動を適用することで、トレーニング目標を正規化する。 ALUMはさらにタスク固有の微調整と組み合わせて追加のゲインを得ることもできる。
論文参考訳（メタデータ） (2020-04-20T00:07:18Z)
Pre-training Text Representations as Meta Learning [113.3361289756749]
本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
論文参考訳（メタデータ） (2020-04-12T09:05:47Z)
Over-parameterized Adversarial Training: An Analysis Overcoming the Curse of Dimensionality [74.0084803220897]
逆行訓練は、逆行性摂動に対する神経網の堅牢性を与える一般的な方法である。自然仮定とReLUアクティベーションの下で, 指数的ではなく, 低ロバストトレーニング損失に対する収束性を示す。
論文参考訳（メタデータ） (2020-02-16T20:13:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。