論文の概要: Adversarial Training for Machine Reading Comprehension with Virtual Embeddings

• arxiv url: http://arxiv.org/abs/2106.04437v1
• Date: Tue, 8 Jun 2021 15:16:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-09 16:02:07.455878
• Title: Adversarial Training for Machine Reading Comprehension with Virtual Embeddings
• Title（参考訳）: 仮想埋め込みによる機械読解のための逆学習
• Authors: Ziqing Yang, Yiming Cui, Chenglei Si, Wanxiang Che, Ting Liu, Shijin Wang, Guoping Hu
• Abstract要約: 本稿では,単語ベクトルの代わりに埋め込み行列を摂動させるPQATという新しい逆学習手法を提案する。 提案手法は,スパンベース抽出RCや複数選択RCなど,幅広い機械読解タスクにおいて検証される。 その結果、対人訓練は普遍的に有効であり、PQATはパフォーマンスをさらに向上することが示された。
• 参考スコア（独自算出の注目度）: 45.12957199981406
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial training (AT) as a regularization method has proved its effectiveness on various tasks. Though there are successful applications of AT on some NLP tasks, the distinguishing characteristics of NLP tasks have not been exploited. In this paper, we aim to apply AT on machine reading comprehension (MRC) tasks. Furthermore, we adapt AT for MRC tasks by proposing a novel adversarial training method called PQAT that perturbs the embedding matrix instead of word vectors. To differentiate the roles of passages and questions, PQAT uses additional virtual P/Q-embedding matrices to gather the global perturbations of words from passages and questions separately. We test the method on a wide range of MRC tasks, including span-based extractive RC and multiple-choice RC. The results show that adversarial training is effective universally, and PQAT further improves the performance.
• Abstract（参考訳）: 正則化手法としてのAT(Adversarial Training)は,様々なタスクにおいて有効であることが証明されている。 いくつかのNLPタスクに対するATの適用は成功したが、NLPタスクの識別特性は利用されていない。 本稿では,機械読解(MRC)タスクにATを適用することを目的とする。 さらに,単語ベクトルの代わりに埋め込み行列を摂動する,PQATと呼ばれる新しい逆学習手法を提案することで,MSCタスクにATを適用する。 通過と質問の役割を区別するために、PQATは追加の仮想P/Q埋め込み行列を使用して、通過と質問から単語のグローバルな摂動を別々に収集する。 提案手法は,スパンベース抽出RCや複数選択RCなど,幅広いMRCタスクでテストする。 その結果,対向訓練は普遍的に有効であり,pqatは性能をさらに向上させることがわかった。

関連論文リスト

• Efficient Cross-Task Prompt Tuning for Few-Shot Conversational Emotion Recognition [6.988000604392974]
  Emotion Recognition in Conversation (ERC) は感情認識型共感機械の開発において重要であるため、広く研究されている。 対話型感情認識のためのCTPT(Cross-Task Prompt Tuning)と呼ばれる微分自由度最適化手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T06:46:03Z)
• Rethinking Label Smoothing on Multi-hop Question Answering [87.68071401870283]
  MHQA (Multi-Hop Question Answering) は質問応答において重要な分野である。 本研究では,マルチホップ推論の性能を制限する主要な要因を解析する。 学習プロセスに不確実性を組み込んだ新しいラベル平滑化手法F1 Smoothingを提案する。
  論文  参考訳（メタデータ） (2022-12-19T14:48:08Z)
• KECP: Knowledge Enhanced Contrastive Prompting for Few-shot Extractive Question Answering [28.18555591429343]
  我々はKECP(Knowledge Enhanced Contrastive Prompt-tuning)という新しいフレームワークを提案する。 PLMにポインタヘッドを追加する代わりに、タスクを非自己回帰型マスケッド言語モデリング(MLM)生成問題に変換する。 提案手法は,数ショット設定における最先端のアプローチを大きなマージンで一貫して上回っている。
  論文  参考訳（メタデータ） (2022-05-06T08:31:02Z)
• Making Pre-trained Language Models End-to-end Few-shot Learners with Contrastive Prompt Tuning [41.15017636192417]
  CP-Tuning(CP-Tuning)は、言語モデルのための最初のエンドツーエンドのPrompt Tuningフレームワークである。 完全にトレーニング可能なプロンプトパラメータを持つタスク不変の連続プロンプトエンコーディング技術と統合されている。 IRシステムや異なるPLMで使用される様々な言語理解タスクの実験は、CP-Tuningが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-04-01T02:24:24Z)
• Learning to Ask Conversational Questions by Optimizing Levenshtein Distance [83.53855889592734]
  明示的な編集動作によって最小レベンシュテイン距離(MLD)を最適化する強化反復シーケンス編集(RISE)フレームワークを導入する。 RISEは会話の特徴に関連するトークンに注意を払うことができる。 2つのベンチマークデータセットの実験結果から、RISEは最先端の手法を大幅に上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-06-30T08:44:19Z)
• Weighted Training for Cross-Task Learning [71.94908559469475]
  クロスタスク学習のための重み付きトレーニングアルゴリズムであるTarget-Aware Weighted Training (TAWT)を紹介する。 TAWTは実装が容易で、計算効率が高く、ハイパーパラメータチューニングがほとんど必要とせず、漸近的でない学習理論の保証を享受できることを示す。 副産物として、提案された表現に基づくタスク距離は、クロスタスク学習のいくつかの重要な側面について理論的に原則化された方法で推論することができる。
  論文  参考訳（メタデータ） (2021-05-28T20:27:02Z)
• Few-Shot Complex Knowledge Base Question Answering via Meta Reinforcement Learning [55.08037694027792]
  複雑な質問答え(CQA)は、知識ベース(KB)上の複雑な自然言語質問に答える。 従来のニューラルプログラム誘導(NPI)アプローチは、質問の種類が異なる場合、不均一なパフォーマンスを示す。 本稿では,CQAにおけるプログラム誘導のためのメタ強化学習手法を提案する。
  論文  参考訳（メタデータ） (2020-10-29T18:34:55Z)
• Improving Readability for Automatic Speech Recognition Transcription [50.86019112545596]
  我々は、可読性のためのASRポストプロセッシング(APR)と呼ばれる新しいNLPタスクを提案する。 APRは、ノイズの多いASR出力を、話者の意味を保ちながら、人間や下流タスクのための読みやすいテキストに変換することを目的としている。 我々は,いくつかのオープンソースモデルと適応型事前学習モデルに基づく微調整モデルと,従来のパイプライン手法との比較を行った。
  論文  参考訳（メタデータ） (2020-04-09T09:26:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。