論文の概要: A Simple but Tough-to-Beat Data Augmentation Approach for Natural Language Understanding and Generation

• arxiv url: http://arxiv.org/abs/2009.13818v2
• Date: Fri, 23 Oct 2020 03:19:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-13 05:07:09.784232
• Title: A Simple but Tough-to-Beat Data Augmentation Approach for Natural Language Understanding and Generation
• Title（参考訳）: 自然言語の理解と生成のための単純だが靭なデータ拡張手法
• Authors: Dinghan Shen, Mingzhi Zheng, Yelong Shen, Yanru Qu, Weizhu Chen
• Abstract要約: カットオフと呼ばれる、シンプルで効果的なデータ拡張戦略のセットを紹介します。 カットオフはサンプリング一貫性に依存しているため、計算オーバーヘッドが少なくなる。 cutoffは、敵のトレーニングを一貫して上回り、IWSLT2014 German- English データセットで最先端の結果を達成する。
• 参考スコア（独自算出の注目度）: 53.8171136907856
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial training has been shown effective at endowing the learned representations with stronger generalization ability. However, it typically requires expensive computation to determine the direction of the injected perturbations. In this paper, we introduce a set of simple yet effective data augmentation strategies dubbed cutoff, where part of the information within an input sentence is erased to yield its restricted views (during the fine-tuning stage). Notably, this process relies merely on stochastic sampling and thus adds little computational overhead. A Jensen-Shannon Divergence consistency loss is further utilized to incorporate these augmented samples into the training objective in a principled manner. To verify the effectiveness of the proposed strategies, we apply cutoff to both natural language understanding and generation problems. On the GLUE benchmark, it is demonstrated that cutoff, in spite of its simplicity, performs on par or better than several competitive adversarial-based approaches. We further extend cutoff to machine translation and observe significant gains in BLEU scores (based upon the Transformer Base model). Moreover, cutoff consistently outperforms adversarial training and achieves state-of-the-art results on the IWSLT2014 German-English dataset.
• Abstract（参考訳）: 対人訓練は、より強力な一般化能力を持つ学習された表現を与えるのに効果的であることが示されている。 しかし、通常、注入された摂動の方向を決定するために高価な計算を必要とする。 本稿では,カットオフと呼ばれる単純なデータ拡張戦略を紹介する。そこでは,入力文内の情報の一部を消去して,制限されたビュー(微調整段階)を生成する。 特に、このプロセスは単に確率的サンプリングに依存しており、計算オーバーヘッドがほとんどない。 Jensen-Shannon分散一貫性損失は、これらの強化サンプルを原則的にトレーニング対象に組み込むためにさらに利用される。 提案手法の有効性を検証するため,自然言語理解と生成問題の両方にカットオフを適用した。 GLUEベンチマークでは、カットオフは単純さに拘わらず、いくつかの競合相手ベースのアプローチよりも同等かそれ以上に実行されることが示されている。 さらに、機械翻訳へのカットオフを拡張し、(トランスフォーマーベースモデルに基づく)bleuスコアの大幅な向上を観察する。 さらに、カットオフは敵のトレーニングを一貫して上回り、IWSLT2014ゲルマン英語データセットの最先端の結果を達成する。

関連論文リスト

• Enhancing In-Context Learning via Implicit Demonstration Augmentation [26.78252788538567]
  In-context Learning (ICL) は、事前訓練された言語モデルがパラメータを更新せずに未確認入力の予測を行うことを可能にする。 その可能性にもかかわらず、ICLの有効性はデモの質、量、置換に大きく依存している。 本稿では,この課題に初めて挑戦する。
  論文  参考訳（メタデータ） (2024-06-27T05:25:46Z)
• Negative Preference Optimization: From Catastrophic Collapse to Effective Unlearning [28.059563581973432]
  LLM(Large Language Models)は、事前トレーニング中に機密性のある、プライベートな、あるいは著作権のあるデータを持つことが多い。 LLMは、事前学習されたモデルから望ましくないデータの影響を取り除くことを目的としている。 我々は、ターゲットデータセットを効率的に解放できる単純なアライメントにインスパイアされた方法として、NPO(Negative Preference Optimization)を提案する。
  論文  参考訳（メタデータ） (2024-04-08T21:05:42Z)
• Dynamic Transformers Provide a False Sense of Efficiency [75.39702559746533]
  マルチエグジットモデルは、計算の節約を早期出口から得るため、効率と精度をトレードオフする。 本稿では,マルチエグジットモデルの効率を抑えるために特別に最適化された,シンプルで効果的なアタック・フレームワークであるITAを提案する。 GLUEベンチマークの実験により、Pameは様々なマルチエクイットモデルの効率向上を平均80%削減できることが示された。
  論文  参考訳（メタデータ） (2023-05-20T16:41:48Z)
• Adversarial Style Augmentation for Domain Generalization [41.72506801753435]
  本稿では,より効率的な統計摂動を発生させることにより,より広いスタイル空間を探索する,新しいAdrial Style Augmentation (ASA)手法を提案する。 ASA の応用を容易にするため,プラグイン・アンド・プレイ方式で ASA メソッドをインスタンス化するシンプルなモジュールである AdvStyle を設計した。 本手法は,PACSデータセット上での単一ソース一般化条件下での競合よりも優れていた。
  論文  参考訳（メタデータ） (2023-01-30T03:52:16Z)
• Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
  本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。 具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。 提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-12T04:42:49Z)
• Phrase-level Adversarial Example Generation for Neural Machine Translation [75.01476479100569]
  本稿では,句レベルの逆例生成(PAEG)手法を提案し,モデルの堅牢性を高める。 我々は,LDC中英語,IWSLT14ドイツ語-英語,WMT14英語-ドイツ語タスクの3つのベンチマークで検証を行った。
  論文  参考訳（メタデータ） (2022-01-06T11:00:49Z)
• A Simple Baseline for Semi-supervised Semantic Segmentation with Strong Data Augmentation [74.8791451327354]
  セマンティックセグメンテーションのためのシンプルで効果的な半教師付き学習フレームワークを提案する。 単純な設計とトレーニングのテクニックのセットは、半教師付きセマンティックセグメンテーションの性能を大幅に向上させることができる。 本手法は,Cityscapes と Pascal VOC データセットの半教師付き設定において,最先端の処理結果を実現する。
  論文  参考訳（メタデータ） (2021-04-15T06:01:39Z)
• DEALIO: Data-Efficient Adversarial Learning for Imitation from Observation [57.358212277226315]
  観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。 近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。 この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。 よりデータ効率の高いifOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-31T23:46:32Z)
• Representation Learning via Invariant Causal Mechanisms [19.0976564154636]
  ラベルなしデータのみを用いて表現を事前学習することで、コストのかかる教師付き信号への依存を減らすための戦略として、自己教師付き学習が登場した。 プレトレーニング時に使用されるプロキシ分類器の明示的な不変性制約によって、データ拡張をより効果的に活用する方法を示す。 そこで本稿では,新たな自己教師型学習手法であるRepresentation Learning via In Causvariantal Mechanisms (Relic)を提案する。
  論文  参考訳（メタデータ） (2020-10-15T17:53:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。