論文の概要: BET: A Backtranslation Approach for Easy Data Augmentation in
Transformer-based Paraphrase Identification Context
- arxiv url: http://arxiv.org/abs/2009.12452v1
- Date: Fri, 25 Sep 2020 22:06:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-14 22:58:06.963852
- Title: BET: A Backtranslation Approach for Easy Data Augmentation in
Transformer-based Paraphrase Identification Context
- Title（参考訳）: bet: トランスフォーマーに基づくparaphrase識別コンテキストにおけるデータ拡張を容易にするバックトランスレーションアプローチ
- Authors: Jean-Philippe Corbeil and Hadi Abdi Ghadivel
- Abstract要約: 我々はこの手法をBETと呼び、トランスフォーマーベースのアーキテクチャ上でのバックトランスレーションデータ拡張を分析する。
以上の結果から,BETはMicrosoft Research Paraphrase Corpusのパラフレーズ識別性能を,精度とF1スコアの両方で3%以上向上することが示唆された。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Newly-introduced deep learning architectures, namely BERT, XLNet, RoBERTa and
ALBERT, have been proved to be robust on several NLP tasks. However, the
datasets trained on these architectures are fixed in terms of size and
generalizability. To relieve this issue, we apply one of the most inexpensive
solutions to update these datasets. We call this approach BET by which we
analyze the backtranslation data augmentation on the transformer-based
architectures. Using the Google Translate API with ten intermediary languages
from ten different language families, we externally evaluate the results in the
context of automatic paraphrase identification in a transformer-based
framework. Our findings suggest that BET improves the paraphrase identification
performance on the Microsoft Research Paraphrase Corpus (MRPC) to more than 3%
on both accuracy and F1 score. We also analyze the augmentation in the low-data
regime with downsampled versions of MRPC, Twitter Paraphrase Corpus (TPC) and
Quora Question Pairs. In many low-data cases, we observe a switch from a
failing model on the test set to reasonable performances. The results
demonstrate that BET is a highly promising data augmentation technique: to push
the current state-of-the-art of existing datasets and to bootstrap the
utilization of deep learning architectures in the low-data regime of a hundred
samples.
- Abstract（参考訳）: 新しく導入されたディープラーニングアーキテクチャ、BERT、XLNet、RoBERTa、ALBERTは、いくつかのNLPタスクで堅牢であることが証明されている。
しかし、これらのアーキテクチャでトレーニングされたデータセットはサイズと一般化性の観点から固定されている。
この問題を解消するため、これらのデータセットを更新するために最も安価なソリューションの1つを適用します。
我々はこの手法をBETと呼び、トランスフォーマーベースのアーキテクチャ上でのバックトランスレーションデータ拡張を分析する。
10の異なる言語ファミリーから10の中間言語を持つgoogle translate apiを使用して、transformerベースのフレームワークにおける自動パラフレーズ識別の結果を外部から評価する。
以上の結果から,BETはMicrosoft Research Paraphrase Corpus (MRPC) のパラフレーズ識別性能を,精度とF1スコアの両方で3%以上向上することが示唆された。
また、MRPC、Twitter Paraphrase Corpus(TPC)、Quora Question Pairsのダウンサンプルバージョンを用いて、低データ体制の強化も分析する。
多くの低データケースでは、テストセット上のフェールモデルから合理的なパフォーマンスへの切り替えを観察します。
その結果、BETは、既存のデータセットの最先端を推し進め、100のサンプルの低データ構造におけるディープラーニングアーキテクチャの利用をブートストラップする、非常に有望なデータ拡張技術であることを実証した。
関連論文リスト
- Multi-Sentence Grounding for Long-term Instructional Video [63.27905419718045]
大規模インストラクショナルデータセットを記述するための,自動でスケーラブルなパイプラインを確立することを目的としている。
複数の記述ステップを監督する高品質なビデオテキストデータセット、HowToStepを構築した。
論文 参考訳（メタデータ） (2023-12-21T17:28:09Z) - Enriching Relation Extraction with OpenIE [70.52564277675056]
関係抽出(RE)は情報抽出(IE)のサブ分野である
本稿では,オープン情報抽出(OpenIE)の最近の取り組みがREの課題の改善にどのように役立つかを検討する。
本稿では,2つの注釈付きコーパスであるKnowledgeNetとFewRelを用いた実験により,拡張モデルの精度向上を実証した。
論文 参考訳（メタデータ） (2022-12-19T11:26:23Z) - Exploring the State-of-the-Art Language Modeling Methods and Data
Augmentation Techniques for Multilingual Clause-Level Morphology [3.8498574327875947]
共有タスクの3つの部分 – 反射,再帰,分析 – について検討する。
データ拡張と組み合わせたトランスフォーマーモデルと、モルフォロジー解析のための最先端の言語モデリング技術を利用する2つのアプローチを主に検討する。
提案手法は,3つのタスクのそれぞれにおいて第1位となり,mT5ベースラインよりも89%,リフレクション80%,分析12%に優れていた。
論文 参考訳（メタデータ） (2022-11-03T11:53:39Z) - Improving Retrieval Augmented Neural Machine Translation by Controlling
Source and Fuzzy-Match Interactions [15.845071122977158]
本稿では,トップkのドメイン内ファジィマッチングが元文に現れるRAT(Retrieval Augmented Translation)のアイデアに基づいて構築する。
本稿では,ソース文とトップkファジィなターゲット言語マッチング間のインタラクションを制御する新しいアーキテクチャを提案する。
論文 参考訳（メタデータ） (2022-10-10T23:33:15Z) - Structural Biases for Improving Transformers on Translation into
Morphologically Rich Languages [120.74406230847904]
TP-Transformerは従来のTransformerアーキテクチャを拡張し、構造を表現するコンポーネントを追加する。
第2の方法は、形態的トークン化でデータをセグメント化することで、データレベルで構造を付与する。
これらの2つのアプローチのそれぞれが、ネットワークがより良いパフォーマンスを達成することを可能にすることは分かっていますが、この改善はデータセットのサイズに依存します。
論文 参考訳（メタデータ） (2022-08-11T22:42:24Z) - Parameter-Efficient Abstractive Question Answering over Tables or Text [60.86457030988444]
QAシステムを求める情報の長期的な野望は、マルチモーダルなコンテキストを推論し、ユーザクエリに対する自然な回答を生成することである。
メモリ集約型事前学習言語モデルは、構造化されていないテキストや構造化テーブルのような特定のモードでQAデータ上のモデルを微調整することで、QAのような下流タスクに適応する。
パラメータ効率の良いアダプタは、トランス層間の小さなタスク固有のボトルネック層を加算し、訓練する。
論文 参考訳（メタデータ） (2022-04-07T10:56:29Z) - Hierarchical Neural Network Approaches for Long Document Classification [3.6700088931938835]
我々は、より効率的な表現を効率よく捉えるために、事前訓練された普遍文(USE)と変換器からの双方向表現(BERT)を階層的に採用する。
提案するモデルは概念的に単純であり,入力データをチャンクに分割し,BERTとUSEのベースモデルに渡す。
USE + CNN/LSTM はスタンドアローンのベースラインよりも優れており、BERT + CNN/LSTM はスタンドアローンのベースラインと同等である。
論文 参考訳（メタデータ） (2022-01-18T07:17:40Z) - Improving Neural Machine Translation by Bidirectional Training [85.64797317290349]
我々は、ニューラルネットワーク翻訳のためのシンプルで効果的な事前学習戦略である双方向トレーニング(BiT)を提案する。
具体的には、初期モデルのパラメータを双方向に更新し、正常にモデルを調整する。
実験の結果,BiTは8つの言語対上の15の翻訳タスクに対して,SOTAニューラルマシン翻訳性能を著しく向上させることがわかった。
論文 参考訳（メタデータ） (2021-09-16T07:58:33Z) - The Surprising Performance of Simple Baselines for Misinformation
Detection [4.060731229044571]
我々は、現代のトランスフォーマーベースの言語モデルの広いセットのパフォーマンスを調べます。
誤情報検出の新たな手法の創出と評価のベースラインとして,本フレームワークを提案する。
論文 参考訳（メタデータ） (2021-04-14T16:25:22Z) - Conversational Question Reformulation via Sequence-to-Sequence
Architectures and Pretrained Language Models [56.268862325167575]
本稿では、列列列構造と事前学習言語モデル(PLM)を用いた会話型質問修正(CQR)の実証的研究について述べる。
我々はPLMを利用して、CQRタスクの目的である最大推定におけるトークン・トークン・トークン・トークンの独立性の強い仮定に対処する。
我々は、最近導入されたCANARDデータセットの微調整PLMをドメイン内タスクとして評価し、TREC 2019 CAsT Trackのデータからドメイン外タスクとしてモデルを検証する。
論文 参考訳（メタデータ） (2020-04-04T11:07:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。