論文の概要、ライセンス

# (参考訳) 自然言語の推論とパラフレーズによるパラフレーズの抽出とフィルタリング [全文訳有]

Extracting and filtering paraphrases by bridging natural language inference and paraphrasing ( http://arxiv.org/abs/2111.07119v1 )

ライセンス: CC BY 4.0
Matej Klemen, Marko Robnik-\v{S}ikonja(参考訳) パラフレージングは、より多様な生成または翻訳されたテキストに寄与できる有用な自然言語処理タスクである。 自然言語推論(NLI)とパラフレージングはいくつかの類似点を共有し、共同アプローチの恩恵を受けることができる。 本研究では,NLIデータセットからパラフレージングデータセットを抽出し,既存のパラフレージングデータセットをクリーニングするための新しい手法を提案する。 提案手法は,2つの文を相互に関連付けることができれば,これらはパラフレーズである。 単言語・クロスリンガル環境では,いくつかの大規模事前学習されたトランスフォーマー言語モデルを用いてアプローチを評価した。 その結果,既存の2つのパラフレージングデータセットにおいて,抽出したパラフレージングデータセットの品質と驚くほど高いノイズレベルが示された。

Paraphrasing is a useful natural language processing task that can contribute to more diverse generated or translated texts. Natural language inference (NLI) and paraphrasing share some similarities and can benefit from a joint approach. We propose a novel methodology for the extraction of paraphrasing datasets from NLI datasets and cleaning existing paraphrasing datasets. Our approach is based on bidirectional entailment; namely, if two sentences can be mutually entailed, they are paraphrases. We evaluate our approach using several large pretrained transformer language models in the monolingual and cross-lingual setting. The results show high quality of extracted paraphrasing datasets and surprisingly high noise levels in two existing paraphrasing datasets.
公開日: Sat, 13 Nov 2021 14:06:37 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
EXTRACTING AND FILTERING PARAPHRASES BY BRIDGING ブリッジングによるパラフラスの抽出とフィルタリング 0.44
NATURAL LANGUAGE INFERENCE AND PARAPHRASING 自然言語推論とパラフレージング 0.69
1 2 0 2 v o N 3 1 1 2 0 2 v o n 3 1 である。 0.54
] L C . s c [ 1 v 9 1 1 7 0 ]LC。 sc [ 1 v 9 1 1 7 0 0.30
. 1 1 1 2 : v i X r a . 1 1 1 2 : v i X r a 0.42
Matej Klemen University of Ljubljana マテジ・クレメン リュブリャナ大学 0.45
Faculty of Computer and Information Science Veˇcna pot 113, 1000 Ljubljana, Slovenia 計算機情報学部 ヴェクナポット 113, 1000リュブリャナ, スロベニア 0.56
matej.klemen@fri.uni -lj.si 英語) matej.klemen@fri.uni -lj.si 0.25
Marko Robnik-Šikonja University of Ljubljana ルブリャナのマルコ・ロブニク・ジコニャ大学 0.57
Faculty of Computer and Information Science Veˇcna pot 113, 1000 Ljubljana, Slovenia 計算機情報学部 ヴェクナポット 113, 1000リュブリャナ, スロベニア 0.56
marko.robnik@fri.uni -lj.si marko.robnik@fri.uni -lj.si 0.20
November 16, 2021 2021年11月16日 0.71
ABSTRACT Paraphrasing is a useful natural language processing task that can contribute to more diverse generated or translated texts. ABSTRACT パラフレージングは、より多様な生成または翻訳されたテキストに寄与できる有用な自然言語処理タスクである。
訳抜け防止モード: ABSTRACT 言い回し 自然言語処理に役立ちます より多様な 生成された 翻訳された テキストに貢献できるのです
0.58
Natural language inference (NLI) and paraphrasing share some similarities and can benefit from a joint approach. 自然言語推論(NLI)とパラフレージングはいくつかの類似点を共有し、共同アプローチの恩恵を受けることができる。 0.61
We propose a novel methodology for the extraction of paraphrasing datasets from NLI datasets and cleaning existing paraphrasing datasets. 本研究では,NLIデータセットからパラフレージングデータセットを抽出し,既存のパラフレージングデータセットをクリーニングするための新しい手法を提案する。 0.62
Our approach is based on bidirectional entailment; namely, if two sentences can be mutually entailed, they are paraphrases. 提案手法は,2つの文を相互に関連付けることができれば,これらはパラフレーズである。 0.70
We evaluate our approach using several large pretrained transformer language models in the monolingual and cross-lingual setting. 単言語・クロスリンガル環境では,いくつかの大規模事前学習されたトランスフォーマー言語モデルを用いてアプローチを評価した。 0.49
The results show high quality of extracted paraphrasing datasets and surprisingly high noise levels in two existing paraphrasing datasets. その結果,既存の2つのパラフレージングデータセットにおいて,抽出したパラフレージングデータセットの品質と驚くほど高いノイズレベルが示された。 0.57
Keywords natural language processing · paraphrasing · natural language inference キーワード自然言語処理 · パラフレーズ化 · 自然言語推論 0.92
1 Introduction Natural language inference (NLI) and text paraphrasing are two useful and frequently applied tasks in natural language processing. 1 はじめに 自然言語推論(NLI)とテキストパラフレーズ処理は、自然言語処理において有用かつ頻繁に用いられる2つのタスクである。 0.56
In NLI, the task is to determine if a target sequence (hypothesis) entails the source sequence (premise), contradicts it, or is neutral with respect to it. NLIでは、ターゲットシーケンス(仮説)がソースシーケンス(前提)を包含するか、それと矛盾するか、あるいはそれに関して中立であるかを決定する。 0.72
A paraphrase is a restatement of the meaning of a text or passage using other words. パラフレーズ(paraphrase)とは、他の単語を用いたテキストや文の意味の復元である。 0.68
Both tasks are commonly used, either on their own or to support other tasks. どちらのタスクも、単独または他のタスクをサポートするために一般的に使用される。 0.66
For example, NLI can be used for fact verification, as demonstrated in the Fact Extraction and Verification 2018 Shared Task [24], while paraphrasing can be used to rephrase news headlines [29] or improve text expression in grammar tools. 例えば、fact extraction and verification 2018 shared task [24]で示されているように、nliは事実検証に使用することができ、paraphrasingはニュース見出し[29]を再現したり、文法ツールのテキスト表現を改善したりすることができる。 0.75
Despite mainly being researched separately, NLI and paraphrasing are similar and can benefit from a joint approach. 主に別々に研究されているが、NLIとパラフレーズは類似しており、共同アプローチの恩恵を受けることができる。 0.51
As we show, the performance of paraphrasing can be improved by using additional resources available for NLI. 私たちが示すように、paraphrasingのパフォーマンスは、nliで利用可能な追加リソースを使用することで改善できる。 0.60
For example, paraphrase generation methods can generate more diverse paraphrases by being trained using paraphrases extracted from existing NLI datasets. 例えば、paraphrase生成メソッドは、既存のnliデータセットから抽出されたparaphrasesを使用してトレーニングすることで、より多様なパラフレーズを生成することができる。 0.54
In the situation where little or no resources are available to train a paraphrase identification model, a pretrained NLI model could be used as an alternative. パラフレーズ識別モデルをトレーニングするリソースがほとんどあるいは全くない状況では、事前訓練されたNLIモデルを代替として使用することができる。 0.77
Although large English datasets exist for both NLI and paraphrasing, paraphrasing datasets are often automatically derived from datasets containing similar texts but not necessarily paraphrases. nliとparaphrasingの両方に大規模な英語データセットが存在するが、paraphrasingデータセットは、しばしば類似したテキストを含むデータセットから自動的に派生する。 0.63
For example, COCO captions dataset [4]) contains multiple captions of the same image, and Quora question pairs are composed of duplicate questions. 例えば、COCOキャプションデータセット[4]は同一画像の複数のキャプションを含み、Quora質問ペアは重複した質問で構成されている。 0.75
We aim to extend the pool of available paraphrasing resources using a framework whose primary use is the extraction of paraphrases from existing NLI datasets. 我々は,既存のNLIデータセットからパラフレーズを抽出するフレームワークを用いて,利用可能なパラフレーズリソースのプールを拡張することを目的としている。 0.70
In the proposed framework, we treat paraphrases as sequence pairs where the hypothesis entails the premise and the premise entails the hypothesis, i.e. there is a bidirectional entailment. 提案手法では,仮説が前提を包含し,前提が仮説を包含するシーケンスペアとしてパラフレーズを扱う。
訳抜け防止モード: 提案フレームワークでは,パラフレーズをシーケンスペアとして扱う。 仮説には前提が含まれます 前提には仮説、すなわち 双方向の細部があります
0.67
This connection has previously been mentioned [1], but its potential for paraphrase extraction and filtering was not fully explored. この接続は以前は[1]と言及されていたが、パラファーゼの抽出とフィルタリングの可能性は完全には検討されなかった。 0.60
We study the following two scenarios: 以下の2つのシナリオについて研究する。 0.57
1. Creation of a paraphrase dataset from an existing NLI dataset. 1.既存のNLIデータセットからパラフレーズデータセットを作成する。 0.80
We demonstrate this scenario in a monolingual and a cross-lingual setting, using Stanford NLI (SNLI) [2], Multi-genre NLI (MNLI) [27] and 我々は、Stanford NLI (SNLI) [2], Multi-genre NLI (MNLI) [27] を用いて、このシナリオをモノリンガルおよびクロスランガルな設定で実証する。 0.74
英語(論文から抽出)日本語訳スコア
A PREPRINT - NOVEMBER 16, 2021 プレプリント-2021年11月16日 0.51
Cross-lingual NLI (XNLI) [5] datasets to produce new paraphrasing datasets. 新しいパラフレーズデータセットを生成するために、言語間NLI(XNLI) [5]データセット。 0.66
In the cross-lingual setting, we compare extracted paraphrases with the so-called “translate-train” and “translate-test” methods, which transform the cross-lingual into a multilingual problem by automatically translating the training or the test set. 横断言語設定では、抽出したパラフレーズといわゆる「トランスレート・トレイン」と「トランスレート・テスト」とを比較し、このパラフレーズは、トレーニングやテストセットを自動的に翻訳することで、多言語問題に変換する。 0.63
2. Cleaning of an existing paraphrasing dataset. 2. 既存のパラフレーズデータセットのクリーニング。 0.56
By a slight modification, we reuse the framework to filter false positive instances, i.e. instances which are labeled as paraphrases but are not actual paraphrases. わずかな修正で、我々はフレームワークを再利用して偽陽性のインスタンス、すなわち、パラフレーズとしてラベル付けされているが実際のパラフレーズではないインスタンスをフィルタリングする。 0.61
The filtering uses the validation with the bidirectional entailment relation. フィルタリングは、双方向の包含関係による検証を使用する。 0.68
We demonstrate this scenario on two English paraphrase identification datasets: Quora Question Pairs (QQP) and Microsoft Research Paraphrase Corpus (MRPC) [9]. このシナリオを、Quora Question Pairs (QQP) と Microsoft Research Paraphrase Corpus (MRPC) [9] の2つの英単語識別データセットで実証する。 0.83
In our approach, we compare several NLI classifiers with varying performance. 提案手法では,NLI分類器と性能の比較を行った。 0.63
To show the usability for different use-cases that might have different expectations concerning the correctness of paraphrases, we present the results at multiple certainty levels and show that precision and recall can be used to select the right setting. パラフレーズの正確性に関して異なる期待を抱く様々なユースケースのユーザビリティを示すために,複数の確実性レベルで結果を提示し,正しい設定を選択するために精度とリコールが利用できることを示す。 0.84
For example, when building a model for rephrasing news, a more “conservative” paraphrase dataset might be preferable in order to avoid a model that would make up facts. 例えば、ニュースを再現するためのモデルを構築する場合、事実を構成するモデルを避けるために、より保守的なパラフレーズデータセットが望ましいかもしれません。 0.82
To facilitate further research, we release the source code of our framework 1. さらなる研究を容易にするため、フレームワーク1.1のソースコードをリリースする。 0.71
The paper is split into further four sections. 論文はさらに4つのセクションに分けられる。 0.76
In Section 2, we present a related work on paraphrasing and NLI. 第2節ではパラフレージングとNLIについて述べる。 0.52
In Section 3, we present our methodology for creation and cleaning of new paraphrasing datasets. 第3節では,新たなパラフレージングデータセットの作成とクリーニングを行う手法を提案する。 0.71
In Section 4, we evaluate the newly proposed methods. 第4節では,提案手法の評価を行った。 0.69
Finally, in Section 5, we summarize the work and give directions for further work. 最後に、第5節では、作業を要約し、さらなる作業の指示を与えます。 0.66
2 Related work We first overview the related work that connects NLI with other tasks, followed by existing work on the construction of paraphrasing datasets. 2関連作品 まず、NLIと他のタスクを結びつける関連する作業の概要と、パラフレーズデータセットの構築に関する既存の作業について概説する。 0.68
2.1 Connections between NLI and other tasks 2.1 NLIと他のタスクの関連 0.76
Since the early days of research on textual entailment, various authors have used it to improve other tasks’ performance. テキスト・エンターメントの研究の初期から、様々な著者が他のタスクのパフォーマンス向上に利用してきた。 0.73
For example, Lloret et al [19] use the textual entailment recognition to improve a summarization system. 例えば、Lloret et al [19] は、要約システムを改善するためにテキストエンテーメント認識を使用する。 0.75
In order to generate preliminary summaries, they iterate through sentences and only keep those that did not entail any other previously seen sentences. 予備的な要約を生成するために、それらは文を通して反復し、以前に見られた文章を含まないものだけを保持する。 0.57
To improve an information retrieval system, Lin and Pantel [17] extract textual entailment rules from text by using similarities in dependency paths. lin及びpantel[17]は、依存経路の類似性を利用してテキストからテクスト内包含ルールを抽出する情報検索システムを改善する。 0.76
Harabagiu and Hickl [13] integrate textual entailment into the open-domain question answering task, observing improved performance when using it to filter answer candidates or as a ranking mechanism for passages. Harabagiu と Hickl [13] は、オープンドメインの質問応答タスクにテキストエンターメントを組み込んで、回答候補をフィルタリングしたり、パスのランキングメカニズムとして使用する際のパフォーマンス改善を観察する。 0.68
Similarly, Chen et al [3] use textual entailment to verify that the answer to the question entails a given context. 同様に、Chen氏ら[3]は、質問に対する回答が与えられたコンテキストを含むことを検証するために、テキスト・エンターメントを使用します。
訳抜け防止モード: 同様に、Chen et al [ 3 ] はテキストエンテーメントを使用する 質問に対する答えに 特定の文脈が関係していることを確認するためです
0.68
The entailment was also used to improve the evaluation procedure of other tasks. また、他のタスクの評価手順を改善するためにも用いられた。 0.65
Padó et al [22] propose a metric for machine translation evaluation that incorporates bidirectional textual entailment as a way to measure meaning equivalence between a hypothesis and a reference summary. Padó et al [22] は、仮説と参照要約の同値性を測定する方法として、双方向テキストの包含を組み込んだ機械翻訳評価の指標を提案する。 0.82
In our work, we use the bidirectional textual entailment for three purposes. 本研究では, 双方向テキストエンターメントを3つの目的に利用した。 0.67
First, to create new paraphrasing datasets. まず、新しいパラフレーズデータセットを作成する。 0.72
Second, we show the feasibility of the idea in the cross-lingual setting, and third, we show that the idea can be reused for filtering existing paraphrasing datasets. 第2に,言語横断環境でのアイデアの実現可能性を示し,第3に,既存のパラフレージングデータセットをフィルタリングするためにそのアイデアを再利用可能であることを示す。 0.68
With the introduction of large annotated datasets for many tasks, authors started to use them in transfer learning. 多くのタスクのための大きな注釈付きデータセットの導入によって、著者は移行学習にそれを使い始めた。 0.65
For example, White et al [26] convert semantic proto-role labeling, paraphrasing and anaphora resolution datasets into a binary textual entailment dataset to explore the extent to which an NLI model can capture specific aspects of semantics. 例えば、White et al [26]は、セマンティックなプロトロールラベリング、パラフレージング、アナフォラ分解データセットをバイナリテキストのエンテールデータセットに変換し、NLIモデルがセマンティックスの特定の側面をキャプチャできる範囲を探索する。 0.65
Two further examples of such datasets (QNLI and WNLI) are included in the GLUE benchmark (General Language Understanding Evaluation) [25]. さらに2つのデータセット(QNLIとWNLI)がGLUEベンチマーク(General Language Understanding Evaluation) [25]に含まれる。 0.69
QNLI is derived from the Stanford question answering dataset [23] that contains question-context pairs, where one of the sentences in the context contains the answer to the question. QNLIはスタンフォードの質問応答データセット[23]から派生したもので、質問内容のペアが含まれており、コンテキスト内の文の1つに質問に対する回答が含まれている。
訳抜け防止モード: QNLIは、質問-コンテキストペアを含むスタンフォードの質問応答データセット[23 ]に由来する。 文脈内の文の1つに 質問に対する答えが含まれています
0.79
To produce QNLI, each pair is converted into multiple question-sentence pairs labeled as entailment if that sentence contains the answer to the question and non-entailment otherwise. qnliを生成するために、各ペアは、その文が質問に対する答えと非補題を含んでいる場合、補題としてラベル付けされた複数の疑問文対に変換される。
訳抜け防止モード: qnliを生産するためです 各ペアは複数の質問 - 文ペアに変換される。 その文は質問に対する答えを含み、それ以外は含まない。
0.68
WNLI is derived from the Winograd schema challenge dataset [16] that contains sentences involving an ambiguous pronoun and a list of possible referents of that pronoun. WNLIは、曖昧な代名詞を含む文と、その代名詞の可能な参照詞のリストを含むWinogradスキーマチャレンジデータセット [16] から派生している。 0.69
To produce WNLI, the pronoun is replaced by each possible referent and labeled as entailment if that referent refers to the pronoun. WNLIを生成するために、代名詞を可能な各参照語に置換し、その参照語が代名詞を参照している場合、entailmentとしてラベル付けする。 0.47
2.2 Existing paraphrasing datasets 2.2 既存のパラフレージングデータセット 0.65
Existing paraphrasing datasets have been created (or repurposed) using a variety of data sources including image captions - COCO [4] and Multi30k [10]), duplicate questions - QQP and PAWS2 [33]), news data - MRPC [9]), tweets - Twitter News URL corpus [14] and Twitter Paraphrase corpus [30]), subtitles - Opusparcus [7]), and more general 画像キャプション - COCO [4] と Multi30k [10] 、重複した質問 - QQP と PAWS2 [33] 、ニュースデータ - MRPC [9] 、つぶやき - Twitter News URL corpus [14] と Twitter Paraphrase corpus [30] 、字幕 - Opusparcus [7] など、さまざまなデータソースを使用して、既存のパラフレーズデータセットが作成(あるいは再使用)されている。 0.82
1https://github.com/ matejklemen/paraphra se-nli 2PAWS also contains instances from Wikipedia as an additional source. 1https://github.com/ matejklemen/paraphra se-nli 2PAWSにもウィキペディアのインスタンスが追加ソースとして含まれている。 0.48
2 2 0.42
英語(論文から抽出)日本語訳スコア
A PREPRINT - NOVEMBER 16, 2021 プレプリント-2021年11月16日 0.51
bilingual text - PPDB [11]). バイリンガルテキスト - PPDB [11]) 0.53
Although most resources are available for the English language, some datasets also exist for other languages. ほとんどのリソースは英語で利用できるが、他の言語にもいくつかのデータセットが存在する。 0.71
Opusparcus uses multilingual subtitles to produce paraphrases in six different languages. オプスパルクスは6つの異なる言語でパラフレーズを生成するために多言語字幕を使用する。 0.50
PPDB was created for English and Spanish, and PAWS-X [31] contains instances from PAWS translated into six different languages. PAWS-X[31]には、6つの異なる言語に翻訳されたPAWSのインスタンスが含まれている。 0.71
The Multi30k dataset provides a translation of the image captions in Flickr30k [32] to German, to which they add new (independent) German captions. multi30kデータセットは、flickr30k [32] の画像キャプションをドイツ語に翻訳し、新しい(独立した)ドイツ語キャプションを追加する。 0.69
With our work, we expand the pool of paraphrasing resources by using a different, previously unused source – NLI data. 我々の研究により、異なる、以前は使われていなかったNLIデータを使用することで、パラフレーズリソースのプールを広げます。
訳抜け防止モード: 作業により、パラフレージングリソースのプールを拡大します。 異なる未使用のソース – NLIデータを使用する。
0.78
By learning the relations in NLI datasets and asserting the validity of bidirectional entailment for paraphrasing, we ensure the equivalence of meanings. NLIデータセットにおける関係を学習し、パラフレージングにおける双方向の包含の有効性を主張することにより、意味の同値性を確保する。 0.61
In some of the existing paraphrasing datasets, the meaning equivalence can be potentially problematic, e g , in those that use image captions or duplicate questions. 既存のパラフレージングデータセットのいくつかでは、画像キャプションや重複した質問を使用する場合など、等価性の意味が潜在的に問題となる可能性がある。 0.58
However, a slight modification of our framework enables us to detect some of the inconsistencies in existing paraphrasing datasets. しかし、我々のフレームワークのわずかな変更により、既存のパラフレーズデータセットのいくつかの矛盾を検出することができる。
訳抜け防止モード: しかし フレームワークを少し変更すれば 我々は既存のパラフレージングデータセットにおける不整合のいくつかを検出する。
0.70
Our approach can be used in any language with an existing NLI dataset and NLI model of sufficient quality. 我々のアプローチは、既存のNLIデータセットと十分な品質のNLIモデルを持つ任意の言語で使用することができる。 0.71
We verify this with cross-lingual experiments where we extract paraphrases for a few less-resourced languages using a cross-lingual transfer from the English NLI model. 我々は、英語NLIモデルからの言語間移動を用いて、少数の低リソース言語に対するパラフレーズを抽出する言語間実験でこれを検証した。 0.67
3 Transfer between NLI and paraphrasing datasets 3 nliとparaphrasingデータセット間の転送 0.82
In this section, we describe the use of NLI for extracting paraphrases and paraphrase filtering. 本稿では,NLIを用いたパラフレーズ抽出とパラフレーズフィルタリングについて述べる。 0.71
In Section 3.1, we first describe the methodology for extraction of paraphrases from an existing NLI dataset, while in Section 3.2, we describe how an existing paraphrasing dataset can be cleaned. 第3.1節では,既存のNLIデータセットからパラフレーズを抽出するための方法論を最初に記述し,第3.2節では既存のパラフレーズデータセットの浄化方法について述べる。 0.66
In Section 3.3, we discuss the training of NLI classifiers which are the essential components of our methodology. 第3節3では,本手法の重要な構成要素であるnli分類器の訓練について述べる。 0.61
Figure 1: A schematic representation of our method for paraphrase extraction from an NLI dataset. 図1:NLIデータセットからのパラフレーズ抽出のための手法のスキーマ表現。 0.74
In Step 1, we extract the sequence pairs labeled as entailment from the NLI dataset. ステップ1では、NLIデータセットからエンテーメントとしてラベル付けされたシーケンスペアを抽出する。 0.70
In Step 2, we reverse the order of these sequence pairs. ステップ2では、これらの列対の順序を逆にする。 0.70
The labels for the reversed instances are unknown, so we use an NLI model to predict them (Steps 3 and 4). 逆インスタンスのラベルは不明なので、NLIモデルを使って予測する(ステップ3、ステップ4)。
訳抜け防止モード: 逆のインスタンスのラベルは不明。 そこで、NLIモデルを使ってそれらを予測します(ステップ3と4)。
0.72
Once we obtain the new labels, we select the sequence pairs that are marked as entailment (Step 5). 新しいラベルを取得すると、エンテーメントとしてマークされたシーケンスペアを選択する(ステップ5)。 0.74
These make up the new paraphrasing dataset. これらは新しいパラフレーズデータセットを構成する。 0.67
3.1 NLI for paraphrase extraction 3.1 パラフレーズ抽出のためのNLI 0.64
Figure 1 shows five steps of the proposed methodology for extraction of paraphrases from an existing NLI dataset. 図1は、既存のNLIデータセットからパラフレーズを抽出するための提案手法の5つのステップを示している。 0.65
The main idea of the methodology is that two sentences forming a paraphrase have to mutually entail each other in the logical sense. この方法論の主な考え方は、パラフレーズを形成する2つの文が論理的な意味で相互に結合しなければならないということである。
訳抜け防止モード: 方法論の主な考え方は パラフレーズを形成する2つの文は、論理的な意味で相互に関係し合わなければならない。
0.69
The input to the methodology is a high quality (e g , manually labeled) NLI dataset, where instances are pairs of sentences (s1, s2), i.e. (premise, hypothesis). この方法論への入力は高品質な(例えば手動でラベル付けされた)NLIデータセットであり、インスタンスは文のペア(s1, s2)、すなわち(前提、仮説)である。 0.75
In NLI datasets, there are typically three types of relations between the sentences s1 and s2, namely entailment, contradiction, or neutral. NLIデータセットでは、通常、文 s1 と s2 の間には3種類の関係がある。
訳抜け防止モード: NLIデータセットでは、文 s1 と s2 の間には通常3種類の関係がある。 つまり エンテーメント 、矛盾 、中立 。
0.68
In Step 1, we filter the input NLI dataset, keeping only the instances labeled as the entailment. Step 1では、入力されたNLIデータセットをフィルタリングし、entailmentとしてラベル付けされたインスタンスのみを保持する。 0.65
In Step 2, we reverse the order of these sequences, placing each hypothesis in place of the premise and the premise in place of the hypothesis. ステップ2では、これらの列の順序を逆転させ、各仮説を前提に置き、前提を仮説に置きます。 0.59
3 entailmententailment contradictionneutral entailmentNLI datasets1s2entailmen tentailmententailmen t?? 3 Entailmententailment Contradictionneutral entailmentNLI datasets1s2entailmen tentailmententailmen t? 0.27
?NLI MODELentailmentneutr alentailmententailme ntentailmentParaphra sess1s2s1s2s1s212345 s1s2 ?NLI MODELentailmentneutr alentailmententailme ntParaphrases1s2s1s2 s1s212345s1s2 0.05
英語(論文から抽出)日本語訳スコア
A PREPRINT - NOVEMBER 16, 2021 プレプリント-2021年11月16日 0.51
We obtain a new NLI dataset with unknown labels, so in Step 3, we use an existing NLI prediction model to predict them. 未知のラベルを持つ新しいNLIデータセットを得るため、ステップ3では既存のNLI予測モデルを用いて予測する。 0.76
This can be any NLI model; for example, we can obtain it by training a machine learning classifier on the original NLI dataset or some other NLI dataset. 例えば、元のNLIデータセットまたは他のNLIデータセット上で機械学習分類器をトレーニングすることで、これを得ることができます。 0.77
The result (Step 4) are pairs of sentences, labeled as entailment, contradiction or neutral by the trained NLI model. その結果(ステップ4)は、訓練されたNLIモデルによって、内容、矛盾、中立とラベル付けされた文のペアである。 0.58
We filter the results (Step 5), keeping only the instances predicted to be entailment. 結果をフィルタリングします(ステップ5)。 0.30
For these instances, the bidirectional textual entailment relation holds and, therefore, they constitute paraphrases. これらの例では、双方向のテキストエンターメント関係が成立し、パラフレーズを構成する。 0.72
To form the final paraphrasing dataset, we remove the labels, keeping only sentence pairs (s2, s1). 最終パラフレーズデータセットを形成するために、ラベルを削除し、文ペアのみを保持する(s2, s1)。 0.70
The instances which are not extracted are not paraphrases and could be used as negative instances in a paraphrase detection or generating dataset. 抽出されていないインスタンスはパラフレーズではなく、パラフレーズ検出やデータセットの生成において負のインスタンスとして使用できる。 0.65
As our experiments show, the number of non-paraphrases is much larger than the number of paraphrases. 実験の結果,ノンフレーズの数はパラフレーズの数よりもはるかに多いことがわかった。 0.72
They range from trivial to difficult-to-detect non-paraphrases. 単純なものから検出が難しいものまで様々である。 0.36
In order to find difficult instances, Step 5 can be modified only to keep the instances predicted to be neutral. 難しいインスタンスを見つけるために、Step 5は、予測されるインスタンスを中立に保つためにのみ修正できる。 0.61
In our experiments, we only deal with the extraction of paraphrases and leave the detailed exploration of this scenario for further work. 私たちの実験では、パラフレーズの抽出にのみ対処し、さらなる作業のためにこのシナリオの詳細な調査を行ないます。 0.75
3.2 NLI for paraphrase filtering 3.2 パラファーゼフィルタリング用nli 0.75
The above method for paraphrase extraction can be reused for other tasks. 上記のパラフレーズ抽出法は他のタスクに再利用することができる。 0.71
We describe how it can be adapted to filter an existing paraphrase identification dataset, where examples are labeled as paraphrases or non-paraphrases. 本稿では,既存のparaphrase識別データセットをフィルタする方法を説明し,サンプルをparaphrasesあるいはnon-paraphrasesとラベル付けする。 0.74
Such datasets may contain a certain amount of noisy annotations. このようなデータセットは、ある種のノイズの多いアノテーションを含むことができる。 0.53
For instance, in the QQP dataset, noisy instances are present because a question and its duplicate question (a paraphrase) are usually, but not always, identical concepts. 例えば、QQPデータセットでは、質問とその重複する質問(パラフレーズ)は通常同じ概念であるが、常に同じ概念ではないため、ノイズのあるインスタンスが存在する。 0.76
The authors motivate duplicate question detection as finding questions with the same intent. 著者らは、同じ意図で質問を見つけるために、重複した質問検出を動機付けている。 0.48
For example, “How do I learn SQL?” and “Which is the best book for SQL?” would indicate the exact intent of obtaining more knowledge about SQL, but the meaning cannot be considered identical. 例えば、“どのようにSQLを学ぶか?”と“Which is the best book for SQL?”は、SQLについてより多くの知識を得るという正確な意図を示しているが、その意味は同じとは考えられない。 0.83
To use the framework for paraphrase filtering, we make the following modifications. パラフレーズフィルタリングのフレームワークを使用するには、以下の変更を行う。 0.71
The input to our framework is now a paraphrase identification dataset, with the labels paraphrase and non-paraphrase. フレームワークへの入力は現在、paraphrase識別データセットであり、ラベルparaphraseとnon-paraphraseがあります。 0.68
In Step 1, we filter the dataset by selecting instances labeled as a paraphrase (instead of entailment). Step 1では、(エンターメントの代わりに)パラフレーズとしてラベル付けされたインスタンスを選択してデータセットをフィルタリングします。 0.65
We repeat the process of reversing the order of paraphrases (Step 2), now predicting if the reversed sequence pair is a paraphrase or non-paraphrase using an existing paraphrase identification model (Step 3 and 4). パラフレーズの順序を反転させるプロセスを繰り返す(ステップ2)とともに、既存のパラフレーズ識別モデルを用いて、逆シーケンスペアがパラフレーズか非パラフレーズかを予測する(ステップ3、ステップ4)。 0.81
In Step 5, we select the instances predicted to be non-paraphrases. ステップ5では、非パラフレーズであると予測されたインスタンスを選択します。 0.58
These instances are paraphrases in one direction but not in the other. これらのインスタンスは、一方の方向はパラフレーズだが、他方はパラフレーズではない。 0.48
Since a paraphrase is supposed to be symmetrical, the output represents falsely labeled paraphrases removed in the final cleaned dataset. パラフレーズは対称であるはずなので、出力は最終クリーンデータセットで削除された偽のラベル付きパラフレーズを表す。 0.67
3.3 Implementation details Sections 3.1 and 3.2 presents the description of the proposed method. 3.3 実施内容 セクション3.1と3.2は、提案手法の説明を示す。 0.46
Here, we provide implementation details. ここでは実装の詳細を述べる。 0.58
For all NLI models, we use the default sequence pair set up [8]. すべてのNLIモデルに対して、デフォルトシーケンスペアを[8]に設定します。 0.75
In our fine-tuning procedure, we consider four types of models: BERT, multilingual BERT [8], RoBERTa (base and large variant) [18], and XLM-RoBERTa (XLM-R, base and large variant) [6]. 細調整手順では,BERT,多言語BERT [8],RoBERTa (ベースおよび大型変種) [18],XLM-RoBERTa (XLM-R,ベースおよび大型変種) [6]の4種類のモデルを検討する。 0.76
We fine-tune them on the datasets described in Section 4.1, considering multilingual BERT and XLM-R in cross-lingual experiments and BERT and RoBERTa in monolingual experiments. 本研究は,言語横断実験における多言語BERTとXLM-R,単言語実験におけるBERTとRoBERTaを考慮し,第4節1節に記載したデータセットを微調整する。 0.52
In Section 4, we report results for only one of the two model types, selected based on the validation set F1 score. 第4節では、検証セットf1スコアに基づいて選択した2つのモデルタイプのうち1つのみの結果を報告する。 0.69
We use the AdamW optimizer [20] with the learning rate 2 × 10−5. 我々はAdamWオプティマイザ[20]を学習率2×10−5で使用する。 0.72
In one instance, where the model did not converge (large XLM-R on XNLI), we decreased the learning rate to 5 × 10−6. モデルが収束しなかった場合(XNLIではXLM-Rが大きい)、学習速度を5×10−6に下げた。 0.78
We try two settings of the maximum sequence length for each model: 95th and 99th percentile of sequence lengths in a training set. 各モデルの最大シーケンス長の2つの設定を試す:トレーニングセットにおけるシーケンス長の95番目と99番目のパーセンタイル。 0.81
To prevent overfitting, we use early stopping based on the validation set F1 score using a tolerance of five rounds. オーバーフィッティングを防止するため,5ラウンドの許容値を用いて検証セットf1スコアに基づいて早期停止を行う。 0.75
We use the model implementations from the transformers package [28] and pretrained checkpoints from the HuggingFace Model Hub3. トランスフォーマーパッケージ[28]のモデル実装とHuggingFace Model Hub3の事前トレーニングされたチェックポイントを使用します。 0.81
4 Evaluation The proposed methodology can create paraphrasing datasets from NLI datasets or improve the quality of existing paraphrasing datasets. 4 評価 提案手法では,NLIデータセットからパラフレーズデータセットを作成したり,既存のパラフレーズデータセットの品質を向上させることができる。 0.67
We first describe the NLI and paraphrasing datasets used as inputs to our methodology (Section 4.1), and the metrics we use to measure the performance of the models (Section 4.2). まず、我々の方法論の入力として使用されるNLIおよびパラフレーズデータセット(Section 4.1)と、モデルの性能を測定するために使用するメトリクス(Section 4.2)について説明する。 0.75
In Section 4.3 we evaluate the creation of paraphrasing datasets, and in Section 4.4, we analyse the cleaning of existing paraphrasing datasets. 第4.3節ではパラフレージングデータセットの作成を評価し,第4.4節では既存のパラフレージングデータセットのクリーニングを分析した。 0.68
3https://huggingface .co/models 3https://huggingface .co/models 0.21
4 4 0.42
英語(論文から抽出)日本語訳スコア
A PREPRINT - NOVEMBER 16, 2021 プレプリント-2021年11月16日 0.51
4.1 Input NLI and paraphrasing datasets 4.1 入力NLIとパラフレーズデータセット 0.57
In our experiments, we use three NLI datasets (SNLI, MNLI, and XNLI) and two paraphrase identification datasets (QQP and MRPC). 実験では3つのNLIデータセット(SNLI, MNLI, XNLI)と2つのパラフレーズ識別データセット(QQP, MRPC)を用いた。 0.87
All instances in NLI datasets are annotated using a three-class annotation scheme where each sequence pair is labeled as entailment, neutral, or contradiction. NLIデータセットのすべてのインスタンスは、3つのクラスのアノテーションスキームを使用して注釈付けされ、各シーケンスペアはエンテーメント、中立、矛盾としてラベル付けされる。 0.57
The paraphrase identification datasets are annotated using two labels: paraphrase or non-paraphrase. paraphrase識別データセットは、paraphraseまたはnon-paraphraseの2つのラベルを使用してアノテートされる。 0.54
The NLI datasets are balanced in the distributions of the three labels. NLIデータセットは、3つのラベルの分布でバランスをとる。 0.81
In contrast, the paraphrase identification datasets are unbalanced, with MRPC containing approximately two-thirds of paraphrases and QQP approximately two-thirds of non-paraphrases. 対照的に、パラフレーズ識別データセットは不均衡であり、MRPCは約3分の2のパラフレーズ、QQPは3分の2の非パラフレーズを含む。 0.53
Unless described otherwise, we use the training:development :testing set splits determined by dataset authors. それ以外の説明がない限り、トレーニング:開発:テスト データセットの作者によって決定される分割セットを使用する。 0.60
SNLI [2] is a NLI dataset containing 569 033 instances. SNLI [2] は 569 033 インスタンスを含む NLI データセットである。 0.90
The premises are image captions taken from the Flickr30k corpus [32]. flickr30kコーパスから引用された画像キャプション[32]である。 0.56
The hypotheses were produced by human contributors asked to write one caption that is definitely true (entailment), one that might be true (neutral) and one that is definitely not true (contradiction) given the premise. 仮説は、人間のコントリビュータが、確実に真実(エンターメント)であるキャプションと、真実(中立)であるキャプションと、前提から真ではないもの(矛盾)を書くように要求したものである。 0.63
The same meaning of labels is also used in MNLI and XNLI. ラベルの同じ意味は、MNLIやXNLIでも使われている。 0.77
MNLI [27] is an NLI dataset containing 412 349 instances that include written and spoken English across ten genres, as opposed to the single genre present in SNLI. MNLI[27]は,SNLIの1つのジャンルとは対照的に,10ジャンルにわたる英語の書き起こしを含む412の349のインスタンスを含むNLIデータセットである。 0.74
The premises are obtained from ten sources of freely available text while obtaining hypotheses is the same as for SNLI. 前提は、SNLIと同じ仮説を得ながら、自由に利用可能な10のテキストソースから得られる。 0.66
We use a slightly different dataset split from the one proposed by the authors. 著者が提案したデータセットと少し違うデータセットを使用します。 0.59
The validation and test sets in the original version are split into two parts, one containing genres present in the training set and the other containing genres not present in the training set. 検証セットとテストセットは、トレーニングセットに存在するジャンルとトレーニングセットに存在しないジャンルの2つの部分に分けられる。
訳抜け防止モード: 元のバージョンのバリデーションとテストセットは2つの部分に分けられる。 1つはトレーニングセットに存在するジャンル、もう1つはトレーニングセットに存在しないジャンルを含む。
0.76
Models are usually evaluated separately on the two parts, but we combine the two parts in our experiments. モデルは通常2つの部分で別々に評価されるが、実験では2つの部分を組み合わせる。 0.76
The test set labels are private, so we cannot use them. テストセットラベルはプライベートなので、使用できません。 0.61
Instead, we split the combined validation set randomly into two equal parts and use one half as the validation and one half as the test set. 代わりに、組み合わせたバリデーションセットをランダムに2つの等しい部分に分けて、半分をバリデーション、半分をテストセットとして使用します。 0.62
XNLI [5] is a NLI dataset containing 112 500 instances divided evenly across 15 languages. XNLI [5]は15言語で均等に分割された112の500インスタンスを含むNLIデータセットである。 0.72
In contrast to the previous two NLI datasets, XNLI only contains the validation and test set, while the training set is reused from MNLI. 以前の2つのNLIデータセットとは対照的に、XNLIは検証とテストのみを含み、トレーニングセットはMNLIから再利用される。 0.78
The sequence pairs were obtained using the same procedure as in MNLI and human translated into 15 languages. 配列対はMNLIと同じ手順で得られ、ヒトは15言語に翻訳された。 0.73
The authors also provide a machine translation of the training set into 15 languages and a machine translation of the validation and test sets into English, which we use to train monolingual models showing upper bounds of performance. 著者らはまた、トレーニングセットを15言語に機械翻訳し、バリデーションセットとテストセットを英語に機械翻訳し、パフォーマンスの上限を示す単言語モデルの訓練に使用する。
訳抜け防止モード: 著者らは、トレーニングセットを15言語に翻訳する機械翻訳も提供している。 検証とテストの機械翻訳が英語に翻訳されます パフォーマンスの上限を示す単言語モデルのトレーニングに使用しています。
0.79
QQP4 is a paraphrase identification dataset containing 404 279 instances. QQP4は404の279インスタンスを含むパラフレーズ識別データセットである。 0.70
It contains potentially duplicate question pairs posted on the Quora question-and-answer platform. QuoraのQ&Aプラットフォームにポストされた、潜在的に重複した質問ペアが含まれている。 0.44
The labels indicate whether a pair of questions could be considered a duplicate or not. ラベルは1対の質問が重複と見なされるかどうかを示している。 0.68
We use the dataset version provided in the GLUE benchmark [25]. GLUEベンチマーク[25]で提供されるデータセットバージョンを使用します。 0.69
As the test set labels are private, we use a randomly selected 50% of the validation set as the test set instead. テストセットラベルはプライベートなので、ランダムに選択された検証セットの50%をテストセットとして使用します。 0.78
MRPC [9] is a paraphrase identification dataset containing 5801 instances. MRPC[9]は5801インスタンスを含むパラフレーズ識別データセットである。 0.76
Its construction consisted of an initial candidate selection, noisy paraphrase detection using a machine learning model with handcrafted features, and human annotation of a subset of detected paraphrases. その構成は、最初の候補選択、手作り特徴を持つ機械学習モデルを用いたノイズのパラフレーズ検出、検出されたパラフレーズのサブセットの人間のアノテーションで構成された。 0.69
As there is no pre-determined validation set, we constructed it from 1000 instances, randomly sampled from the training set. 事前決定された検証セットがないため、トレーニングセットからランダムにサンプリングされた1000のインスタンスから構築しました。 0.68
4.2 Evaluation metrics To assess the properties of our method, we use several metrics on the trained NLI models and also perform a human evaluation of a sample of the instances. 4.2 評価指標 提案手法の特性を評価するために,訓練されたNLIモデルのいくつかの指標を使用し,サンプルのサンプルを人為的に評価する。 0.75
For the NLI models, we measure the (binary) precision (P) and recall (R) for the label entailment. NLIモデルでは、(バイナリ)精度(P)とラベル付与のリコール(R)を計測する。
訳抜け防止モード: NLIモデルでは、(バイナリ)精度(P)を測定する。 そして (R ) をラベルのentailment にリコールする。
0.70
These provide us with an estimate of how many and how correct paraphrases NLI models are able to extract: high precision indicates many correct paraphrases, and high recall indicates good coverage of paraphrases existing in the NLI dataset. これらの結果から,NLIモデルがどれだけ正確なパラフレーズを抽出できるかを推定できる。高い精度は多数の正しいパラフレーズを示し,高いリコールは,NLIデータセットに存在するパラフレーズの良好なカバレッジを示す。 0.79
P and R are defined with Equation 1, where tp is the number of actual entailment instances that are correctly predicted by the model, f p the number of actual non-entailment instances that are incorrectly predicted by the model, and f n the number of actual entailment instances that are incorrectly predicted by the model. P と R は Equation 1 で定義される。ここで tp はモデルによって正しく予測される実際のエンタテインメントインスタンスの数、fp はモデルによって誤って予測される実際の非エンタテインメントインスタンスの数、fn はモデルによって誤って予測される実際のエンタテインメントインスタンスの数である。 0.77
(1) P = R = (1) P = R = 0.42
tp tp + f p tp tp + f p である。 0.56
tp tp + f n tp tp + f n である。 0.56
Using P and R, we rely on the NLI model performance as a reasonable proxy for paraphrase extraction. P と R を用いて,パラフレーズ抽出の適切なプロキシとして NLI モデルの性能に依存する。 0.82
To validate these numbers, we perform a small scale manual validation. これらの数値を検証するため、我々は小規模な手動検証を行う。 0.63
We randomly sample 100 extracted paraphrases for each setting and check its precision (to compute recall, we would have to check the entire NLI dataset). 各設定毎に100の抽出パラフレーズをランダムにサンプリングし、その精度をチェックする(リコールを計算するには、NLIデータセット全体をチェックする必要がある)。 0.71
On XNLI, which consists of 15 languages, we manually validated German and French results as experts in other languages were not accessible to us. 15言語からなるXNLIでは、他の言語の専門家がアクセスできないため、ドイツ語とフランス語の結果を手作業で検証しました。 0.72
In manual validation, we mark as paraphrases only those sequence pairs, for which both sequences contain exactly the same meaning. 手動による検証では、両方のシーケンスが全く同じ意味を持つシーケンスペアのみをパラフレーズとしてマークする。 0.72
4https://quoradata.q uora.com/First-Quora -Dataset-Release-Que stion-Pairs 4https://quoradata.q uora.com/First-Quora -Dataset-Release-Que stion-Pairs 0.10
5 5 0.42
英語(論文から抽出)日本語訳スコア
A PREPRINT - NOVEMBER 16, 2021 プレプリント-2021年11月16日 0.51
For the evaluation of paraphrase filtering, we use the same metrics, but we take non-paraphrase as the positive label. パラフレーズフィルタリングの評価には,同じ指標を用いるが,非パラフレーズを正のラベルとする。 0.67
4.3 Paraphrase extraction results 4.3 パラフレーズ抽出結果 0.77
Using the methodology described in Section 3.1, we processed the three NLI datasets (SNLI, MNLI, and XNLI) described in Section 4.1. 第3.1節で記述した手法を用いて,第4.1節で記述した3つのNLIデータセット(SNLI, MNLI, XNLI)を処理した。 0.61
We first present the monolingual paraphrase extraction, followed by the cross-lingual experiments. まず,単言語パラフラーゼ抽出を行い,その後にクロスリンガル実験を行った。 0.65
4.3.1 Monolingual paraphrase extraction 4.3.1 単言語パラフレーズ抽出 0.51
Table 1 presents the number of extracted paraphrases, precision and recall of the used NLI model, and a manual estimate of precision in two monolingual datasets, SNLI and MNLI. 表1は、抽出されたパラフレーズの数、使用済みNLIモデルの精度とリコール、およびSNLIとMNLIの2つの単言語データセットにおける精度のマニュアル見積もりを示す。 0.77
We show results for three decision boundaries: when the entailment class is the most likely of the three (argmax) and two stricter probability thresholds for the entailment class (0.75 and 0.90). 内包クラスが3つの(argmax)の最も可能性の高いときと、内包クラス(0.75と0.90)のより厳密な2つの確率しきい値を示す。 0.74
Table 1: The number of extracted paraphrases (#), precision (P), recall (R) and manually estimated precision (ȱP) in SNLI and MNLI using three different decision thresholds for the entailment label. 表1:抽出されたパラフレーズ(#)、精度(P)、リコール(R)、手作業によるSNLIおよびMNLIにおける3つの決定しきい値を用いて、包含ラベルを決定する。
訳抜け防止モード: 表1:抽出されたパラフレーズ(#)の数 snliおよびmnliにおける精度(p)、リコール(r)および手動推定精度(snli) 包括ラベルに3つの異なる決定しきい値を使用する。
0.85
Below each dataset name we show the number of entailment instances in the dataset. 各データセット名の下には、データセット内の詳細インスタンスの数が表示されます。 0.61
dataset (size) dataset (複数形 datasets) 0.69
SNLI (183416) SNLI (183416) 0.43
MNLI (130899) mnli(130899年) 0.57
decision threshold argmax T=0.75 T=0.90 argmax T=0.75 T=0.90 決定しきい値 argmax T=0.75 T=0.90 argmax T=0.75 T=0.90 0.19
# P roberta-base # P ロベルタベース 0.42
R 17793 12067 8857 R 17793 12067 8857 0.43
40948 30718 21905 40948 30718 21905 0.42
0.902 0.948 0.972 0.902 0.948 0.972 0.24
0.888 0.945 0.975 0.888 0.945 0.975 0.24
0.901 0.825 0.730 0.901 0.825 0.730 0.24
0.865 0.734 0.576 0.865 0.734 0.576 0.24
ȱP 0.670 0.790 0.850 p 0.670 0.790 0.850 0.25
0.820 0.930 0.950 0.820 0.930 0.950 0.24
# 16300 10339 4539 # 16300 10339 4539 0.42
43992 35789 27119 43992 35789 27119 0.42
roberta-large P roberta (複数形 robertas) 0.17
R 0.921 0.961 0.985 R 0.921 0.961 0.985 0.33
0.909 0.956 0.976 0.909 0.956 0.976 0.24
0.906 0.817 0.547 0.906 0.817 0.547 0.24
0.886 0.799 0.661 0.886 0.799 0.661 0.24
ȱP 0.790 0.900 0.920 P 0.790 0.900 0.920 0.26
0.860 0.910 0.950 0.860 0.910 0.950 0.24
We notice that the proposed approach extracts a significant number of paraphrases in all tested modes. 提案手法は,全ての試験モードにおいて,かなりの数のパラフレーズを抽出する。 0.70
Below we address several aspects of the obtained paraphrases. 以下は、得られたパラフレーズのいくつかの側面について述べる。 0.49
First, although SNLI contains a larger candidate pool of potential paraphrases than MNLI, there is a larger proportion of paraphrases present in MNLI. まず、SNLIはMNLIよりも大きな候補パラフレーズプールを含んでいるが、MNLIにはより多くのパラフレーズが存在する。 0.65
A likely reason for this is heuristics employed by the MNLI annotators to generate hypotheses quickly; some have previously been outlined for SNLI and MNLI by Gururangan et al [12]. この理由の可能性が高いのは、mnliアノテータが仮説を素早く生成するために使うヒューリスティックスであり、グルランガンらによって以前にsnliとmnliについて概説されていたものもある。
訳抜け防止モード: これは、MNLIアノテータが仮説を迅速に生成するために使うヒューリスティックスである可能性がある。 SNLI と MNLI については Gururangan らによって以前概説されている。
0.61
MNLI contains multiple genres, for some of which the quickest way to create a hypothesis given a premise is to rephrase the premise. MNLIには複数のジャンルがあり、前提が与えられた仮説を作成する最も速い方法は前提を言い換えることである。 0.69
This explanation is strengthened by the genre distribution of extracted paraphrases, with the most common genres being telephone and fiction. この説明は抽出されたパラフレーズのジャンル分布によって強化され、最も一般的なジャンルは電話とフィクションである。 0.68
Premises from these two genres are often parts of dialogues. この2つのジャンルの前提は、しばしば対話の一部となる。 0.65
It is difficult for annotators to quickly find a true hypothesis without it being a rephrased version of the premise. アノテータは、前提の言い換えたバージョンでなくても、真の仮説を素早く見つけることは困難である。 0.65
Second, using a larger and more precise roberta-large model does not necessarily imply a higher amount of extracted paraphrases. 第二に、より大きくより正確なロベルタ・ラージモデルを使用することは、必ずしも高い量の抽出パラフレーズを含まない。 0.63
For example, in MNLI, the large model extracts more paraphrases than the base model, but in SNLI, this is not the case. 例えば、MNLIでは、大きなモデルはベースモデルよりも多くのパラフレーズを抽出するが、SNLIではそうではない。 0.65
When using the two stricter decision thresholds, we can see the reason: the larger model obtains higher precision, but lower recall, which roughly corresponds to the decrease in the number of extracted paraphrases. より厳密な2つの決定しきい値を使用すると、より大きいモデルはより高い精度を得るが、低いリコールは、抽出されたパラフレーズ数の減少にほぼ一致する。 0.72
On the other hand, the explanation for the argmax decision boundary is less clear. 一方、argmax決定境界の説明は明らかになっていない。 0.55
We checked the rate and type of errors the two models make and found that the base model more frequently incorrectly classifies entailment as contradiction than the large model (80 versus 38 errors). 2つのモデルが生成するエラーの頻度とタイプをチェックし、ベースモデルがエンターメントを大モデル(80対38エラー)よりも矛盾と誤分類することが多いことを発見した。 0.84
This could be an indication that the model has learned an erroneous pattern which leads to the model extracting more false positives. これはモデルが誤ったパターンを学習し、モデルがより多くの偽陽性を抽出したことを示すものかもしれない。 0.71
The manual validation confirmed that the base model indeed extracts less correct paraphrases. 手動による検証では、ベースモデルが実際には正しいパラフレーズを抽出することを確認した。 0.54
Unsurprisingly, with more strict decision thresholds, we extract fewer paraphrases. 当然のことながら、より厳格な決定しきい値により、より少ないパラフレーズを抽出する。 0.54
Different thresholds represent trade-offs between the precision and recall of the paraphrase extraction process. 異なるしきい値はパラファーゼ抽出プロセスの精度とリコールの間のトレードオフを表す。 0.75
Higher thresholds lead to the extraction of paraphrases with higher confidence. より高い閾値は、高い信頼を持つパラフレーズの抽出につながる。 0.72
Thus, using higher thresholds, we decrease the likelihood of extracting false paraphrases and increase the chance that we miss some of the actual paraphrases. したがって、より高い閾値を用いて偽パラフレーズを抽出する確率を減らし、実際のパラフレーズのいくつかを見逃す可能性を高める。 0.64
The results of the manual validation agree with this, although the improvement in precision becomes smaller as we use stricter decision thresholds. 手動検証の結果はこれに一致するが、より厳密な決定しきい値を使用すると精度の向上は小さくなる。 0.76
More certain paraphrases are typically more conservative. より特定のパラフレーズは一般的により保守的である。 0.52
Our additional analysis showed that the sequences in more certain pairs are more similar in length (number of tokens) and have a smaller normalized edit distance [15] than the paraphrases extracted with the argmax decision boundary. 追加分析の結果,より特定のペアの配列は長さ(トークン数)が似ており,argmax決定境界で抽出されたパラフラスよりも正規化編集距離 [15] が小さいことがわかった。 0.83
Stricter decision boundaries might be preferred when we want to minimize the false positives in paraphrases that could guide the downstream paraphrase generation model to make up new information. 下流のパラフレーズ生成モデルが新しい情報を構成するためのガイドとなるパラフレーズの偽陽性を最小限に抑えるためには、より厳格な決定バウンダリが望ましい。 0.74
6 6 0.43
英語(論文から抽出)日本語訳スコア
A PREPRINT - NOVEMBER 16, 2021 プレプリント-2021年11月16日 0.51
4.3.2 Cross-lingual paraphrase extraction 4.3.2 言語間パラフレーズ抽出 0.52
Table 2 shows the number of extracted paraphrases in the cross-lingual setting using the XNLI datasets in 15 languages. 表2は、XNLIデータセットを15言語で用いた言語間設定における抽出されたパラフレーズの数を示す。 0.72
We train and validate a single model on the English data and use this model on the validation and test sets in all 15 languages. 英語データ上で1つのモデルをトレーニングし、検証し、このモデルを全15言語で検証およびテストセットで使用します。 0.85
We report only the results obtained with the argmax decision boundary, i.e. we extract a paraphrase if entailment is the most probable class. 我々は、argmax決定境界で得られた結果のみを報告し、つまり、帰結が最も可能性の高いクラスである場合、パラフレーズを抽出する。 0.70
The other two decision thresholds extract lower numbers of paraphrases in similar ratios as shown in Table 1. 他の2つの決定しきい値は、表1に示すように、同じ比率でパラフレーズの少ない数を抽出する。 0.63
Table 2: The number of extracted paraphrases (#), precision (P) and recall (R) for datasets in 15 different languages present in XNLI for the argmax decision threshold. 表2: argmax決定しきい値にXNLIに存在する15の異なる言語のデータセットに対する抽出されたパラフレーズ(#)、精度(P)、リコール(R)の数。 0.82
Each dataset contained 2500 entailment instances. 各データセットには2500のインスタンスが含まれている。 0.54
We mark machine translation (MT) settings where a language-specific model could not be found or set up with “/”. 言語固有のモデルが見つからなかったり、“/”で設定できなかったりする機械翻訳(MT)の設定をマークします。 0.78
For German and French, we provide a human estimate of the precision (ȱP). ドイツ語とフランス語では、正確さを人間の推定値として提示する。 0.65
lng ar bg de el en es fr hi ru sw th tr ur vi zh ロン アル・ビグ・デ・エル・エ・エ・シュ・ヒ・ス・トゥ・トゥ・トゥ・トゥ・ウ・ヴィ・ザ 0.34
XLM-R base P XLM-Rベース P 0.54
R # 405 0.768 0.587 449 0.808 0.686 494 0.783 0.686 488 0.777 0.667 488 0.831 0.795 462 0.804 0.723 512 0.780 0.737 383 0.746 0.532 438 0.781 0.665 407 0.657 0.580 381 0.815 0.544 405 0.764 0.619 307 0.760 0.449 374 0.785 0.649 419 0.784 0.610 R # 405 0.768 0.587 449 0.808 0.686 494 0.783 0.686 488 0.777 0.667 488 0.831 0.795 462 0.804 0.723 512 0.780 0.737 383 0.746 0.532 438 0.781 0.665 407 0.657 0.580 381 0.815 0.544 405 0.764 0.619 307 0.760 0.449 374 0.785 0.649 419 0.784 0.610 0.34
/ / P XLM-R large R ȱP / / P xlm-r 大型 r である。 0.43
# 394 0.866 0.629 439 0.882 0.735 465 0.872 0.740 0.780 446 0.860 0.726 509 0.890 0.843 462 0.893 0.740 460 0.881 0.741 0.810 383 0.841 0.607 411 0.882 0.663 371 0.812 0.560 387 0.851 0.644 367 0.865 0.662 358 0.823 0.531 380 0.863 0.650 407 0.854 0.640 # 394 0.866 0.629 439 0.882 0.735 465 0.872 0.740 0.780 446 0.860 0.726 509 0.890 0.843 462 0.893 0.740 460 0.881 0.741 0.810 383 0.841 0.607 411 0.882 0.663 371 0.812 0.560 387 0.851 0.644 367 0.865 0.662 358 0.823 0.531 380 0.863 0.650 407 0.854 0.640 0.26
/ / / / / / / / / / / / / / / / 0.42
/ / / R MT (train) P / / / R mt (複数形 mts) 0.49
# 624 0.761 0.710 452 0.799 0.722 560 0.830 0.792 431 0.813 0.670 521 0.907 0.874 505 0.811 0.774 480 0.875 0.791 620 0.575 0.644 465 0.784 0.703 # 624 0.761 0.710 452 0.799 0.722 560 0.830 0.792 431 0.813 0.670 521 0.907 0.874 505 0.811 0.774 480 0.875 0.791 620 0.575 0.644 465 0.784 0.703 0.26
/ / / / / / / / / / / / 0.42
/ / / 466 0.793 0.724 / / / 466 0.793 0.724 0.38
563 0.762 0.645 597 0.778 0.736 563 0.762 0.645 597 0.778 0.736 0.27
P MT (test) R P mt (複数形 mts) 0.49
# 331 0.900 0.562 388 0.889 0.670 399 0.880 0.660 382 0.895 0.655 521 0.907 0.874 393 0.896 0.705 386 0.884 0.692 268 0.847 0.446 356 0.884 0.611 242 0.841 0.380 302 0.867 0.499 331 0.878 0.569 244 0.837 0.384 278 0.866 0.531 349 0.893 0.567 # 331 0.900 0.562 388 0.889 0.670 399 0.880 0.660 382 0.895 0.655 521 0.907 0.874 393 0.896 0.705 386 0.884 0.692 268 0.847 0.446 356 0.884 0.611 242 0.841 0.380 302 0.867 0.499 331 0.878 0.569 244 0.837 0.384 278 0.866 0.531 349 0.893 0.567 0.26
The results indicate that the proposed approach is effective even in the cross-lingual setting and produces valuable paraphrasing datasets. その結果,提案手法は言語間設定においても有効であり,貴重なパラフレーズデータセットを生成することが示唆された。
訳抜け防止モード: 結果は 提案手法は、言語横断設定においても有効であり、貴重なパラフレージングデータセットを生成する。
0.65
Below we analyze their properties. 以下はその特性を分析する。 0.70
While the number of extracted paraphrases is fairly similar across most languages, the cross-lingual models do not perform equally well across all languages, as indicated by the precision and recall of these models. 抽出されたパラフレーズの数は、ほとんどの言語でかなり似ているが、これらのモデルの精度とリコールによって示されるように、言語横断モデルはすべての言語で等しく機能しない。 0.72
Differences between languages are present also for stricter decision thresholds. 言語間の差異は、より厳格な決定しきい値にも存在する。 0.66
A further cause of errors is translations. エラーのさらなる原因は翻訳である。 0.79
While all datasets are translated from the same English originals, the translations are not necessarily direct and unambiguous. すべてのデータセットは、同じ英語のオリジナルから翻訳されるが、必ずしも直接的かつ曖昧ではない。 0.73
For example, “I have a problem with a mole” can mean a problem due to skin growth or caused by an animal, and can get different translations due to the assumed meaning. 例えば、"i have a problem with a mole"は、皮膚の成長や動物によって引き起こされる問題を意味し、仮定された意味によって異なる翻訳が得られる。 0.82
To illustrate the variance of the extracted paraphrases in the cross-lingual setting, we counted the overlapping paraphrases for the XLM-R-large model with the argmax threshold. 言語横断環境における抽出パラフレーズのばらつきを説明するために,argmax閾値のXLM-R-largeモデルの重複パラフレーズを数えた。 0.79
Across all 15 languages, there are a total of 898 unique paraphrases, of which 47 are common across all languages, and 330 are common across at least 10 languages. 全15言語に合計898の独特なパラフレーズがあり、そのうち47言語は全言語に共通しており、330言語は少なくとも10言語に共通している。 0.81
The results of manual validation show that the paraphrases extracted using a cross-lingual approach are also of good quality. 手動検証の結果,言語間アプローチを用いて抽出したパラフレーズも良質であることがわかった。 0.75
For the two settings we validated (German and French), we found that approximately 80% of the extracted paraphrases are correct. 検証した2つの設定(ドイツ語とフランス語)について,抽出したパラフレーズの約80%が正しいことがわかった。 0.70
In addition to cross-lingual approach, we tested two common translation baselines “translate-train” and “translate-test” [5]. 言語横断的なアプローチに加えて,翻訳訓練と翻訳試験の2つの共通翻訳基準を検証した[5]。 0.77
The “translate-train” generally extracts more paraphrases than the cross-lingual models, while the reverse is true for the “translate-test” approach. Translate-train”は一般的に、言語間のモデルよりも多くのパラフレーズを抽出しますが、逆は“translate-test”アプローチに当てはまります。 0.68
We hypothesize this is due to the noise introduced by machine translation. これは機械翻訳によるノイズによるものであると仮定する。 0.72
In “translatetrain”, the training sequences are translated into the target language. translatetrain”では、トレーニングシーケンスがターゲット言語に変換される。 0.68
The low quality of some translations causes that the models learn noisy patterns and extract more paraphrases from the validation and test set. いくつかの翻訳の低品質は、モデルがノイズパターンを学習し、検証とテストセットからより多くのパラフレーズを抽出する原因となります。
訳抜け防止モード: 翻訳の質が低ければ モデルはノイズパターンを学習し、バリデーションとテストセットからより多くのパラフレーズを抽出する。
0.74
In “translate-test”, the situation is reversed. translate-test”では、状況が逆転する。 0.81
The model learns from higher-quality English instances, while the machine-translated validation and test instances are less coherent and less likely classified as paraphrases. モデルは高品質な英語のインスタンスから学習するが、機械翻訳による検証とテストのインスタンスは一貫性が低く、パラフレーズに分類される可能性が低い。 0.62
For example, the German sentence “Was super ist am Leben auf dem Land, ist dass man sich nicht über solche Dinge ärgern muss.” gets incorrectly translated into “What’s great about life in the country is that you don’t have to tease about such things.” (instead of “be upset”), which decreases the entailment probability in this instance. 例えば、ドイツ語の「Was super ist am Leben auf dem Land, ist dass man sich nicht über solche Dinge ärgern muss.」という文は、誤って「この国の生活の素晴らしいところは、そのようなことをからかう必要がないことである」と訳され、この場合の複雑な可能性を減らす。
訳抜け防止モード: 例えば、ドイツ語の“s super ist am Leben auf dem Land”という文がある。 ist dass man sich nicht über solche Dinge ärgern muss .” は誤って "国の生活の偉大なところは,そのようなことをからかう必要がないことだ" と訳される。 ( “ be upset ” ではなく) この例ではentailment の確率が減少する。
0.87
Due to the sources of noise that are hard to account for, we warn against the sole use of translation baselines in XNLI. ノイズの発生源として考慮し難いため、XNLIにおける翻訳ベースラインの唯一の使用に対して警告する。 0.70
The cross-lingual models present a strong alternative and may be used alone or in an ensemble mode. 言語間のモデルには強力な選択肢があり、単独でもアンサンブルモードでも使用できる。 0.65
7 7 0.42
英語(論文から抽出)日本語訳スコア
A PREPRINT - NOVEMBER 16, 2021 プレプリント-2021年11月16日 0.51
Table 3: The number of filtered paraphrases (#), precision (P), recall (R) and manually estimated precision (ȱP) in QQP and MRPC datasets using three different decision thresholds for the non-paraphrase label. 表3: 非パラフレーズラベルの3つの異なる決定しきい値を用いて、QQPデータセットとMRPCデータセットにおけるフィルタリングパラフレーズ(#)、精度(P)、リコール(R)、手動推定精度(UP)の数。 0.78
Below the dataset name we show the number of paraphrase instances in the dataset. データセット名の下に、データセット内のパラフレーズインスタンスの数を示す。 0.75
dataset (size) dataset (複数形 datasets) 0.69
QQP (149 263) QQP (149 263) 0.43
MRPC (3900) mrpc(3900年) 0.70
decision threshold argmax T=0.75 T=0.90 argmax T=0.75 T=0.90 決定しきい値 argmax T=0.75 T=0.90 argmax T=0.75 T=0.90 0.19
# P roberta-base # P ロベルタベース 0.42
R 13471 4084 1285 R 13471 4084 1285 0.43
230 157 83 230 157 83 0.42
0.934 0.978 0.991 0.934 0.978 0.991 0.24
0.854 0.882 0.913 0.854 0.882 0.913 0.24
0.834 0.727 0.622 0.834 0.727 0.622 0.24
0.718 0.649 0.542 0.718 0.649 0.542 0.24
ȱP 0.940 0.940 0.950 p 0.940 0.940 0.950 0.25
0.900 0.920 0.960 0.900 0.920 0.960 0.24
# 13426 5865 2363 # 13426 5865 2363 0.42
213 148 100 213 148 100 0.42
roberta-large P roberta (複数形 robertas) 0.17
R 0.937 0.967 0.985 R 0.937 0.967 0.985 0.33
0.832 0.859 0.880 0.832 0.859 0.880 0.24
0.884 0.821 0.748 0.884 0.821 0.748 0.24
0.796 0.746 0.670 0.796 0.746 0.670 0.24
ȱP 0.910 0.920 0.960 p 0.910 0.920 0.960 0.25
0.860 0.950 0.940 0.860 0.950 0.940 0.24
4.4 Filtering existing paraphrases 4.4 既存パラフレーズのフィルタリング 0.66
Using the methodology described in Section 3.2, we cleaned two existing paraphrasing datasets (QQP and MRPC) described in Section 4.1. 第3.2節に記載された方法論を用いて、第4.1節に記載された2つの既存のパラフレージングデータセット(qqpとmpc)をクリーニングした。 0.51
Table 3 shows the number of filtered-out paraphrases from QQP and MRPC datasets and a manual estimate of their precision. 表3は、qqpおよびmpcデータセットからのフィルタアウトパラフレーズの数と、その精度の手動推定を示している。 0.69
As in our paraphrase extraction experiments, we report the results using three decision boundaries, but now the thresholds apply to probabilities of non-paraphrase labels. パラフレーズ抽出実験と同様に、3つの決定境界を用いて結果を報告するが、今や閾値は非パラフレーズラベルの確率に適用できる。 0.73
Our method removes a relatively high amount of false paraphrases for both datasets, considering both datasets are well-known and popular paraphrase identification datasets. 本手法は,両方のデータセットがよく知られ,一般的なパラフレーズ識別データセットであるため,両方のデータセットに対して比較的大量の偽フレーズを除去する。 0.58
This confirms recent findings in other machine learning areas [21], where analyses have shown relatively high noise levels with possibly detrimental consequences. これは、分析によって比較的高いノイズレベルと潜在的に有害な結果が示されている他の機械学習領域 [21] における最近の発見を裏付ける。 0.64
The false paraphrases in QQP are often a consequence of using questions with the same intent but not necessarily identical concepts, as mentioned in Section 3.2. QQPにおける偽のパラフレーズは、しばしば、第3.2節で述べたように、同じ意図を持つ質問を使うが必ずしも同じ概念ではない。 0.70
In MRPC, the false paraphrases are due to relaxed annotation guidelines of what is to be considered a paraphrase. mrpcでは、偽のパラフレーズはパラフレーズと見なされるものに対するアノテーションガイドラインの緩和によるものである。 0.64
Dolan and Brockett [9] mention that their dataset intentionally contains sentence pairs that semantically differ to an extent, a choice made to increase the diversity of paraphrases. Dolan and Brockett [9] は、これらのデータセットには意図的に意味的に異なる文対が含まれており、パラフレーズの多様性を高めるための選択であると述べている。 0.62
If a dataset user does not agree with this loose approach or wishes to treat such instances differently, our method can automatically find at least some of them. データセットのユーザがこの緩やかなアプローチに同意しなかったり、そのようなインスタンスを別々に扱いたいと思ったら、私たちのメソッドは、その中の少なくともいくつかを自動的に見つけることができます。
訳抜け防止モード: データセットのユーザがこの緩やかなアプローチに同意していない場合や、そのようなインスタンスを別の方法で扱いたい場合。 我々の方法は 自動的に見つけられる
0.63
Similarly to Table 1, the results in Table 3 also show that a more strict decision boundary leads to less filtered-out paraphrases. 表1と同様に、表3の結果はより厳格な決定境界がフィルター付きパラフレーズを少なくすることを示している。 0.82
However, these are more likely to be false paraphrases. しかし、これらは偽のパラフレーズである可能性が高い。 0.58
The results of manual validation show that the filtered-out paraphrases are, in most cases, actual non-paraphrases. 手動検証の結果、フィルタ付きパラフレーズは、ほとんどの場合、実際の非パラフレーズであることが判明した。
訳抜け防止モード: 手動検証の結果 フィルタリングされたパラフレーズは、ほとんどの場合、実際の非パラフレーズである。
0.69
The filtered-out paraphrases typically contain more than 90% of actual non-paraphrases. フィルターアウトパラフレーズは通常、実際の非パラフレーズの90%以上を含む。 0.70
Qualitative analysis of the filtered-out instances shows that they are often similarly structured, with one of the sequences containing additional information that is not present in the other sequence, making the pair semantically non-equivalent. フィルターアウトされたインスタンスの質的分析は、それらがしばしば同様に構造化されており、他のシーケンスに存在しない追加情報を含むシーケンスの1つが意味論的に等価でないことを示している。 0.67
Among the erroneously filtered-out paraphrases, we find that some are filtered due to too strict NLI models. 誤ってフィルタされたパラフレーズの中には、厳密なNLIモデルのためにフィルタされているものもある。 0.65
For example, when processing the pair “What are CoCo bonds?” and “What is a coco bond?”, the model decides that the two sentences are not paraphrases, likely because one is talking about bonds (plural) and the other is talking about a bond (singular). 例えば、「CoCo結合とは何か」と「CoCo結合とは何か」というペアを処理するとき、このモデルは2つの文がパラフレーズではないと判断する。
訳抜け防止モード: 例えば、いつ CoCo結合とは何か」と「CoCo結合とは何か」のペアを処理します。 モデルは2つの文がパラフレーズではないと判断します 1つは結合(複数)について、もう1つは結合(特異)について話している。
0.71
In a semantic sense, this pair shall be declared a paraphrase. 意味的な意味では、このペアはパラフレーズとして宣言される。 0.59
5 Conclusion We have proposed a novel paraphrases extraction approach based on the similarity between NLI and paraphrasing. 5 結論 我々はNLIとパラフレーズの類似性に基づく新しいパラフレーズ抽出手法を提案する。 0.71
Results show that the proposed methodology can effectively extract paraphrases from NLI datasets both in the monolingual and cross-lingual setting. 提案手法は,NLIデータセットからのパラフレーズをモノリンガルとクロスリンガルの両方で効果的に抽出できることを示す。 0.68
Furthermore, the proposed filtering demonstrates a surprisingly large amount of noise in the existing paraphrasing datasets. さらに,提案するフィルタリングは,既存のパラフレージングデータセットにおいて驚くほど大量のノイズを示す。 0.81
In summary, the proposed method enables the reuse of NLI resources and provides additional quality assurances for paraphrasing. 要約して,提案手法はNLI資源の再利用を可能にし,パラフレーズ化のための追加品質保証を提供する。 0.72
In further work, we plan to extend the analysis of extracted paraphrases and test their use in downstream tasks. さらに,抽出されたパラフレーズの分析を拡張し,下流タスクでの使用試験を行う予定である。 0.77
For example, different decision thresholds and different qualities of paraphrases might be helpful in different applications – to favour either logical equivalence or variability of sentences. 例えば、異なる決定しきい値と異なるパラフレーズの質は、文の論理的等価性または可変性を支持するために、異なるアプリケーションで役立つかもしれない。 0.69
Additionally, there is a potential to leverage further connections between NLI and other tasks. さらに、NLIと他のタスクの間のさらなる接続を活用する可能性がある。 0.68
For example, text summarization instances could possibly be obtained from NLI datasets by extracting sequence pairs where entailment holds in one direction, while the instances are neutral in the other direction. 例えば、nliデータセットからテキスト要約インスタンスを取得できるのは、追加が一方の方向に保持されるシーケンスペアを抽出した場合と、他方の方向が中立である場合とがある。 0.56
Another more difficult task would be to extract NLI instances from existing paraphrasing datasets, i.e. going in the reverse direction of the presented one. もう1つの難しいタスクは、既存のパラフレーズデータセットからNLIインスタンスを抽出することである。 0.43
8 8 0.42
英語(論文から抽出)日本語訳スコア
Acknowledgements For the evaluation of French paraphrases we are grateful to Jožica Robnik-Šikonja. 覚書 フランス語のパラフレーズを評価するため、ヨジカ・ロブニク=ジコニャに感謝する。 0.49
The work was partially supported by the Slovenian Research Agency (ARRS) through the core research programme P6-0411, projects J6-2581 and J7-3159, as well as the young researcher grant. この研究は、Slovenian Research Agency(ARRS)によって、研究プログラムP6-0411、プロジェクトJ6-2581とJ7-3159、そして若い研究者の助成金を通じて部分的に支援された。 0.65
This paper is supported by European Union’s Horizon 2020 research and innovation programme under grant agreement No 825153, project EMBEDDIA (Cross-Lingual Embeddings for Less-Represented Languages in European News Media). この論文は、EUのHorizon 2020 Research and Innovation Programによる助成合意第825153号、EMBEDDIAプロジェクト(欧州ニュースメディアにおける低表現言語のためのクロス・リンガル・エンベディング)の支援を受けている。 0.63
A PREPRINT - NOVEMBER 16, 2021 プレプリント-2021年11月16日 0.51
9 9 0.42
英語(論文から抽出)日本語訳スコア
A PREPRINT - NOVEMBER 16, 2021 プレプリント-2021年11月16日 0.51
References [1] Ion Androutsopoulos and Prodromos Malakasiotis. 参照: [1] Ion Androutsopoulos and Prodromos Malakasiotis。 0.41
A survey of paraphrasing and textual entailment methods. パラフレージングとテキスト・エンテイメントの手法に関する調査 0.73
Journal of Artificial Intelligence Research, 38(1):135–187, May 2010. Journal of Artificial Intelligence Research, 38(1):135–187, May 2010 0.45
ISSN 1076-9757. ISSN 1076-9757。 0.75
[2] Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning. サミュエル・R・ボウマン、ガボル・アンジェリ、クリストファー・ポッツ、クリストファー・D・マニング。 0.35
A large annotated corpus In Proceedings of the 2015 Conference on Empirical Methods in for learning natural language inference. 自然言語推論の学習における経験的手法に関する2015年会議の成果について 0.65
Natural Language Processing, pages 632–642, Lisbon, Portugal, September 2015. 自然言語処理,632-642ページ,リスボン,ポルトガル,2015年9月。 0.80
Association for Computational Linguistics. doi: 10.18653/v1/D15-1075 . 計算言語学会会員。 doi: 10.18653/v1/d15-1075 。 0.45
URL https://www.aclweb.o rg/anthology/D15-107 5. URL https://www.aclweb.o rg/anthology/D15-107 5 0.19
[3] Jifan Chen, Eunsol Choi, and Greg Durrett. [3]Jifan Chen、Eunsol Choi、Greg Durrett。 0.33
Can NLI models verify QA systems’ predictions? NLIモデルはQAシステムの予測を検証できるか? 0.79
In Findings of the Association for Computational Linguistics: EMNLP 2021, pages 3841–3854, Punta Cana, Dominican Republic, November 2021. In Findings of the Association for Computational Linguistics: EMNLP 2021, page 3841–3854, Punta Cana, Dominican Republic, November 2021
訳抜け防止モード: 計算言語学会の知見 : emnlp 2021 3841-3854頁、プンタ・カナ、ドミニカ共和国、2021年11月。
0.65
Association for Computational Linguistics. URL https://aclanthology .org/ 2021.findings-emnlp. 324. 計算言語学会会員。 URL https://aclanthology .org/ 2021.findings-emnlp. 324 0.38
[4] Xinlei Chen, Hao Fang, Tsung-Yi Lin, Ramakrishna Vedantam, Saurabh Gupta, Piotr Dollar, and C. Lawrence 4]ジンレイ・チェン、ハ・ファン、ツン・イ・リン、ラマクリシュナ・ヴェダンタム、サウラブ・グプタ、ピオトル・ドル、c・ローレンス
訳抜け防止モード: [4 ]シンレイチェン、ホーファン、ツン-李林、 Ramakrishna Vedantam, Saurabh Gupta, Piotr Dollar, C. Lawrence
0.76
Zitnick. Microsoft COCO captions: Data collection and evaluation server, 2015. ジトニック Microsoft COCOキャプション: データ収集と評価サーバ、2015年。 0.58
[5] Alexis Conneau, Ruty Rinott, Guillaume Lample, Adina Williams, Samuel Bowman, Holger Schwenk, and Veselin Stoyanov. 5]Alexis Conneau, Ruty Rinott, Guillaume Lample, Adina Williams, Samuel Bowman, Holger Schwenk, Veselin Stoyanov。
訳抜け防止モード: 5] アレクシス・コネウ ルティ・リノット ギヨーム・ランプ アディーナ・ウィリアムズ、サミュエル・ボウマン、ホルガー・シュヴェンク、ヴェセリン・ストヤノフ。
0.41
XNLI: Evaluating cross-lingual sentence representations. xnli: 言語間表現の評価。 0.65
In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pages 2475–2485, Brussels, Belgium, October-November 2018. 自然言語処理における経験的手法に関する2018年会議の議題2475-2485ページ、ブリュッセル、ベルギー、2018年10月から11月。
訳抜け防止モード: 自然言語処理における実証的手法に関する2018年会議のまとめ 2475–2485, Brussels, Belgium, October–2018
0.75
Association for Computational Linguistics. doi: 10.18653/v1/D18-1269 . 計算言語学会会員。 doi: 10.18653/v1/d18-1269 。 0.45
URL https://www.aclweb. URL https://www.aclweb.c om 0.59
org/anthology/D18-12 69. org/アンソロジー/D18-1269。 0.28
[6] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. 6]Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, Veselin Stoyanov。
訳抜け防止モード: 6]alexis conneau, kartikay khandelwal, naman goyal, vishrav chaudhary, guillaume wenzek, francisco guzmán, edouard grave, ミレ・オット(myle ott)、ルーク・ゼトルモイヤー(luke zettlemoyer)、ヴェセリン・ストヤノフ(veslin stoyanov)。
0.62
Unsupervised cross-lingual representation learning at scale. 教師なし言語間表現学習の大規模化 0.48
In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 8440–8451, Online, July 2020. 第58回計算言語学会年次大会紀要 8440-8451ページ、オンライン、2020年7月。 0.57
Association for Computational Linguistics. doi: 10.18653/v1/2020.acl -main. 計算言語学会会員。 doi: 10.18653/v1/2020.acl -main。 0.35
747. URL https://www.aclweb.o rg/anthology/2020.ac l-main.747. 747. URL https://www.aclweb.o rg/Anthology/2020.ac l-main.747 0.29
[7] Mathias Creutz. マティアス・クリューツ(Mathias Creutz)。 0.42
Open subtitles paraphrase corpus for six languages. open subtitles paraphrase corpus for six languages(英語) 0.83
In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan, May 2018. 第11回言語資源評価国際会議(lrec 2018, 宮崎, 2018年5月開催。
訳抜け防止モード: 第11回言語資源・評価国際会議(LREC 2018)に参加して 宮崎、2018年5月。
0.56
European Language Resources Association (ELRA). 欧州言語資源協会 (ELRA) の略。 0.77
URL https://www.aclweb.o rg/anthology/L18-121 8. URL https://www.aclweb.o rg/anthology/L18-121 8。 0.36
[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Jacob Devlin氏、Ming-Wei Chang氏、Kenton Lee氏、Kristina Toutanova氏。 0.36
BERT: Pre-training of deep bidirectional transformers for language understanding. BERT: 言語理解のための双方向トランスフォーマーの事前トレーニング。 0.76
In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 4171–4186, Minneapolis, Minnesota, June 2019. The 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), page 4171–4186, Minneapolis, Minnesota, June 2019
訳抜け防止モード: 計算言語学会北米支部2019年大会の成果 : ヒューマン・ランゲージ・テクノロジー 第1巻(長文・短文)、4171-4186頁。 ミネアポリス、ミネソタ、2019年6月。
0.47
Association for Computational Linguistics. doi: 10.18653/v1/N19-1423 . 計算言語学会会員。 doi: 10.18653/v1/n19-1423 。 0.35
URL https://www.aclweb.o rg/anthology/N19-142 3. URL https://www.aclweb.o rg/anthology/N19-142 3 0.19
[9] William B. Dolan and Chris Brockett. 9] ウィリアム・b・ドーランとクリス・ブラスト 0.67
Automatically constructing a corpus of sentential paraphrases. センデンシャルパラフレーズのコーパスを自動構築する。 0.66
In Proceedings of the Third International Workshop on Paraphrasing (IWP2005), 2005. 第3回パラフレージング国際ワークショップ(iwp2005)2005参加報告 0.59
URL https://www. URL https://www。 0.86
aclweb.org/anthology /I05-5002. aclweb.org/アンソロジー/I05-5002。 0.25
[10] Desmond Elliott, Stella Frank, Khalil Sima’an, and Lucia Specia. Desmond Elliott氏、Stella Frank氏、Khalil Sima’an氏、Lucia Specia氏。 0.63
Multi30K: Multilingual English-German image descriptions. Multi30K - 英語とドイツ語の多言語画像。 0.51
In Proceedings of the 5th Workshop on Vision and Language, pages 70–74, Berlin, Germany, August 2016. 第5回視覚と言語に関するワークショップの議事録、70-74ページ、ベルリン、ドイツ、2016年8月。 0.71
Association for Computational Linguistics. doi: 10.18653/v1/W16-3210 . 計算言語学会会員。 doi: 10.18653/v1/w16-3210 。 0.45
URL https://www.aclweb. URL https://www.aclweb.c om 0.59
org/anthology/W16-32 10. org/アンソロジー/W16-3210。 0.28
[11] Juri Ganitkevitch, Benjamin Van Durme, and Chris Callison-Burch. 11]Juri Ganitkevitch、Benjamin Van Durme、Chris Callison-Burch。 0.34
PPDB: The paraphrase database. PPDB: パラフレーズデータベース。 0.65
In Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pages 758–764, Atlanta, Georgia, June 2013. 2013年北米計算言語学会(英語版)の2013年会議(Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pages 758–764, Atlanta, Georgia, June 2013)に収録。 0.69
Association for Computational Linguistics. URL https://www.aclweb.o rg/anthology/N13-109 2. 計算言語学会会員。 URL https://www.aclweb.o rg/anthology/N13-109 2。 0.44
[12] Suchin Gururangan, Swabha Swayamdipta, Omer Levy, Roy Schwartz, Samuel Bowman, and Noah A. Smith. Thisin Gururangan, Swabha Swayamdipta, Omer Levy, Roy Schwartz, Samuel Bowman, Noah A. Smith
訳抜け防止モード: 12 ] グルランガン、スワバ swayamdipta、 omer levy ロイ・シュワルツ、サミュエル・ボウマン、ノア・a・スミス。
0.59
Annotation artifacts in natural language inference data. 自然言語推論データにおけるアノテーションアーティファクト。 0.81
In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pages 107–112, New Orleans, Louisiana, June 2018. The 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), page 107-112, New Orleans, Louisiana, Louisiana, June 2018
訳抜け防止モード: 計算言語学会北米支部2018年会議報告 : ヒューマン・ランゲージ・テクノロジー Volume 2 (Short Papers ), page 107–112, New Orleans, Louisiana. 2018年6月。
0.61
Association for Computational Linguistics. doi: 10.18653/v1/N18-2017 . 計算言語学会会員。 doi: 10.18653/v1/n18-2017 。 0.45
URL https://www.aclweb.o rg/anthology/N18-201 7. URL https://www.aclweb.o rg/anthology/N18-201 7 0.19
[13] Sanda Harabagiu and Andrew Hickl. 13]サンダ・ハラバギウとアンドリュー・ヒックル。 0.52
Methods for using textual entailment in open-domain question answering. オープンドメイン質問応答における文内包みの使用法 0.72
In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics, pages 905–912, Sydney, Australia, July 2006. 第21回計算言語学国際会議および第44回計算言語学協会年次総会(2006年7月、シドニー、オーストラリア、905-912頁)の開催。 0.72
Association for Computational Linguistics. doi: 10.3115/1220175.1220 289. 計算言語学会会員。 doi: 10.3115/1220175.1220 289。 0.52
URL https://www.aclweb.o rg/anthology/ P06-1114. URL https://www.aclweb.o rg/アンソロジー/P06-1114。 0.37
[14] Wuwei Lan, Siyu Qiu, Hua He, and Wei Xu. 14]ウーウェイ・ラン、シユ・チーウ、ワ・ヘ、ウェイ・xu 0.42
A continuously growing dataset of sentential paraphrases. 逐次パラフレーズの連続的な成長データセット。 0.72
In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pages 1224–1234, 自然言語処理における経験的手法に関する2017年会議の議題1224-1234頁。 0.73
10 10 0.42
英語(論文から抽出)日本語訳スコア
A PREPRINT - NOVEMBER 16, 2021 プレプリント-2021年11月16日 0.51
Copenhagen, Denmark, September 2017. 2017年9月、デンマークのコペンハーゲン。 0.78
Association for Computational Linguistics. doi: 10.18653/v1/D17-1126 . 計算言語学会会員。 doi: 10.18653/v1/d17-1126 。 0.45
URL https://www.aclweb.o rg/anthology/D17-112 6. URL https://www.aclweb.o rg/anthology/D17-112 6 0.19
[15] Vladimir Levenshtein. ウラジーミル・レヴェンシュテイン(Vladimir Levenshtein)。 0.51
Binary Codes Capable of Correcting Deletions, Insertions and Reversals. 削除、挿入、反転の修正が可能なバイナリコード。 0.64
Soviet Physics Doklady, 10:707, 1966. ソ連物理学 ドクラーディ、1966年10:707。 0.65
[16] Hector J. Levesque, Ernest Davis, and Leora Morgenstern. Hector J. Levesque氏、Ernest Davis氏、Leora Morgenstern氏。 0.34
The Winograd schema challenge. Winogradスキーマの課題。 0.66
In Proceedings of the Thirteenth International Conference on Principles of Knowledge Representation and Reasoning, KR’12, page 552–561. 第13回知識表現と推論の原則に関する国際会議の議事録 kr'12, page 552–561。 0.76
AAAI Press, 2012. AAAIプレス、2012年。 0.81
ISBN 9781577355601. isbn 9781577355601。 0.21
[17] Dekang Lin and Patrick Pantel. 17] デカン・リンとパトリック・パンテル 0.51
Dirt - discovery of inference rules from text. Dirt - テキストからの推論ルールの発見。 0.76
In Proceedings of the Seventh ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD ’01, page 323–328, 2001. 第7回知識発見・データマイニング国際会議(acm sigkdd international conference on knowledge discovery and data mining)第323-328頁。 0.67
ISBN 158113391X. ISBN 158113391X。 0.46
doi: 10.1145/502512.50255 9. doi: 10.1145/502512.50255 9。 0.52
[18] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. [18]Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, Veselin Stoyanov。
訳抜け防止モード: 18 ] イニハン・リウ マイレ・オット ナマン・ゴヤル jingfei du, mandar joshi, danqi chen, omer levy マイク・ルイス、ルーク・ゼトルモイヤー、ヴェセリン・ストヤノフ。
0.45
RoBERTa: A robustly optimized BERT pretraining approach. RoBERTa: 堅牢に最適化されたBERT事前トレーニングアプローチ。 0.62
arXiv preprint arXiv:1907.11692, 2019. arXiv preprint arXiv:1907.11692, 2019 0.40
[19] Elena Lloret, Óscar Ferrández, Rafael Muñoz, and Manuel Palomar. [19]エレナ・ロレット、エスカル・フェランデス、ラファエル・ムニョス、マヌエル・パロマル。 0.51
A text summarization approach under the influence of textual entailment. テキストエンテリメントの影響を考慮したテキスト要約手法 0.57
In Bernadette Sharp and Michael Zock, editors, Natural Language Processing and Cognitive Science, Proceedings of the 5th International Workshop on Natural Language Processing and Cognitive Science, NLPCS 2008, pages 22–31. 自然言語処理と認知科学の編集者であるバーナデット・シャープ(bernadette sharp)とマイケル・ゾック(michael zock)は、第5回自然言語処理と認知科学に関する国際ワークショップ(nlpcs 2008、ページ22-31)を開催した。
訳抜け防止モード: Bernadette Sharp と Michael Zock では、自然言語処理と認知科学の編集者である。 第5回自然言語処理・認知科学国際ワークショップに参加して NLPCS 2008、22-31頁。
0.75
INSTICC Press, 2008. insticc press、2008年。 0.52
[20] Ilya Loshchilov and Frank Hutter. Ilya Loshchilov氏とFrank Hutter氏。 0.60
Decoupled weight decay regularization. decoupled weight decay regularization の略。 0.68
In International Conference on Learning Representations, 2019. 国際会議において 2019年、卒業。 0.68
URL https://openreview.n et/forum? URL https://openreview.n et/forum? 0.29
id=Bkg6RiCqY7. id=Bkg6RiCqY7。 0.42
[21] Curtis G Northcutt, Anish Athalye, and Jonas Mueller. 1221]Curtis G Northcutt、Anish Athalye、Jonas Mueller。 0.53
Pervasive label errors in test sets destabilize machine テストセットの分散ラベル誤りによる機械不安定化 0.69
learning benchmarks. arXiv preprint arXiv:2103.14749, 2021. ベンチマークの学習 arxiv プレプリント arxiv:2103.14749, 2021。 0.53
[22] Sebastian Padó, Michel Galley, Dan Jurafsky, and Christopher D. Manning. Sebastian Padó氏、Michel Galley氏、Dan Jurafsky氏、Christopher D. Manning氏。 0.35
Robust machine translation evaluation In Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL with entailment features. 第47回acl年次大会合同会議でのロバスト機械翻訳の評価 0.43
and the 4th International Joint Conference on Natural Language Processing of the AFNLP, pages 297–305, Suntec, Singapore, August 2009. 第4回 afnlp 自然言語処理国際共同会議, 297-305 ページ, suntec, singapore, 2009 年8 月 0.67
Association for Computational Linguistics. URL https://www.aclweb.o rg/ anthology/P09-1034. 計算言語学会会員。 URL https://www.aclweb.o rg/ anthology/P09-1034 0.37
[23] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. Pranav Rajpurkar氏、Jian Zhang氏、Konstantin Lopyrev氏、Percy Liang氏。 0.57
SQuAD: 100,000+ questions for machine comprehension of text. SQuAD: 機械によるテキスト理解のための10万以上の質問。 0.60
In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pages 2383–2392, Austin, Texas, November 2016. 2016年の自然言語処理における経験的手法に関する会議の議題2383-2392ページ、テキサス州オースティン、2016年11月。 0.69
Association for Computational Linguistics. doi: 10.18653/v1/D16-1264 . 計算言語学会会員。 doi: 10.18653/v1/d16-1264 。 0.45
URL https://www.aclweb.o rg/anthology/D16-126 4. URL https://www.aclweb.o rg/anthology/D16-126 4。 0.37
[24] James Thorne, Andreas Vlachos, Oana Cocarascu, Christos Christodoulopoulos, and Arpit Mittal. James Thorne, Andreas Vlachos, Oana Cocarascu, Christos Christodoulopoulos, そしてArpit Mittal。 0.30
The fact extraction and VERification (FEVER) shared task. 事実抽出と検証(FEVER)はタスクを共有する。 0.70
In Proceedings of the First Workshop on Fact Extraction and VERification (FEVER), pages 1–9, Brussels, Belgium, November 2018. 第1回ファクト抽出・検証ワークショップ(fever)第1-9ページ,ブリュッセル,ベルギー,2018年11月。 0.62
Association for Computational Linguistics. doi: 10.18653/v1/W18-5501 . 計算言語学会会員。 doi: 10.18653/v1/w18-5501 。 0.43
URL https://www.aclweb.o rg/anthology/W18-550 1. url https://www.aclweb.o rg/anthology/w18-550 1。 0.31
[25] Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, and Samuel Bowman. Alex Wang氏、Amanpreet Singh氏、Julian Michael氏、Felix Hill氏、Omer Levy氏、Samuel Bowman氏。 0.72
GLUE: A multitask benchmark and analysis platform for natural language understanding. GLUE: 自然言語理解のためのマルチタスクベンチマークと分析プラットフォーム。 0.79
In Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pages 353–355, Brussels, Belgium, November 2018. 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, page 353–355, Brussels, Belgium, November 2018 (英語)
訳抜け防止モード: 2018 EMNLPワークショップ BlackboxNLP の開催報告 NLPのためのニューラルネットワークの解析と解釈 353-355頁、ブリュッセル、ベルギー、2018年11月。
0.80
Association for Computational Linguistics. doi: 10.18653/v1/W18-5446 . 計算言語学会会員。 doi: 10.18653/v1/w18-5446 。 0.45
URL https://www. URL https://www。 0.86
aclweb.org/anthology /W18-5446. aclweb.org/アンソロジー/w18-5446 0.27
[26] Aaron Steven White, Pushpendre Rastogi, Kevin Duh, and Benjamin Van Durme. 26]aaron steven white、pushpendre rastogi、kevin duh、benjamin van durme。 0.28
Inference is everything: Recasting semantic resources into a unified evaluation framework. セマンティックリソースを統一された評価フレームワークに再キャストする。 0.50
In Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pages 996–1005, Taipei, Taiwan, November 2017. 第8回自然言語処理国際共同会議(第1巻:長い論文)第996-1005ページ、台北、台湾、台湾、2017年11月。 0.75
Asian Federation of Natural Language Processing. アジア自然言語処理連盟 0.53
URL https://www.aclweb.o rg/anthology/I17-110 0. URL https://www.aclweb.o rg/anthology/I17-110 0。 0.18
[27] Adina Williams, Nikita Nangia, and Samuel Bowman. アディナ・ウィリアムズ、ニキータ・ナンギア、サミュエル・ボウマン。 0.50
A broad-coverage challenge corpus for sentence understanding through inference. 推論による文理解のための広範にわたるチャレンジコーパス 0.62
In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pages 1112–1122, New Orleans, Louisiana, June 2018. The 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), page 1112–1122, New Orleans, Louisiana, July 2018
訳抜け防止モード: 計算言語学会北米支部2018年会議報告 : ヒューマン・ランゲージ・テクノロジー Volume 1 (Long Papers ), page 1112–1122, New Orleans, Louisiana. 2018年6月。
0.62
Association for Computational Linguistics. doi: 10.18653/v1/N18-1101 . 計算言語学会会員。 doi: 10.18653/v1/n18-1101 。 0.45
URL https://www.aclweb.o rg/anthology/N18-110 1. URL https://www.aclweb.o rg/anthology/N18-110 1。 0.36
[28] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, Alexander Rush
訳抜け防止モード: [28 ]Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger マリアマ・ドレーム(Mariama Drame)、クエンティン・ロースト(Quentin Lhoest)、アレクサンダー・ラッシュ(Alexander Rush)。
0.90
Transformers: State-of-the-art natural language processing. Transformers: 最先端の自然言語処理。 0.80
In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pages 38–45, Online, October 2020. 自然言語処理における経験的手法に関する2020年会議の議事録:システムデモ、38-45ページ、オンライン、2020年10月。 0.70
Association for Computational Linguistics. doi: 10.18653/v1/2020.emn lp-demos.6. 計算言語学会会員。 doi: 10.18653/v1/2020.emn lp-demos.6。 0.34
URL https://www.aclweb.o rg/anthology/2020.em nlp-demos.6. URL https://www.aclweb.o rg/Anthology/2020.em nlp-demos.6 0.16
11 11 0.43
英語(論文から抽出)日本語訳スコア
A PREPRINT - NOVEMBER 16, 2021 プレプリント-2021年11月16日 0.51
[29] Sander Wubben, Antal van den Bosch, and Emiel Krahmer. Sander Wubben氏、Antal van den Bosch氏、Emiel Krahmer氏。 0.25
Paraphrasing headlines by machine translatio: In Computational Linguistics in the 機械トランスラティオによる見出しのパラフレーズ--計算言語学の立場から 0.64
Sentential paraphrase acquisition and generation using Google News. Google Newsによる意味的フレーズの獲得と生成 0.79
Netherlands 2010, pages 169–183. 2010年、169-183頁。 0.53
LOT, 2011. 2011年、ROT。 0.69
[30] Wei Xu, Alan Ritter, Chris Callison-Burch, William B. Dolan, and Yangfeng Ji. [30]Wei Xu,Alan Ritter,Chris Callison-Burch,Willi am B. Dolan,Yangfeng Ji。 0.40
Extracting lexically divergent paraphrases from Twitter. Twitterから語彙的に異なるパラフレーズを抽出する。 0.57
Transactions of the Association for Computational Linguistics, 2:435–448, 2014. The Association for Computational Linguistics, 2:435–448, 2014 0.40
doi: 10.1162/tacl_a_00194 . doi: 10.1162/tacl_a_00194 。 0.22
URL https://www.aclweb.o rg/anthology/Q14-103 4. URL https://www.aclweb.o rg/anthology/Q14-103 4 0.19
[31] Yinfei Yang, Yuan Zhang, Chris Tar, and Jason Baldridge. [31]Yinfei Yang、Yuan Zhang、Chris Tar、Jason Baldridge。 0.32
PAWS-X: A cross-lingual adversarial dataset for paraphrase identification. PAWS-X: パラフレーズ識別のための言語間敵対的データセット。 0.60
In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pages 3687–3692, Hong Kong, China, November 2019. 第9回自然言語処理国際共同会議(emnlp-ijcnlp)第3687-3692ページ,香港,中国,2019年11月。
訳抜け防止モード: 自然言語処理における経験的手法に関する2019年会議のまとめ 第9回国際自然言語処理国際会議(EMNLP - IJCNLP)に参加して 3687-3692頁、香港、中国、2019年11月。
0.75
Association for Computational Linguistics. doi: 10.18653/v1/ D19-1382. 計算言語学会会員。 10.18653/v1/D19-1382 。 0.46
URL https://www.aclweb.o rg/anthology/D19-138 2. url https://www.aclweb.o rg/anthology/d19-138 2。 0.34
[32] Peter Young, Alice Lai, Micah Hodosh, and Julia Hockenmaier. Peter Young氏、Alice Lai氏、Micah Hodosh氏、Julia Hockenmaier氏。 0.65
From image descriptions to visual denotations: New similarity metrics for semantic inference over event descriptions. 画像記述から視覚記述: イベント記述に対する意味推論のための新しい類似度メトリクス。 0.84
Transactions of the Association for Computational Linguistics, 2:67–78, 2014. the association for computational linguistics, 2:67-78, 2014 (英語) 0.73
doi: 10.1162/tacl_a_00166 . doi: 10.1162/tacl_a_00166 。 0.44
URL https://www.aclweb.o rg/ anthology/Q14-1006. URL https://www.aclweb.o rg/ anthology/Q14-1006。 0.43
[33] Yuan Zhang, Jason Baldridge, and Luheng He. [33] チャン・チャン、ジェイソン・ボールドリッジ、ルーエン・ヘ。 0.39
PAWS: Paraphrase adversaries from word scrambling. PAWS: 単語スクランブルからのパラフレーズの敵。 0.75
In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 1298–1308, Minneapolis, Minnesota, June 2019. The 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), page 1298–1308, Minneapolis, Minnesota, June 2019
訳抜け防止モード: 計算言語学会北米支部2019年大会紀要 : 人間言語技術 第1巻(長編・短編) 1298-1308頁。 ミネアポリス、ミネソタ、2019年6月。
0.47
Association for Computational Linguistics. doi: 10.18653/v1/N19-1131 . 計算言語学会会員。 doi: 10.18653/v1/n19-1131 。 0.45
URL https: //www.aclweb.org/ant hology/N19-1131. URL https: //www.aclweb.org/ant hology/N19-1131 0.19
12 12 0.42
                         ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。