論文の概要、ライセンス

# (参考訳) ニューラルセマンティックパーサーのロバスト性について [全文訳有]

On Robustness of Neural Semantic Parsers ( http://arxiv.org/abs/2102.01563v1 )

ライセンス: CC BY 4.0
Shuo Huang, Zhuang Li, Lizhen Qu1, Lei Pan(参考訳) 意味解析は自然言語(NL)の発話を論理形式(LF)に写し、多くの高度なNLP問題を支えている。 セマンティックパーサーはディープニューラルネットワークでパフォーマンスが向上するが、逆の例に対する脆弱性を継承する。 本論文では,逆アタックの存在下でのセマンティックパーサーの堅牢性に関する実証的研究について述べる。 形式的には、意味解析の敵は摂動的発話-LF対と見なされ、その発話は原語と全く同じ意味を持つ。 既存のベンチマークコーパスに基づくロバストネステストセットを構築するために,スケーラブルな手法を提案する。 本研究は,ロバスト性テストセットにおけるサーテ・オブ・ザ・アーツ・パーサーの性能評価と,データ拡張の効果評価に関する5つの研究課題に答えた。

Semantic parsing maps natural language (NL) utterances into logical forms (LFs), which underpins many advanced NLP problems. Semantic parsers gain performance boosts with deep neural networks, but inherit vulnerabilities against adversarial examples. In this paper, we provide the empirical study on the robustness of semantic parsers in the presence of adversarial attacks. Formally, adversaries of semantic parsing are considered to be the perturbed utterance-LF pairs, whose utterances have exactly the same meanings as the original ones. A scalable methodology is proposed to construct robustness test sets based on existing benchmark corpora. Our results answered five research questions in measuring the sate-of-the-art parsers' performance on robustness test sets, and evaluating the effect of data augmentation.
公開日: Tue, 2 Feb 2021 15:41:28 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
On Robustness of Neural Semantic Parsers Shuo Huang1, Zhuang Li1, Lizhen Qu1∗1, Lei Pan2 ニューラルセマンティックパーサーShuo Huang1, Zhuang Li1, Lizhen Qu1, Lei Pan2のロバスト性について 0.69
Faculty of Information and Technology, Monash University1 モナッシュ大学情報技術学部1年生。 0.65
School of Info Technology, Deakin University2 ディーキン大学情報技術学部2 0.65
shua0043@student.mon ash.edu shua0043@student.mon ash.edu 0.52
Zhuang.Li@monash.edu Lizhen.Qu@monash.edu l.pan@deakin.edu.au Zhuang.Li@monash.edu Lizhen.Qu@monash.edu l.pan@deakin.edu.au 0.49
1 2 0 2 b e F 3 1 2 0 2 b e F 3 0.85
] L C . s c [ ] L C。 sc [ 0.62
2 v 3 6 5 1 0 2 v 3 6 5 1 0 0.85
. 2 0 1 2 : v i X r a . 2 0 1 2 : v i X r a 0.85
Abstract Semantic parsing maps natural language (NL) utterances into logical forms (LFs), which underpins many advanced NLP problems. 概要 意味解析は自然言語(NL)の発話を論理形式(LF)に写し、多くの高度なNLP問題を支えている。 0.58
Semantic parsers gain performance boosts with deep neural networks, but inherit vulnerabilities against adversarial examples. セマンティックパーサーはディープニューラルネットワークでパフォーマンスが向上するが、逆の例に対する脆弱性を継承する。 0.60
In this paper, we provide the empirical study on the robustness of semantic parsers in the presence of adversarial attacks. 本論文では,逆アタックの存在下でのセマンティックパーサーの堅牢性に関する実証的研究について述べる。 0.68
Formally, adversaries of semantic parsing are considered to be the perturbed utterance-LF pairs, whose utterances have exactly the same meanings as the original ones. 形式的には、意味解析の敵は摂動的発話-LF対と見なされ、その発話は原語と全く同じ意味を持つ。 0.60
A scalable methodology is proposed to construct robustness test sets based on existing benchmark corpora. 既存のベンチマークコーパスに基づくロバストネステストセットを構築するために,スケーラブルな手法を提案する。
訳抜け防止モード: スケーラブルな方法論を提案する 既存のベンチマークコーポラに基づく堅牢性テストセットを構築します。
0.70
Our results answered five research questions in measuring the sateof-the-art parsers’ performance on robustness test sets, and evaluating the effect of data augmentation. 本研究は,ロバスト性テストセットにおけるサーテ・ザ・アート・パーサーの性能評価と,データ拡張の効果評価に関する5つの研究課題に答えた。 0.75
1 Introduction Semantic parsing aims to map natural language (NL) utterances into logical forms (LFs), which can be executed on a knowledge base (KB) to yield denotations (Kamath and Das, 2018). 1 はじめに Semantic parsingは、自然言語(NL)の発話を論理形式(LF)にマッピングすることを目的としており、これは知識ベース(KB)で実行して記述を生成できる(Kamath and Das, 2018)。
訳抜け防止モード: 1 はじめに 意味解析は自然言語(NL)の発話を論理形式(LF)にマッピングすることを目的としている。 知識ベース (KB ) で実行できる。 to yield denotations (Kamath and Das, 2018)
0.74
At the core of the state-of-the-art (SOTA) semantic parsers are deep learning models, which are widely known to be vulnerable to adversarial samples (Zhang et al., 2020). 最先端のSOTA(State-of-the-ar t)セマンティックパーサーの中核はディープラーニングモデルであり、敵のサンプルに弱いことが広く知られている(Zhang et al., 2020)。 0.59
This kind of examples is created by adding tiny perturbations to inputs but can severely deteriorate model performance. この種の例は入力に小さな摂動を加えることで作られるが、モデル性能を著しく劣化させる可能性がある。
訳抜け防止モード: このような例は入力に小さな摂動を加えることで作られます だが モデルパフォーマンスは 著しく悪化する。
0.74
To the best of our knowledge, despite the popularity of semantic parsing (Kamath and Das, 2018), there is still no published work on studying the robustness of neural semantic parsers against adversarial examples. 私たちの知る限りでは、セマンティック解析(Kamath and Das, 2018)の人気にもかかわらず、逆例に対するニューラルセマンティックパーサーの堅牢性について研究する研究はまだ公表されていない。 0.58
Therefore, we conduct the first empirical study to evaluate the effect of adversarial examples on SOTA neural semantic parsers. そこで本研究では,SOTAニューラル・セマンティック・パーサーに対する逆例の効果を評価するための最初の実証的研究を行った。 0.59
∗corresponding author Unlike other disciplines, it is unclear what adversaries are for semantic parsers. 対応作家 他の分野とは異なり、セマンティックパーサーに対する敵意は明らかではない。 0.63
For computer vision systems, adversaries are often generated by modifying inputs with imperceptible perturbations. コンピュータビジョンシステムでは、敵は知覚できない摂動で入力を変更することでしばしば生成される。 0.59
In contrast, a flip of single word or a character in an utterance can significantly change its meaning so that the changes are perceptible by humans. 対照的に、単一語または発話中の文字の反転は、その意味を、人間が知覚できるように大きく変えることができる。 0.68
To address this issue, (Michel et al., 2019) argue that adversaries for sequence-to-sequence models should maximally retain meanings after perturbing inputs. この問題に対処するため (Michel et al., 2019) は、シーケンス・ツー・シーケンスモデルの敵は摂動入力後の意味を最大限に保持すべきであると主張している。 0.54
However, any meaningchanging utterances are supposed to have different meaning representations. しかし、すべての意味交換発話は異なる意味表現を持つはずである。 0.67
A robust semantic parser should be invariant to meaning-preserving modifications. 堅牢なセマンティックパーサーは意味保存修正に不変であるべきです。 0.56
In light of this, given a semantic parser, we define its adversaries as the perturbed utterances satisfying two conditions: i) they have exactly the same meanings as the original ones according to human judgements; and ii) the parser consistently produces incorrect LFs on them. このことを踏まえて、意味論的パーサーが与えられた場合、その相手を2つの条件を満たす摂動発話として定義する: (i) 人間の判断による原語と全く同じ意味を持つ; (i) パーサーは一貫して不正確なLFを生成する。 0.68
Although new evaluation frameworks are proposed for NLP tasks (Xu et al., 2020; Michel et al., 2019), there is no framework designed for assessing robustness of semantic parsers against meaning-preserving adversaries. NLPタスクのための新しい評価フレームワーク(Xu et al., 2020; Michel et al., 2019)が提案されているが、意味論的パーサーの堅牢性を評価するために設計されたフレームワークは存在しない。 0.70
The current evaluation metrics focus only on standard accuracy, which measures to what degree predictions match gold standards. 現在の評価基準は標準精度にのみ焦点が当てられ、金の基準とどの程度が一致するかを測る。 0.67
As pointed out by (Tsipras et al., 2018), it is challenging to achieve both high standard accuracy and high robust accuracy, which measures the accuracy on adversarially perturbed examples. (Tsipras et al., 2018) で指摘されているように、高い標準精度と高いロバスト精度の両方を達成することは困難であり、逆摂動例の精度を測定する。 0.78
In order to facilitate devising novel methods for robust semantic parsers, it is desirable to develop a semantic parsing evaluation framework considering both measures. 頑健な意味解析のための新しい手法の考案を容易にするためには,両尺度を考慮した意味解析評価フレームワークの開発が望ましい。 0.68
In this work, we propose an evaluation framework for robust semantic parsing. 本稿では,ロバストな意味解析のための評価フレームワークを提案する。 0.73
The framework consists of an evaluation corpus and a set of customized metrics. このフレームワークは、評価コーパスとカスタマイズされたメトリクスからなる。 0.62
We construct the evaluation corpus by extending three existing semantic parsing 既存の3つの意味解析を拡張して評価コーパスを構築する。 0.57
英語(論文から抽出)日本語訳スコア
benchmark corpora. ベンチマークコーポラ。 0.26
In order to generate meaningpreserving examples, we apply automatic methods to modify the utterances in those benchmark corpora by paraphrasing and injecting grammatical errors. 意味保存例を生成するために,文法的誤りのパラフレージングと注入により,ベンチマークコーパス中の発話を自動修正する手法を適用した。 0.64
Among the perturbed examples generated from the test sets, we build meaning-preserving test sets by filtering out the meaning-changing ones using crowdsourcing. テストセットから生成された混乱した例の中で,クラウドソーシングを用いた意味変化テストのフィルタリングを行い,意味保存テストセットを構築した。 0.58
The robustness of the semantic parsers is measured by a set of custom metrics, with and without adversarial training methods. セマンティックパーサーの堅牢性は、逆のトレーニングメソッドの有無にかかわらず、カスタムメトリクスのセットによって測定されます。 0.63
We conduct the first empirical study on the robustness of semantic parsing by evaluating three SOTA neural semantic parsers using the proposed framework. 提案手法を用いた3つのSOTAニューラル・セマンティック・パーサの評価により,セマンティック・パーシングの堅牢性に関する最初の実証的研究を行った。
訳抜け防止モード: 我々は,意味解析のロバスト性に関する最初の実証研究を行う。 提案フレームワークを用いた3つのsotaニューラルセマンティクスパーサの評価
0.73
The key findings from our experiments are three-folds: 私たちの実験の主な発見は3つあります。 0.64
• None of those SOTA semantic parsers can consistently outperform the others in terms of robustness against meaning-preserving adversarial examples; •これらの sota 意味構文解析器は、意味保存型の逆例に対して頑健性という点で、一貫して他を上回ることができません。 0.35
• Those neural semantic parsers are more than •これらのニューラルセマンティックパーサーは、それ以上である 0.57
to word-level perturbations robust sentence-level ones; 単語レベルの摂動へ 頑丈な文レベルのもの 0.46
• Adversarial training through data augmentation indeed significantly improve the robustness accuracy but can only slightly influence standard accuracy. •データ強化による敵対的トレーニングは、確かに堅牢性精度を大幅に改善しますが、標準精度にわずかに影響するだけです。 0.51
The generated corpus and source code are available https://github.com/s huo956/OnRobustness- of-nerual-smentic-pa rsing.git 生成されたコーパスとソースコードは https://github.com/s huo956/OnRobustness- of-nerual-smentic-pa rsing.git 0.34
at 2 Related Work Semantic Parsing The SOTA neural semantic parsers formulate this task as a machine translation problem. に 2 関連作業セマンティック解析 SOTAニューラルセマンティックパーサーは、このタスクを機械翻訳問題として定式化します。 0.73
They extend SEQ2SEQ with attention (Luong et al., 2015) to map NL utterances into LFs in target languages (e.g., lambda calculus, SQL, Python, etc.). 彼らは注意を払ってSEQ2SEQを拡張し(Luong et al., 2015)、NL発話をターゲット言語(ラムダ計算、SQL、Pythonなど)のLFにマップする。 0.86
One type of such parsers directly generates sequences of predicates as LFs (Dong and Lapata, 2016, 2018; Huang et al., 2018). そのようなパーサーの1つのタイプは、LF(Dong and Lapata, 2016; Huang et al., 2018)として直接述語列を生成する。 0.71
The other type of parsers utilizes grammar rules to constrain the search space of LFs during decoding (Yin and Neubig, 2018; Chen et al., 2018; Guo et al., 2019b; Wang et al., 2020). 他のタイプのパーサーは、デコード中のLFの検索空間を制限するために文法規則を利用する(Yin and Neubig, 2018; Chen et al., 2018; Guo et al., 2019b; Wang et al., 2020)。 0.87
However, neither of the two types of parsers are evaluated against adversarial examples. しかし、この2種類のパーサーはいずれも逆の例に対して評価されない。 0.58
Adversarial Examples The adversarial examples are firstly defined and investigated in computer vision. 逆例 逆例はまずコンピュータビジョンで定義され、研究される。 0.60
Adversarial examples in that field その分野の敵対的な例 0.53
are generated by adding imperceptible noise to input images, which lead to false predictions of machine learning models (Madry et al., 2018; Goodfellow et al., 2014). 入力画像に不可避なノイズを追加して生成され、機械学習モデルの誤った予測につながる(madry et al., 2018; goodfellow et al., 2014)。 0.72
However, it is non-trivial to add such noise to text in natural language processing (NLP) tasks due to the discrete nature of languages. しかし、自然言語処理(NLP)タスクのテキストにそのようなノイズを加えるのは、言語の離散的な性質のため容易ではない。 0.76
Minor changes in characters or words may be perceptible to humans and may lead to change of meanings. 文字や単語の小さな変化は人間に知覚され、意味の変化につながる可能性がある。 0.80
To date, it is still difficult to reach an agreement on the definition of adversarial examples across tasks. 今日まで、タスク間での敵対的な例の定義に関する合意に達することは依然として困難です。 0.68
Jia and Liang (2017); Belinkov and Bisk (2017); Ebrahimi et al. Jia and Liang (2017); Belinkov and Bisk (2017); Ebrahimi et al。 0.75
(2018); Miyato et al. (2018年):宮戸ら。 0.35
(2016) add distracting sentences and sequences of random words into text or flip randomly characters or words in input text, which can confuse the models but do not affect the labels judged by humans. (2016) ランダムな単語の文や列をテキストに加えたり、入力テキストにランダムな文字や単語をめくったりすることで、モデルを混乱させるが、人間の判断するラベルには影響しない。 0.69
In those works, such perturbations are not required to keep the semantics of original text. これらの作品では、原文の意味を維持するためにそのような摂動は不要である。 0.47
(Michel et al., 2019) argue that perturbations for SEQ2SEQ tasks should minimize the change of semantic in input text but dramatically alter the meaning of outputs. (Michel et al., 2019)は、SEQ2SEQタスクの摂動は入力テキストの意味の変化を最小限に抑え、出力の意味を劇的に変えるべきであると主張している。 0.63
(Cheng et al., 2020) uses a sentiment classifier to verify whether sentiments of the original utterances is preserved after perturbation while we use crowdsourcing to ensure the meaning remains. (cheng et al., 2020)は感情分類器を使用して、元々の発話の感情が摂動後に保存されているかどうかを検証する。 0.56
Adversarial examples in semantic parsing cannot simply borrow from prior work because a parser does not make errors if it generates a different and correct LF when there is any subtle change in input text leading to change of semantics. セマンティック解析における逆例は、セマンティックの変更につながる入力テキストに微妙な変化がある場合、パーサーが別の正しいLFを生成するとエラーを起こさないため、単に先行作業から借りることはできません。 0.75
In contrast, adversarial examples are supposed to cause parsing errors. 対照的に、逆の例は解析エラーを引き起こすはずである。 0.60
Thus, adversarial examples w.r.t. したがって、逆の例w.r.t。 0.41
meaning-changing perturbations are not well defined. 意味変化の摂動はよく定義されていない。 0.45
There are two types of methods in generating adversarial examples. 逆の例を生成する方法は2種類ある。 0.73
The white-box methods (Papernot et al., 2016; Ebrahimi et al., 2017; Athalye and Carlini, 2018) assume that the attacker have direct access to model details including their parameters, but the black-box methods assume that attackers have no access to model details except feeding input data and getting outputs from models (Gao et al., 2018; Guo et al., 2019a; Chan et al., 2018; Blohm et al., 2018). ホワイトボックス法(Papernot et al., 2016; Ebrahimi et al., 2017; Athalye and Carlini, 2018)は、攻撃者がパラメータを含むモデルの詳細に直接アクセスできると仮定するが、ブラックボックス法は、攻撃者がモデルの詳細に直接アクセスできないと仮定し、入力データを与えてモデルから出力を得る(Gao et al., 2018; Guo et al., 2019a; Chan et al., 2018; Blohm et al., 2018)。 0.92
Adversarial Training Adversarial training aims at improving the robustness of machine learning models against adversarial examples (Goodfellow et al., 2014; Miyato et al., 2016; Li et al., 2018). 敵対的トレーニング 敵対的例(Goodfellow et al., 2014; Miyato et al., 2016; Li et al., 2018)に対する機械学習モデルの堅牢性向上を目的とする。 0.77
One line of research is to augment the training data with the adversarial examples. 研究の1行は、相手の例でトレーニングデータを増強することである。 0.70
However, Ebrahimi しかし、エブラヒミ 0.53
英語(論文から抽出)日本語訳スコア
et al. (2018) points out that adversarial training may cause the model oversensitive to the adversarial examples. など。 (2018)は、敵の訓練が敵の例に過敏なモデルを引き起こす可能性があることを指摘している。
訳抜け防止モード: など。 (2018年) 敵のトレーニングは、敵の例に過敏なモデルを引き起こす可能性がある。
0.45
The other approach is to increase model capacity that may improve model’s robustness (Madry et al., 2018). もう1つのアプローチは、モデルの堅牢性を改善するモデルの容量を増やすことである(madry et al., 2018)。 0.76
More techniques regarding adversarial defense can be found in the recent survey (Wang et al., 2019). 敵防衛に関するさらなる技術は、最近の調査(Wang et al., 2019)で見ることができる。 0.81
In semantic parsing, data augmentation methods (Jia and Liang, 2016; Guo et al., 2018) are proposed only to improve performance of models on examples without perturbation but not to improve their robustness. 意味解析では、データ拡張法(Jia and Liang, 2016; Guo et al., 2018)は摂動のない例におけるモデルの性能向上のためだけに提案されている。 0.69
3 Evaluation Framework for Robust Robustの3つの評価フレームワーク 0.76
Semantic Parsing A robust semantic parser aims to transduce all utterances with or without meaning-preserving perturbations into correct LFs. 意味解析 頑健なセマンティックパーザは、意味保存の摂動で全ての発話を正しいLFに変換することを目的としている。
訳抜け防止モード: 意味解析 頑健なセマンティックパーザ to transduce all utterance with or without meaning―serving perturbations to correct LFs
0.60
Formally, let x = x1, . 形式的には x = x1, とする。 0.59
. . , x|x| denote a natural language utterance, and y = y1, . . . , x|x| は自然言語発話を表し、y = y1, である。 0.81
. . , y|y| be its LF, a semantic parser estimates the conditional probability (denoted by p(y|x)) of an LF y given an input utterance x. . . y|y| は LF であり、セマンティックパーザは入力発話 x を与えられた LF y の条件確率 (p(y|x)) を推定する。 0.85
A robust parser’s predictions are invariant to all x(cid:48) that are generated from x by meaning-preserving perturbations. ロバストなパーサの予測は、意味保存摂動によってxから生成されるすべてのx(cid:48)に不変である。 0.59
For any (x, y), let Sperturb(x, y) denote the set of all meaning-preserving perturbations of x that is parsed to y: Sperturb(x, y) = {(ˆx, y) : ˆx ∈ B(x) ∧ o(ˆx) = y} (1) where B(x) denotes the set of all allowed perturbations of x, and o(ˆx) is an ideal parser that maps an utterance to its LF. 任意の (x, y) に対して、Sperturb(x, y) は y に解析される x のすべての意味保存摂動の集合を表す: Sperturb(x, y) = {(\x, y) : >x ∈ B(x) > o(\x) = y} (1) ここで B(x) は x の許容摂動の集合を表し、o(\x) は LF への発話をマッピングする理想的なパーサーである。 0.78
A set of meaning-preserving perburbed examples Sperturb(D) w.r.t. sperturb(d) w.r.t. の意味保存例のセット 0.69
a corpus D is the union of all Sperturb(x, y) created from D. コーパス D は D から作成されたすべての Sperturb(x, y) の結合である。 0.76
An adversarial example w.r.t. 敵の例 w.r.t. 0.50
a semantic parser is an utterance-LF pair, which is in Sperturb(x, y) and is parsed into an incorrect LF by that parser. セマンティックパーサーは、Sperturb(x, y) にある発話-LF対であり、そのパーサーによって誤った LF に解析される。 0.70
A set of adversarial examples w.r.t. a set of adversarial example w.r.t. 0.70
a Sperturb(x, y) and a parser f (x) is obtained by: Sadv(x, y) = {(ˆx, y) : f (ˆx) (cid:54)= y,∀(ˆx, y) ∈ Sperturb(x, y)} (2) Subsequently, an adversary set w.r.t. a Sperturb(x, y) およびパーサー f(x) は、次の方法で得られる: Sadv(x, y) = {(*x, y) : f (*x) (cid:54)= y, y(*x, y) ∈ Sperturb(x, y)} (2) その後、逆集合 w.r.t によって得られる。 0.83
a semantic parsing corpus D is created by taking the union of all adversary sets created from each example in D. In the following, we present an evaluation framework for robust semantic parsing, which consists of an evaluation corpus, a set of evaluation metrics, and the corresponding toolkit for evaluating any new parsers. セマンティック解析コーパスDは、Dの各例から作成されたすべての逆集合の結合を取ることによって作成される。以下では、評価コーパス、評価メトリクスのセット、および新しいパーサーを評価する対応するツールキットからなる堅牢なセマンティック解析のための評価フレームワークを提示する。 0.82
3.1 Construction of the Evaluation Corpus We construct the evaluation corpus in a scalable manner by combining the existing semantic parsing benchmark corpora. 3.1 評価コーパスの構築 既存の意味解析ベンチマークコーパスを組み合わせることにより、評価コーパスをスケーラブルに構築する。 0.78
Each of such corpora will be referred to as a domain in the whole corpus. そのようなコーパスのそれぞれは、コーパス全体のドメインと呼ばれます。 0.57
There are a train set, a validation set, and a standard test set in each domain. 各ドメインには、列車セット、検証セット、標準テストセットがあります。 0.64
We perturb the examples in each test set to build a meaning-preserving test set for each domain. 各テストセットの例を摂動させ、各ドメインに意味保存テストセットを構築する。 0.78
More specifically, each example in a meaning-preserving test set is a perturbed utterance paired with its LF before perturbation. より具体的には、意味保存テストセットの各例は、摂動の前にLFと組み合わせた摂動発話である。 0.59
In the following, we detail each perturbation method and how we apply the crowdsourcing to remove meaning-changing ones. 以下では,各摂動法を詳述し,クラウドソーシングによる意味変化の除去方法について述べる。 0.65
Meaning-preserving Examples in what state is the largest in population what state is the largest in population what state is the largest among population どの州が人口で最大か、どの州が人口で最大か、どの州が人口で最大か、の意味保存例 0.76
3.1.1 Meaning-Preserving Perturbations Perturbations Insertion Deletion Substitution (f) Substitution (nf) what state is the most in population Back Translation Reordering Table 1: The meaning-preserving examples of the original utterance “what state is the largest in population”. 3.1.1 意味保存摂動摂動挿入拒否置換(f)置換(nf)どの状態が人口で最も多いか バック翻訳並べ替え表1: 当初の発話の意味保存例は「人口で最大の状態」である。 0.78
state with the largest population the largest population is in what state 最大の人口を持つ州 最大の人口はどの州にあるか 0.79
Given an utterance, we perturb it by performing four different word-level operations and two sentence-level operations, respectively. 発話が与えられた場合、それぞれ4つの異なる単語レベル演算と2つの文レベル演算を施すことで摂動する。 0.61
Table 1 lists the examples of generated meaningpreserving examples categorized according to the respective generation methods. 表1は、生成した意味保存例の例を、それぞれの生成方法によって分類する。 0.64
More details are given below. 詳細は下記をご覧ください。 0.75
Insertion Given an utterance x, we randomly select a word position t(cid:48) ∈ {1, . 挿入 発話 x に対して、単語位置 t(cid:48) ∈ {1, . をランダムに選択する。 0.73
. . ,|x|}. . . ,|x|}。 0.87
A meaning-preserving example x(cid:48) is created by inserting a function word at position t(cid:48). 位置t(cid:48)に関数語を挿入して意味保存例x(cid:48)を作成する。 0.73
Deletion We randomly remove a function word xt from x. 削除 x から関数語 xt をランダムに削除します。 0.79
Substitution (f) Every function word in x is replaced with a random but different function word to generate a perturbed example. 置換 (f) x のすべての関数語は乱数だが異なる関数語に置き換えられ、摂動した例を生成する。 0.81
Substitution (nf) For every non-function word in x, we apply the pretrained language model ELECTRA (Clark et al., 2020) to select top-k candidate words and exclude the original word. 置換(nf) x のすべての非関数語に対して、学習済み言語モデル ELECTRA (Clark et al., 2020) を適用して、上位 K 候補語を選択し、元の単語を除外します。
訳抜け防止モード: 置換 (nf ) x のすべての非関数語に対して、 事前訓練言語モデルELECTRA(Clark et al ., 2020)を適用する。 to select top - k candidate words and exclude the original word。
0.83
We generate a perturbed utterance for each valid candidate word. 有効な候補語ごとに摂動発話を生成する。 0.56
Since this method may generate utterances far from their original meaning, we subsequently filter those utterances by measuring their semantic similarity with the original ones. 本手法は,本来の意味から遠く離れた発話を生成できるため,その意味的類似性を測定することにより,それらの発話をフィルタリングする。 0.62
英語(論文から抽出)日本語訳スコア
Specifically, we apply the SOTA sentence similarity model Sentence-Bert (Reimers and Gurevych, 2019) to compute similarity scores for each generated utterance resulting in only the n highest scored utterances. 具体的には、Sentence-Bert (Reimers and Gurevych, 2019) を用いて、生成した発話毎の類似度スコアを計算し、その結果、n が最も高い発話のみを得る。 0.68
Back Translation Inspired by (Lichtarge et al., 2019), we revise utterances using back translation. Back Translation Inspired by (Lichtarge et al., 2019)、バックトランスレーションを使用して発話を修正しました。 0.74
We apply the Google translation API to translate utterances into a bridge language and then translate them back to English. Google翻訳APIを使用して、発話をブリッジ言語に翻訳し、それを英語に翻訳します。 0.74
Russian, French, and Japanese are used as the bridge languages to diversify and maximize the coverage of meaningpreserving perturbations. ロシア語、フランス語、日本語は、意味保存摂動の範囲を多様化し最大化するための橋渡し言語として用いられる。 0.57
We select the best translation among all three translations for each original utterance according to Sentence-Bert’s scores. 我々は、Sentence-Bertのスコアに従って、元の発話ごとに3つの翻訳のうち最高の翻訳を選択する。 0.65
Reordering Similar to back translation, we reorder utterances by the SOTA reordering model SOW-REAP (Goyal and Durrett, 2020). リオーダー 後方翻訳と同様、SOTAリオーダーモデル SOW-REAP (Goyal and Durrett, 2020) による発話を並べ替える。 0.70
To increase the coverage, we follow the same strategy as Substitution (nf) to generate an extended set of reordered utterances with multiple instances per input utterance. カバレッジを高めるために、私たちは置換(nf)と同じ戦略に従い、入力発話ごとに複数のインスタンスを持つ再順序化発話の拡張セットを生成します。 0.63
We use Sentence-Bert to encode sentences and select the top-k best ones according to their cosine similarity scores with the original input. 我々はSentence-Bertを用いて文をエンコードし、コサイン類似度スコアに従ってトップkのベストを元の入力と選択する。 0.66
The reordered sentences share the same vocabulary as the original one except for the order of words. 再順序付けされた文は、単語の順序を除いて元の文と同じ語彙を共有する。 0.67
3.1.2 Filter Examples by Crowdsourcing As perturbation operations related to function words rarely alter meanings, we apply three crowdsourcing operations to the utterances perincluding Substitution (nf), Reordering, turbed, and Back Translation. 3.1.2 関数語に関連する摂動操作としてクラウドソーシングを行うことで例をフィルタリングし,3つのクラウドソーシング操作を置換(nf),再順序付け,ターブド,逆変換に適用する。 0.66
For each perturbed utterance paired with the original utterance, three turkers at Amazon Mechanical Turk discern any semantic changes by choosing an option out of three — the same, different, or not sure. Amazon Mechanical Turkの3人のターカーは、元の発声と組み合わせたそれぞれの発声に対して、3つのうち1つを選ぶことで意味的な変化を識別する。 0.64
By default, any sentences uncomprehended by a human are regarded as not sure. デフォルトでは、人間が含まない文は不確かであるとみなされる。 0.67
Finally, we keep only the ones that have the same meaning agreed by at least two turkers. 最後に、我々は少なくとも2人のターカーによって合意された同じ意味を持つものだけを保持する。 0.57
After crowdsourcing, we keep 83%, 82% and 61% of the generated utterances for Substitution (nf), Back Translation and Reordering, respectively. クラウドソーシングを行った後,生成発話の83%,82%,61%を置換用発話(nf),バック翻訳,リオーダリングに保持した。 0.57
3.2 Evaluation Metrics Our framework assesses the performance of a semantic parser w.r.t. 3.2 評価指標 フレームワークはセマンティックパーサw.r.tの性能を評価する。 0.68
standard accuracy and robustness metrics. 標準精度と堅牢性指標。 0.79
Those robustness metrics indicate これらのロバストネス指標は 0.59
how well a semantic parser resists to meaningpreserving perturbations and adversarial attacks. 意味論的パーサーは 摂動と敵の攻撃の 意味に抵抗する 0.63
As adversarial training is widely used for adversarial defense and mostly applicable to any neural semantic parsers, this framework supports comparing a wide range of adversarial training methods w.r.t. 敵対的訓練が敵防衛に広く使われ、ほとんどの神経意味解析に応用されるため、このフレームワークは幅広い敵的訓練方法w.r.tの比較をサポートする。 0.62
standard accuracy and robustness metrics. 標準精度と堅牢性指標。 0.79
A training set, a validation set, a standard test set, and a meaning-preserving test set are established in each domain. 各ドメインには、トレーニングセット、検証セット、標準テストセット、意味保存テストセットが確立されています。 0.71
The first three sets are obtained from the original benchmark corpus, and the meaning-preserving test set is created using the methods described in Sec. 最初の3セットは、元のベンチマークコーパスから得られ、secで記述された方法を用いて意味保存テストセットが作成される。 0.63
3.1. We will examine the meaning-preserving test set (denoted by Sperturb(D)) and its two subsets. 3.1. 意味保存テストセット(sperturb(d))とその2つの部分集合について検討する。 0.68
We refer to the first subset as the robustness evaluation set (denoted by Reval(D)), where the counterparts before perturbation are parsed correctly. 最初のサブセットを堅牢性評価セット(Reval(D)で定義)と呼び、摂動前の対応を正しく解析します。
訳抜け防止モード: 最初のサブセットを堅牢性評価セット(Reval(D ) で示される)と呼びます。 ここで、摂動前の対応を正しく解析します。
0.71
We refer to the second subset as the black-box test set (denoted by Battack(D)), where the loss of a parser to the examples is higher than their counterparts before perturbation. 2番目のサブセットをブラックボックステストセット(Battack(D)によってデノット)と呼び、サンプルに対するパーサーの損失は摂動前のそれよりも高い。 0.63
For each target parser, we consider four metrics, including standard accuracy, perturbation accuracy, robust accuracy, and success rate of black-box attack. 各ターゲットパーサについて,標準精度,摂動精度,頑健な精度,ブラックボックス攻撃の成功率の4つの指標を検討した。 0.76
Standard accuracy The most widely used metric on semantic parsing (Dong and Lapata, 2018; Yin and Neubig, 2018) to measure the percentage of the predicted LFs that exactly match their gold LFs in a standard test set. 標準精度 セマンティック解析に関する最も広く使われている指標(Dong and Lapata, 2018; Yin and Neubig, 2018)は、標準テストセットで金のLFと正確に一致する予測されたLFの比率を測定するものである。 0.84
Perturbation accuracy Perturbation accuracy is formally defined as n/|Sperturb(D)|, where n denotes the number of correctly parsed examples to their gold LFs in a meaning-preserving test set Sperturb(D). 摂動精度 摂動精度 正式には n/|Sperturb(D)| と定義され、n は意味保存テストセット Sperturb(D) においてそのゴールド LF に対して正しく解析された例の数を表す。 0.69
Robust accuracy Robust accuracy is calculated as n/|Reval(D)|, where n denotes the number of examples that are parsed correctly by a parser in a robustness evaluation set Reval(D). ロバスト精度ロバスト精度は n/|Reval(D)| として計算され、ロバスト性評価セットReval(D) においてパーサーによって正しく解析される例の数を表す。 0.75
Compared to perturbation accuracy, robust accuracy measures the number of examples that a parser can parse correctly before perturbation but fails to get them right after perturbation. 摂動精度と比較すると、ロバストな精度は摂動前にパーサーが正しく解析できる例の数を測定するが、摂動の直後には正しく解析できない。 0.62
Success rate of black-box attack A blackbox attack example is regarded as the one that increases the loss of a model after perturbation (Zhang et al., 2020). ブラックボックス攻撃の成功率 ブラックボックス攻撃の例は、摂動後のモデルの損失を増大させるものと見なされる(Zhang et al., 2020)。 0.77
Here, the success rate of black-box attack is calculated as n/|Battack(D)|, where n denotes the number of examples that ここでは、ブラックボックス攻撃の成功率は n/|Battack(D)| として計算されます。
訳抜け防止モード: ここでは、ブラックボックス攻撃の成功率は n/|Battack(D)|, nは例の数を表しています
0.81
英語(論文から抽出)日本語訳スコア
are parsed incorrectly by a parser in the blackbox test set Battack(D). blackbox test set battack(d)のパーサによって誤って解析される。 0.73
White-box attacks require model specific implementation to generate adversarial examples, thus we leave the corresponding evaluation to the developers of semantic parsers. ホワイトボックス攻撃は、逆例を生成するためにモデル固有の実装を必要とするため、対応する評価はセマンティックパーサの開発者に任せる。 0.60
The four metrics are computed to evaluate the efficacy of an adversarial training method. 4つの指標を算出し, 敵訓練法の有効性を評価する。 0.74
We inspect whether the metrics increase or decrease post-training and to what degree. メトリクスがトレーニング後の増加または減少するかどうかおよび程度を検査します。 0.58
An effective adversarial training method is expected to find a good trade-off between standard accuracy and robust accuracy. 有効対向訓練法は,標準精度とロバスト精度との良好なトレードオフを見出すことが期待される。 0.66
Last but not least, all evaluation metrics are implemented with easy-to-use APIs in our toolkit. 最後に、すべての評価指標は、ツールキットで使いやすいAPIで実装されています。 0.65
Our toolkit supports easy evaluation of a semantic parser and provides source code to facilitate integrating additional semantic parsing corpora. 本ツールキットはセマンティックパーサの簡易評価をサポートし,さらにセマンティックパーサコーパスの統合を容易にするためのソースコードを提供する。 0.61
4 Experiments In this section, we present the first empirical study on robust semantic parsing. 4つの実験 本稿では,ロバストな意味解析に関する最初の実証研究を行う。 0.68
4.1 Experimental Setup Parsers We consider three SOTA neural semantic parsers — SEQ2SEQ with attention (Luong et al., 2015), COARSE2FINE (Dong and Lapata, 2018), and TRANX (Yin and Neubig, 2018). 4.1 実験的なセットアップパーザ 注意を伴うSEQ2SEQ(Luong et al., 2015)、COARSE2FINE(Dong and Lapata, 2018)、TRANX(Yin and Neubig, 2018)の3つのSOTAニューラルネットワークセマンティックパーサを検討する。 0.72
COARSE2FINE is the best performing semantic parser on the standard splits of GEOQUERY and ATIS. COARSE2FINEはGEOQUERYとATISの標準分割における最高のセマンティックパーザである。 0.68
TRANX reports standard accuracy on par with COARSE2FINE and employs grammar rules to ensure validity of outputs. TRANXはCOARSE2FINEと同等の精度を報告し、出力の有効性を保証するために文法規則を採用している。 0.54
corpus is evaluation Datasets Our constructed by extending three benchmark corpora — GEOQUERY (Zelle and Mooney, 1996), ATIS (Dahl et al., 1994), and JOBS. コーパス は 評価 データセット GEOQUERY (Zelle and Mooney, 1996), ATIS (Dahl et al., 1994), JOBS の3つのベンチマークコーパスを拡張して構築した。 0.69
GEOQUERY contains 600 and 280 utterance-LF pairs to express the geography information in the training and test set, respectively. GEOQUERYには、トレーニングセットとテストセットで地理情報を表現する600と280の発話LFペアが含まれています。 0.69
ATIS consists of 4434, 491, and 448 examples about flight booking in the training, validation, and test sets, respectively. ATISは、訓練、検証、テストセットにおける飛行予約に関する4434、491、および448の例で構成されている。 0.76
And JOBS includes 500 and 140 pairs about job listing in the training and test set, respectively. また、トレーニングセットとテストセットには500対と140対の求人リストが含まれている。 0.68
Adversarial Training Methods We apply three adversarial training methods to the parsers. 対人トレーニング方法 パーサーに3つの対人トレーニング方法を適用します。 0.66
We evaluate whether the three adversarial training methods could improve semantic parsers’ robustness against the meaning-preserving examples generated by the word-level and sentence-level 単語レベルと文レベルが生成する意味保存例に対する意味解析の堅牢性を改善することができるかどうかを評価する。 0.59
operations. The corresponding three adversarial training methods are as follows: 作戦だ 対応する3つの対向訓練方法は次のとおりである。 0.56
Fast Gradient Method (Miyato et al., 2016) Fast Gradient Method (FGM) adds small perturbations to the word embeddings and train the semantic parsers with the perturbed embeddings. Fast Gradient Method (Miyato et al., 2016) Fast Gradient Method (FGM)は、単語埋め込みに小さな摂動を加え、永続化埋め込みでセマンティックパーサーを訓練する。 0.73
The perturbations are scaled gradients w.r.t. 摂動はスケールした勾配 w.r.t である。 0.46
the input word embeddings. 入力ワードの埋め込み。 0.64
Projected Gradient Descent (Madry et al., 2017) Projected Gradient Descent (PGD) adds small perturbations to the word embeddings as well. Projected Gradient Descent (Madry et al., 2017) Projected Gradient Descent (PGD)は、埋め込みという言葉にも小さな摂動を加える。 0.82
Instead of calculating a single step of gradients, PGD accumulates the scaled gradients for multiple iterations to generate the perturbations. PGDは勾配の1つのステップを計算する代わりに、複数の反復に対してスケールした勾配を蓄積して摂動を生成する。 0.60
Meaning-preserving Data Augmentation Meaning-preserving Data Augmentation (MDA) augments the original training data with the meaning-preserving examples generated by the word-level and sentence-level operations. Meaning-preserving Data Augmentation Meaning-preserving Data Augmentation (MDA)は、単語レベルと文レベルの操作によって生成された意味保存の例で、元のトレーニングデータを強化します。 0.60
We randomly select 20% of the original instances for each dataset and generate their corresponding meaning-preserving instances. 各データセットの元のインスタンスの20%をランダムに選択し、対応する意味保存インスタンスを生成します。 0.64
Since there are six different operations, each original training set is augmented with six different meaning-preserving sets independently. 6つの異なる操作があるため、それぞれのトレーニングセットは6つの異なる意味保存セットで独立して拡張される。 0.67
Training Details For both supervised training and adversarial training, we set batch size to 20 for all parsers with 100 epochs. トレーニングの詳細 教師付きトレーニングと逆行トレーニングの両方において,100のエポックを持つ全パーサーに対してバッチサイズを20に設定した。
訳抜け防止モード: 指導訓練と敵訓練の双方について バッチサイズを100エポックの全てのパーサーで20に設定しました
0.68
We follow the best settings of three parsers reported in (Dong and Lapata, 2018; Yin and Neubig, 2018) to set the remaining hyperparameters. レポートされた3つのパーサー(Dong and Lapata, 2018; Yin and Neubig, 2018)の最良の設定に従って、残りのハイパーパラメータを設定します。 0.70
The best performing implementation of SEQ2SEQ is included in Yin and Neubig (2018). SEQ2SEQの最も優れた実装は Yin と Neubig (2018) に含まれる。 0.73
4.2 Results and Analysis We discuss experimental results by addressing the following research questions: 4.2 結果と分析 以下の研究課題に答えて実験結果について考察する。 0.73
RQ1: How do the SOTA parsers perform on meaning-preserving test sets? RQ1: SOTAパーサーは、意味保存テストセットでどのように機能しますか? 0.62
All three SOTA semantic parsers are trained on each training set before they are tested on the corresponding standard test sets and meaning-preserving test sets. 3つのSOTAセマンティックパーサーは、対応する標準テストセットと意味保存テストセットでテストする前に、各トレーニングセットでトレーニングされる。 0.78
Besides the overall results on whole test sets, Table 2 reports accuracy on each example subset perturbed by the respective perturbation operation. テストセット全体の結果の他に、表2は各摂動操作によって摂動される各サンプルサブセットの精度を報告している。 0.72
The results on those subsets are further compared これらの部分集合の結果はさらに比較される 0.70
英語(論文から抽出)日本語訳スコア
Generation Methods Insertion Substitution (f) Deletion Substitution (nf) Back Translation Reordering Overall(micro) Overall(macro) 生成方法 挿入置換 (f) deletion replacement (nf) back translation reordering overall(micro) overall(macro) 0.75
SEQ2SEQ 87.09/84.98 86.58/78.89 86.48/82.23 80.34/78.63 87.66/44.15 89.53/39.53 86.15/76.08 86.27/68.06 SEQ2SEQ 87.09/84.98 86.58/78.89 86.48/82.23 80.34/78.63 87.66/44.15 89.53/39.53 86.15/76.08 86.27/68.06 0.20
JOBS COARSE2FINE 84.40/77.77 84.22/71.59 84.16/81.46 79.05/76.92 84.41/46.10 84.88/48.83 83.64/72.35 83.52/67.11 JOBS COARSE2FINE 84.40/77.77 84.22/71.59 84.16/81.46 79.05/76.92 84.41/46.10 84.88/48.83 83.64/72.35 83.52/67.11 0.52
TRANX 81.89/82.97 82.23/86.10 83.80/75.79 82.90/83.33 87.01/58.44 90.69/67.44 82.70/78.81 84.75/75.67 TRANX 81.89/82.97 82.23/86.10 83.80/75.79 82.90/83.33 87.01/58.44 90.69/67.44 82.70/78.81 84.75/75.67 0.20
SEQ2SEQ 85.59/80.50 85.27/78.38 85.31/82.30 85.71/64.95 85.92/48.74 90.07/29.78 85.48/72.55 86.31/64.10 SEQ2SEQ 85.59/80.50 85.27/78.38 85.31/82.30 85.71/64.95 85.92/48.74 90.07/29.78 85.48/72.55 86.31/64.10 0.20
GEOQUERY COARSE2FINE 87.57/85.21 86.97/82.30 85.69/72.56 87.37/70.93 86.93/56.28 90.78/48.93 87.15/78.04 87.55/69.36 GEOQUERY COARSE2FINE 87.57/85.21 86.97/82.30 85.69/72.56 87.37/70.93 86.93/56.28 90.78/48.93 87.15/78.04 87.55/69.36 0.21
TRANX 85.96/81.73 84.23/79.04 85.69/72.56 86.37/66.11 85.42/41.13 93.61/41.13 86.01/72.44 86.88/63.61 TRANX 85.96/81.73 84.23/79.04 85.69/72.56 86.37/66.11 85.42/41.13 93.61/41.13 86.01/72.44 86.88/63.61 0.20
SEQ2SEQ 67.36/68.33 70.93/59.19 67.82/63.06 75.28/56.36 75.91/56.38 72.28/40.66 70.72/60.55 71.59/57.33 SEQ2SEQ 67.36/68.33 70.93/59.19 67.82/63.06 75.28/56.36 75.91/56.38 72.28/40.66 70.72/60.55 71.59/57.33 0.20
ATIS COARSE2FINE 84.16/82.73 86.06/68.22 83.14/73.23 85.57/68.94 86.55/63.30 87.04/52.10 85.13/71.79 85.42/68.08 ATIS COARSE2FINE 84.16/82.73 86.06/68.22 83.14/73.23 85.57/68.94 86.55/63.30 87.04/52.10 85.13/71.79 85.42/68.08 0.52
TRANX 77.45/75.63 76.70/67.69 79.65/60.83 78.55/60.57 81.23/58.36 79.51/47.89 78.52/64.89 78.84/61.82 TRANX 77.45/75.63 76.70/67.69 79.65/60.83 78.55/60.57 81.23/58.36 79.51/47.89 78.52/64.89 78.84/61.82 0.52
Table 2: Standard/Perturbatio n accuracy of SOTA parsers, trained on the original training sets. 表2:オリジナルのトレーニングセットで訓練されたSOTAパーサの標準/摂動精度。 0.74
Generation Methods Insertion Substitution (f) Deletion Substitution (nf) Back Translation Reordering Overall(micro) Overall(macro) 生成方法 挿入置換 (f) deletion replacement (nf) back translation reordering overall(micro) overall(macro) 0.75
JOBS GEOQUERY ATIS JOBS 地質 ATIS 0.69
SEQ2SEQ COARSE2FINE TRANX SEQ2SEQ COARSE2FINE TRANX SEQ2SEQ COARSE2FINE TRANX 93.91 75.22 8 7.03 76.56 76.56 57.63 83.06 76.82 SEQ2SEQ COARSE2FINE TRANX SEQ2SEQ COARSE2FINE TRANX 93.91 75.22 8 7.03 76.56 76.56 57.63 83.06 76.82 0.55
96.06 90.66 94.64 97.87 48.88 42.85 87.79 78.50 Table 3: Robust accuracy for three SOTA parsers in each domain. 96.06 90.66 94.64 97.87 48.88 42.85 87.79 78.50 Table 3: 各ドメインのSOTAパーサーのロバスト精度。 0.52
91.51 84.77 96.33 97.29 54.07 57.53 86.03 80.08 91.51 84.77 96.33 97.29 54.07 57.53 86.03 80.08 0.42
94.96 90.51 97.18 97.93 64.92 73.06 92.21 86.43 94.96 90.51 97.18 97.93 64.92 73.06 92.21 86.43 0.42
82.32 87.96 88.03 78.71 61.07 38.21 83.08 72.31 82.32 87.96 88.03 78.71 61.07 38.21 83.08 72.31 0.42
95.04 77.05 86.06 79.88 79.88 58.82 82.27 78.12 95.04 77.05 86.06 79.88 79.88 58.82 82.27 78.12 0.42
96.45 94.51 93.67 80.79 64.16 53.90 89.06 80.58 96.45 94.51 93.67 80.79 64.16 53.90 89.06 80.58 0.42
95.37 83.41 92.04 76.64 57.22 44.96 85.05 74.94 95.37 83.41 92.04 76.64 57.22 44.96 85.05 74.94 0.42
93.42 78.02 88.04 76.50 73.06 53.75 81.29 77.71 93.42 78.02 88.04 76.50 73.06 53.75 81.29 77.71 0.42
with the standard accuracy on the corresponding examples before perturbation. 摂動前の対応する例の 標準的な精度で 0.74
As shown in Table 2, SOTA semantic parsers suffer from significant performance drop in almost all meaning-preserving test sets compared to the results on standard test sets. 表2に示すように、sotaセマンティックパーサは、標準テストセットの結果と比較して、ほぼすべての意味保存テストセットで著しいパフォーマンス低下に苦しむ。 0.65
The performance ranking among the three SOTA semantic parsers varies across different datasets. 3つのSOTAセマンティックパーサのパフォーマンスランキングは、データセットによって異なる。 0.61
COARSE2FINE achieves the best performance on GEOQUERY and ATIS, while SEQ2SEQ beats COARSE2FINE and TRANX on JOBS. COARSE2FINEはGEOQUERYとATISで最高のパフォーマンスを達成し、SEQ2SEQはJOBSでCoARSE2FINEとTRANXを破る。 0.56
Although COARSE2FINE achieves better accuracy than TRANX on the standard test set of JOBS, it falls short of TRANX on the meaning-preserving test set of JOBS. COARSE2FINEはJOBSの標準テストセットのTRANXよりも精度が高いが、JOBSの意味保存テストセットのTRANXには劣っている。 0.71
A parser achieving higher standard accuracy does not necessarily obtain better perturbation accuracy against meaning-preserving perturbations than its competitors. より高い標準精度を実現するパーサーは、必ずしも競合他社よりも意味保存摂動に対するより良い摂動精度を得るとは限らない。 0.52
Our evaluation framework supports also indepth analysis on the impact of different perturbation method on semantic parsers. 本評価フレームワークは,セマンティクスパーサに対する摂動法の違いの影響に関する詳細な解析もサポートする。 0.74
All parsers are more vulnerable to sentence-level perturbations than word-level ones. すべてのパーサーは、単語レベルよりも文レベルの摂動に弱い。 0.60
Although reordering changes only word order in utterances, it leads to the lowest perturbation accuracy of all parsers on GEOQUERY and ATIS. 再順序付けは発話中の単語順序のみを変更するが、GEOQUERYおよびATS上のすべてのパーサーの最低摂動精度につながる。 0.67
Among word-level perturbation operations, substitution of non-function words is more challenging than deletion and insertion of function words on GEOQUERY and ATIS. 単語レベルの摂動操作では,非機能単語の置換はGEOQUERYやATIS上での機能単語の削除や挿入よりも困難である。 0.70
On JOBS and ATIS, even deletion or substitution of function words can impose significant challenges for the parsers. JOBSとATISでは、機能単語の削除や置換さえも、パーサーに重大な課題を課す可能性がある。 0.54
When we further investigate the deleted or replaced function words, such as in Table 1, semantic parsers are not expected テーブル1のような削除または置換された関数語についても、セマンティックパーサーは期待できない。 0.68
to rely on such information. そのような情報を頼りにする。 0.55
As all perburbations in our meaning-preserving test sets do not change meanings of original utterances, it imposes new research challenges on how to make semantic parsers resist meaning-preserving perturbations as well as how to avoid overfitting on semantically insignificant words. 私たちの意味保存テストセットのすべてのパーバーベーションは元の発話の意味を変えないので、意味解析器に意味保存のパーバーベーションに抵抗させる方法と、意味的に重要でない単語にオーバーフィットを避ける方法に関する新しい研究課題を課す。 0.58
RQ2: What kind of perturbed examples particularly degrade parser performance? RQ2: パーサーのパフォーマンスを特に低下させたのはどのような例ですか? 0.56
Although perturbation accuracy allows comparing parsers on the same test sets, it includes the examples that a parser fails to parse correctly both before and after the meaning-preserving perturbation. 摂動精度は同一のテストセットでのパーサの比較を可能にするが、パーサが意味保存摂動の前と後の両方で正しく解析できない例を含む。 0.67
Robust accuracy focuses on the examples a parser parses successfully before perturbation but fails after that. ロバスト精度は、パーサが摂動前にうまく解析する例に焦点を当てるが、その後失敗する。 0.57
We investigate all parsers trained without adversarial training in terms of this measure. 本研究は, 対人訓練を伴わない全てのパーサーについて, 本尺度を用いて検討する。 0.49
As shown in Table 3, TRANX is superior to the other two parsers on JOBS, and COARSE2FINE is the clear winner on GEOQUERY. 表3に示すように、TRANXはJOBSの他の2つのパーサーよりも優れており、CoARSE2FINEはGEOQUERYの明確な勝者である。 0.65
This ranking of parsers is consistent with perturbation accuracy in the two domains. このパーサーのランキングは、2つのドメインの摂動精度と一致する。 0.69
However, the differences among three parsers on ATIS are marginal, while COARSE2FINE achieves significantly superior perturbation accuracy in the same domain. しかし、ATISにおける3つのパーサーの違いは限界であり、COARSE2FINEは同一領域における摂動精度を著しく向上させる。 0.53
ATIS is the domain with the most diverse paraphrases in natural language, COARSE2FINE cannot significantly outperform the other two parsers against meaning-preserving perturbations. ATISは自然言語で最も多様なパラフレーズを持つドメインであり、COARSE2FINEは他の2つのパーサーを意味保存の摂動から大幅に上回ることはできません。 0.59
We further investigate adversary examples, which are defined in Eq. 私たちはさらに Eqで定義される逆例について調べる。 0.61
2, for each parser in the meaning-preserving test sets. 意味保存テストセットの各パーサに対して2。 0.62
The shared adversarial examples among the parsers vary significantly across domains. パーサー間の敵の共有例はドメインによって大きく異なる。 0.68
More than 50% of the ad- 広告の50%以上。 0.57
英語(論文から抽出)日本語訳スコア
err 翻訳エラー 0.00
英語(論文から抽出)日本語訳スコア
(a) Perturbation accuracy. (b) Robust accuracy. (a)摂動精度。 (b)堅牢な精度。 0.68
(c) Success rate of black-box attack. (c)ブラックボックス攻撃の成功率。 0.79
Figure 2: Robustness metrics of COARSE2FINE before and after adversarial training. 図2: 対人訓練前後におけるCOARSE2FINEのロバストネス指標。 0.76
Generation Methods No adv. 生成方法 advなし。 0.74
train FGM PGD MDA(all) MDA(Insertion) MDA(Substitution (f)) MDA(Deletion) MDA(Substitution (nf)) MDA(Back Translation) MDA(Reordering) 列車FGM PGD MDA(All) MDA(Insertion) MDA(Substitution (f)) MDA(Deletion) MDA(Substitution (nf)) MDA(Back Translation) MDA(Reordering) 0.84
SEQ2SEQ 87.14 87.31 82.84 87.74 89.14 87.71 87.28 87 88.42 86.91 SEQ2SEQ 87.14 87.31 82.84 87.74 89.14 87.71 87.28 87 88.42 86.91 0.44
JOBS COARSE2FINE 83.57 86.12 86.18 86.16 86.16 85.25 90.14 80.68 87.53 87.21 JOBS COARSE2FINE 83.57 86.12 86.18 86.16 86.16 85.25 90.14 80.68 87.53 87.21 0.63
TRANX 87.14 91.34 92.93 88.57 88.85 88.85 85.33 90.14 88.57 89.71 TRANX 87.14 91.34 92.93 88.57 88.85 88.85 85.33 90.14 88.57 89.71 0.44
SEQ2SEQ 83.92 83.89 84.56 82.89 81.78 83.21 83.21 83.85 82.14 83.21 SEQ2SEQ 83.92 83.89 84.56 82.89 81.78 83.21 83.21 83.85 82.14 83.21 0.42
GEOQUERY COARSE2FINE 86.78 86.35 86.35 86.73 87.14 86.79 86.79 86.79 86.71 86.21 GEOQUERY COARSE2FINE 86.78 86.35 86.35 86.73 87.14 86.79 86.79 86.79 86.71 86.21 0.44
TRANX 86.07 84.01 84.01 87.11 87.64 87.35 87.35 86.85 86.64 86.85 TRANX 86.07 84.01 84.01 87.11 87.64 87.35 87.35 86.85 86.64 86.85 0.44
SEQ2SEQ 73.88 81.00 79.96 74.75 67.16 76.51 76.87 76.11 76.20 75.66 SEQ2SEQ 73.88 81.00 79.96 74.75 67.16 76.51 76.87 76.11 76.20 75.66 0.42
ATIS COARSE2FINE 86.16 79.81 79.94 80.18 85.27 78.08 85.62 62.58 84.73 84.82 ATIS COARSE2FINE 86.16 79.81 79.94 80.18 85.27 78.08 85.62 62.58 84.73 84.82 0.63
TRANX 79.91 81.72 81.52 80.60 78.75 85.67 78.52 85.58 77.36 77.72 TRANX 79.91 81.72 81.52 80.60 78.75 85.67 78.52 85.58 77.36 77.72 0.44
Table 5: Standard accuracy of adversarial training, which is trained with adversarial training methods and evaluated on the standard test sets. 表5: 敵訓練の標準精度: 敵訓練法で訓練され、標準テストセットで評価される敵訓練の標準精度。 0.70
MDA(all) stands for MDA with all six perturbation operations. MDA(all)は6つの摂動操作からなるMDAの略である。 0.72
tween standard accuracy and robust accuracy in most occasions. ほとんどの場合、標準的な精度と堅牢な精度です。 0.61
This finding is attributed to the presence of non-robust features, which are highly predictive but incomprehensible for humans (Ilyas et al., 2019). この発見は、非常に予測的だが人間には理解できない非ロバスト特徴の存在に起因する(ilyas et al., 2019)。 0.75
To verify the theory, after applying each adversarial training method to each parser, we compare the standard accuracy before and after adversarial training. この理論を検証するために,各パーサに各対向訓練法を適用した上で,対向訓練前後の標準精度を比較した。 0.80
As shown in Table 5, none of the three adversarial training methods consistently improve standard accuracy across different domains and parsers. 表5に示すように、異なるドメインとパーサーにまたがる標準精度を一貫して向上させる3つの敵対的トレーニング方法は存在しない。 0.59
TRANX does not have a significant performance drop regardless which adversarial training method is applied. TRANXは、どの対向訓練方法を適用するにせよ、大きな性能低下はない。 0.72
It may be due to the fact that TRANX uses grammar to filter out invalid outputs. TRANXが文法を使って無効な出力をフィルタリングしているからかもしれない。 0.79
MDA cannot consistently improve parsers but also does not hurt parsers’ performance in terms of standard accuracy. MDAはパーサーを一貫して改善することはできないが、標準精度の点でパーサーのパフォーマンスを損なわない。 0.56
We conducted t-tests on the standard test sets to assess if MDA with different perturbation operations significantly improves accuracy. 摂動操作の異なるMDAが精度を著しく向上するかどうかを評価するため,標準テストセットでt-testを行った。 0.63
The results are negative so that the training examples generated by MDA at least do not hurt parsers’ performance while increasing their robustness. その結果は負であり、MDAによって生成されたトレーニング例は、少なくともパーサーのパフォーマンスを損なわず、堅牢性を高めます。 0.61
RQ5: How does our meaning-preserving data augmentation method compare with the data augmentation method proposed by (Jia and Liang, 2016)? RQ5:(Jia and Liang, 2016)提案するデータ増分法と、意味保存データ増分法はどのように比較しますか? 0.76
(Jia and Liang, 2016) is one of the SOTA data augmentation methods for seman- (Jia and Liang, 2016)はセマンのためのSOTAデータ拡張手法の1つである。 0.70
tic parsing. In their work, they show that the augmented examples improve accuracy of predicting denotations. tic解析。 彼らの研究では、拡張例が予測の精度を向上させることを示しています。 0.58
Although there are three methods proposed in (Jia and Liang, 2016), only the method of concatenating two random examples as a new example can be applied in our case. 3つの方法(jia and liang, 2016)が提案されているが、新しい例として2つのランダムな例を結合する方法のみを適用できる。 0.75
We evaluated this augmentation method with all three parsers. この拡張法を3つのパーサすべてで評価した。 0.55
No significant improvement of standard accuracy and robust accuracy is found in all three domains. 標準精度とロバスト精度は3つの領域すべてで有意な改善はない。 0.70
We conjecture that this is due to the fact that in (Jia and Liang, 2016) they report only improvement of accuracy of denotation matching, not the matching of LFs. これは、(Jia and Liang, 2016) において、LF の一致ではなく、表記一致の精度の向上のみを報告しているという事実によるものであると推測する。 0.75
In contrast, MDA can effectively reduce the harm of meaning-preserving perturbations. 対照的に、MDAは意味保存摂動の害を効果的に軽減することができる。 0.54
4.3 Conclusion We conduct the empirical study on robustness of neural semantic parsers. 4.3 結論 我々は,ニューラルセマンティックパーサーの堅牢性に関する実証的研究を行った。 0.58
In order to evaluate robustness accuracy, we define first what are adversarial examples for semantic parsing, followed by constructing test sets to measure robustness using a scalable method. 頑健性を評価するために,まず,意味解析の逆例を定義し,次いでスケーラブルな手法を用いて頑健性を測定するためのテストセットを構築する。 0.76
The outcome of this work is supposed to facilitate semantic parsing research by providing a benchmark for evaluating both standard accuracy and robustness metrics. この研究の成果は、標準精度とロバスト性メトリクスの両方を評価するベンチマークを提供することで、セマンティック解析研究を容易にすることが期待されている。
訳抜け防止モード: この作品の成果は 標準精度とロバスト性指標の両方を評価するベンチマークを提供することにより、意味解析研究を容易にする。
0.72
英語(論文から抽出)日本語訳スコア
References Anish Athalye and Nicholas Carlini. Anish AthalyeとNicholas Carliniを参照。 0.77
2018. On the robustness of the cvpr 2018 white-box adversarial example defenses. 2018. cvpr 2018white-box adversarial example defensesのロバスト性について 0.81
arXiv preprint arXiv:1804.03286. arXiv preprint arXiv:1804.03286 0.72
Yonatan Belinkov and Yonatan Bisk. ヨナタン・ベリンコフとヨナタン・ビスク。 0.39
2017. Synthetic and natural noise both break neural machine translation. 2017. 合成と自然ノイズはどちらもニューラルマシン翻訳を破る。 0.77
CoRR, abs/1711.02173. CoRR, abs/1711.02173。 0.58
Matthias Blohm, Glorianna Jagfeld, Ekta Sood, Xiang Yu, and Ngoc Thang Vu. Matthias Blohm、Glorianna Jagfeld、Ekta Sood、Xiang Yu、およびNgoc Thang Vu。 0.69
2018. Comparing attention-based convolutional and recurrent neural networks: Success and limitations in machine reading comprehension. 2018. 注意に基づく畳み込みとリカレントニューラルネットワークの比較:機械読解における成功と限界 0.82
CoRR, abs/1808.08744. CoRR, abs/1808.08744。 0.59
Alvin Chan, Lei Ma, Felix Juefei-Xu, Xiaofei Xie, Yang Liu, and Yew-Soon Ong. Alvin Chan, Lei Ma, Felix Juefei-Xu, Xiaofei Xie, Yang Liu, Yew-Soon Ong 0.85
2018. Metamorphic relation based adversarial attacks on differentiable neural computer. 2018. 微分型ニューラルコンピュータにおける異形関係に基づく逆攻撃 0.77
CoRR, abs/1809.02444. CoRR, abs/1809.02444。 0.60
Bo Chen, Le Sun, and Xianpei Han. Bo Chen、Le Sun、Xianpei Han。 0.66
2018. Sequenceto-action: End-to-end semantic graph generation for semantic parsing. 2018. sequenceto-action: 意味解析のためのエンドツーエンドセマンティックグラフ生成。 0.71
arXiv preprint arXiv:1809.00773. arXiv preprint arXiv:1809.00773 0.71
Minhao Cheng, Jinfeng Yi, Pin-Yu Chen, Huan Zhang, and Cho-Jui Hsieh. Minhao Cheng、Jinfeng Yi、Pin-Yu Chen、Huan Zhang、Cho-Jui Hsieh。 0.83
2020. Seq2sick: Evaluating the robustness of sequence-to-sequence models with adversarial examples. 2020. Seq2sick: シーケンスからシーケンスまでのモデルの堅牢性を評価する。 0.73
In AAAI, pages 3601–3608. AAAIでは3601-3608ページ。 0.76
Kevin Clark, Minh-Thang Luong, Quoc V Le, and Christopher D Manning. Kevin Clark、Minh-Thang Luong、Quoc V Le、Christopher D Manning。 0.79
2020. Electra: Pre-training text encoders as discriminators rather than generators. 2020. Electra: ジェネレータではなく、識別器としてテキストエンコーダを事前訓練する。 0.67
arXiv preprint arXiv:2003.10555. arXiv preprint arXiv:2003.10555 0.72
Deborah A. Dahl, Madeleine Bates, Michael Brown, William Fisher, Kate Hunicke-Smith, David Pallett, Christine Pao, Alexander Rudnicky, and Elizabeth Shriberg. Deborah A. Dahl、Madeleine Bates、Michael Brown、William Fisher、Kate Hunicke-Smith、David Pallett、Christine Pao、Alexander Rudnicky、Elizabeth Shriberg。 0.81
1994. Expanding the scope of the atis task: The atis-3 corpus. 1994. atisタスクの範囲を拡大する: atis-3コーパス。 0.77
In Proceedings of the Workshop on Human Language Technology, HLT ’94, page 43–48, USA. Proceedings of the Workshop on Human Language Technology, HLT ’94, page 43–48, USA 0.77
Association for Computational Linguistics. 計算言語学協会(Association for Computational Linguistics)。 0.50
Li Dong and Mirella Lapata. Li DongとMirella Lapata。 0.65
2016. Language to logical form with neural attention. 2016. 神経に注意を向けた言語から論理形式へ。 0.75
arXiv preprint arXiv:1601.01280. arXiv preprint arXiv:1601.01280 0.72
Li Dong and Mirella Lapata. Li DongとMirella Lapata。 0.65
2018. Coarse-to-fine decoding for neural semantic parsing. 2018. ニューラルセマンティック解析のための粗大な復号化 0.70
arXiv preprint arXiv:1805.04793. arXiv preprint arXiv:1805.04793 0.71
Javid Ebrahimi, Daniel Lowd, and Dejing Dou. Javid Ebrahimi、Daniel Lowd、Dejing Dou。 0.70
2018. On adversarial examples for character-level neural machine translation. 2018. 文字レベルニューラルマシン翻訳の逆例について 0.76
CoRR, abs/1806.09030. CoRR, abs/1806.09030。 0.59
Javid Ebrahimi, Anyi Rao, Daniel Lowd, and Dejing Dou. Javid Ebrahimi、Ani Rao、Daniel Lowd、Dejing Dou。 0.70
2017. Hotflip: White-box adversarial examples for NLP. 2017. Hotflip: NLPのホワイトボックス敵の例。 0.86
CoRR, abs/1712.06751. CoRR, abs/1712.06751。 0.60
Ian J Goodfellow, Jonathon Shlens, and Christian Szegedy. Ian J Goodfellow、Jonathon Shlens、Christian Szegedy。 0.70
2014. Explaining and harnessing adversarial examples. 2014. 逆例の解説と活用。 0.72
arXiv preprint arXiv:1412.6572. arXiv preprint arXiv:1412.6572 0.72
Tanya Goyal and Greg Durrett. Tanya GoyalとGreg Durrett。 0.80
2020. Neural syntactic preordering for controlled paraphrase generation. 2020. 制御パラフレーズ生成のためのニューラルシンタクティックプレオーダー。 0.74
arXiv preprint arXiv:2005.02013. arXiv preprint arXiv:2005.02013 0.72
Chuan Guo, Jacob R Gardner, Yurong You, Andrew Gordon Wilson, and Kilian Q Weinberger. Chuan Guo, Jacob R Gardner, Yurong You, Andrew Gordon Wilson, Kilian Q Weinberger 0.70
2019a. Simple black-box adversarial attacks. 2019年。 単純なブラックボックス攻撃。 0.75
arXiv preprint arXiv:1905.07121. arXiv preprint arXiv: 1905.07121 0.71
Daya Guo, Yibo Sun, Duyu Tang, Nan Duan, Jian Yin, Hong Chi, James Cao, Peng Chen, and Ming Zhou. Daya Guo、Yibo Sun、Duyu Tang、Nan Duan、Jian Yin、Hong Chi、James Cao、Peng Chen、Ming Zhou。 0.72
2018. Question generation from sql queries improves neural semantic parsing. 2018. sqlクエリからの質問生成は、ニューラルセマンティックパーシングを改善する。 0.76
arXiv preprint arXiv:1808.06304. arXiv preprint arXiv:1808.06304 0.72
Jiaqi Guo, Zecheng Zhan, Yan Gao, Yan Xiao, Jian-Guang Lou, Ting Liu, and Dongmei Zhang. Jiaqi Guo, Zecheng Zhan, Yan Gao, Yan Xiao, Jian-Guang Lou, Ting Liu, Dongmei Zhang 0.77
2019b. in crossdomain database with intermediate representation. 2019年。 中間表現を持つクロスドメインデータベースです 0.72
CoRR, abs/1905.08205. CoRR, abs/1905.08205。 0.58
Towards complex text-to-sql 複素テキストからsqlへ 0.66
Po-Sen Huang, Chenglong Wang, Rishabh Singh, Wen-tau Yih, and Xiaodong He. Po-Sen Huang, Chenglong Wang, Rishabh Singh, Wen-tau Yih, Xiaodong He。 0.92
2018. Natural language to structured query generation via metalearning. 2018. メタラーニングによる自然言語から構造化クエリ生成 0.83
arXiv preprint arXiv:1803.02400. arXiv preprint arXiv:1803.02400 0.72
Andrew Ilyas, Shibani Santurkar, Dimitris Tsipras, Logan Engstrom, Brandon Tran, and Aleksander Madry. Andrew Ilyas, Shibani Santurkar, Dimitris Tsipras, Logan Engstrom, Brandon Tran, Aleksander Madry 0.71
2019. Adversarial examples are not bugs, they are features. 2019. 逆の例はバグではなく、機能です。 0.73
In Advances in Neural Information Processing Systems, pages 125–136. In Advances in Neural Information Processing Systems, page 125–136。 0.94
Robin Jia and Percy Liang. Robin JiaとPercy Liang。 0.74
2016. Data recombination 2016. データ再結合 0.79
for neural semantic parsing. ニューラル・セマンティック・パーシングです 0.45
Robin Jia and Percy Liang. Robin JiaとPercy Liang。 0.74
2017. Adversarial examples for evaluating reading comprehension systems. 2017. 読解システムの評価における逆例 0.77
CoRR, abs/1707.07328. CoRR, abs/1707.07328。 0.59
Aishwarya Kamath and Rajarshi Das. Aishwarya KamathとRajarshi Das。 0.75
2018. A survey 2018. アンケート調査 0.75
on semantic parsing. 意味解析についてです 0.34
CoRR, abs/1812.00978. CoRR, abs/1812.00978。 0.58
Zhongyang Li, Xiao Ding, and Ting Liu. Zhongyang Li、Xiao Ding、およびTing Liu。 0.70
2018. Generating reasonable and diversified story ending using sequence to sequence model with adversarial training. 2018. 敵対的トレーニングによるシーケンスからシーケンスモデルによる合理的で多様なストーリーエンドを生成する。 0.74
In Proceedings of the 27th International Conference on Computational Linguistics, pages 1033– 1043, Santa Fe, New Mexico, USA. 第27回計算言語学国際会議の議事録 1033–1043, santa fe, new mexico, usa. (英語) 0.76
Association for Computational Linguistics. 計算言語学協会(Association for Computational Linguistics)。 0.50
Jared Lichtarge, Chris Alberti, Shankar Kumar, Noam Shazeer, Niki Parmar, and Simon Tong. Jared Lichtarge, Chris Alberti, Shankar Kumar, Noam Shazeer, Niki Parmar, Simon Tong 0.72
2019. Corpora generation for grammatical error correction. 2019. 文法的誤り訂正のためのコーパス生成 0.72
arXiv preprint arXiv:1904.05780. arXiv preprint arXiv:1904.05780 0.71
Ji Gao, Jack Lanchantin, Mary Lou Soffa, and Yanjun Qi. Ji Gao、Jack Lanchantin、Mary Lou Soffa、Yanjun Qi。 0.70
2018. Black-box generation of adversarial text sequences to evade deep learning classifiers. 2018. 深層学習分類器回避のための逆文列のブラックボックス生成 0.74
CoRR, abs/1801.04354. CoRR, abs/1801.04354。 0.60
Minh-Thang Luong, Hieu Pham, and Christopher D Manning. Minh-Thang Luong、Hieu Pham、Christopher D Manning。 0.74
2015. Effective approaches to attentionbased neural machine translation. 2015. 注意に基づくニューラルマシン翻訳への効果的なアプローチ 0.75
arXiv preprint arXiv:1508.04025. arXiv preprint arXiv:1508.04025 0.72
英語(論文から抽出)日本語訳スコア
A. Madry, Aleksandar Makelov, L. Schmidt, Towards to adversarial A. Madry, Aleksandar Makelov, L. Schmidt, Towards to adversarial 0.98
D. Tsipras, and Adrian Vladu. D. Tsipras、およびAdrian Vladu。 0.88
2018. deep learning models attacks. 2018年、ディープラーニングモデル攻撃。 0.60
ArXiv, abs/1706.06083. ArXiv, abs/1706.06083。 0.60
resistant Aleksander Madry, Aleksandar Makelov, Ludwig Schmidt, Dimitris Tsipras, and Adrian Vladu. 耐性 Aleksander Madry、Aleksandar Makelov、Ludwig Schmidt、Dimitris Tsipras、Adrian Vladu。 0.70
2017. Towards deep learning models resistant to adversarial attacks. 2017. 敵対的攻撃に抵抗するディープラーニングモデルに向けて 0.76
arXiv preprint arXiv:1706.06083. arXiv preprint arXiv:1706.06083 0.71
Paul Michel, Xian Li, Graham Neubig, Paul Michel, Xian Li, Graham Neubig 0.76
and Juan Miguel Pino. そしてJuan Miguel Pino。 0.78
2019. On evaluation of adversarial perturbations for sequence-to-sequence models. 2019. 逐次系列モデルにおける逆摂動の評価について 0.72
arXiv preprint arXiv:1903.06620. arXiv preprint arXiv:1903.06620 0.72
Takeru Miyato, Andrew M Dai, and Ian Goodfellow. 宮戸尊、アンドリュー・m・ダイ、イアン・グッドフェロー。 0.51
2016. Adversarial training methods for semi-supervised text classification. 2016. 半教師付きテキスト分類のためのadversarial training法 0.77
arXiv preprint arXiv:1605.07725. arXiv preprint arXiv:1605.07725 0.71
Nicolas Papernot, Patrick D. McDaniel, Ananthram Swami, and Richard E. Harang. Nicolas Papernot、Patrick D. McDaniel、Ananthram Swami、Richard E. Harang。 0.84
2016. Crafting adversarial input sequences for recurrent neural networks. 2016. リカレントニューラルネットワークのための逆入力シーケンスの作成 0.80
CoRR, abs/1604.08275. CoRR, abs/1604.08275。 0.60
Nils Reimers and Iryna Gurevych. Nils ReimersとIryna Gurevych。 0.81
2019. Sentencebert: Sentence embeddings using siamese bertnetworks. 2019. sentencebert: siamese bertnetworksを使った文埋め込み。 0.82
arXiv preprint arXiv:1908.10084. arXiv preprint arXiv:1908.10084 0.72
Dimitris Tsipras, Shibani Santurkar, Logan Engstrom, Alexander Turner, and Aleksander Madry. Dimitris Tsipras、Shibani Santurkar、Logan Engstrom、Alexander Turner、Aleksander Madry。 0.66
2018. Robustness may be at odds with accuracy. 2018. 堅牢性は正確さと相反する可能性がある。 0.69
arXiv preprint arXiv:1805.12152. arXiv preprint arXiv:1805.12152 0.71
Bailin Wang, Richard Shin, Xiaodong Liu, Oleksandr Polozov, and Matthew Richardson. Bailin Wang, Richard Shin, Xiaodong Liu, Oleksandr Polozov, そしてMatthew Richardson。 0.81
2020. RATSQL: Relation-aware schema encoding and linking for text-to-SQL parsers. 2020. RATSQL: テキストからSQLへのパーサのスキーマエンコーディングとリンク。 0.79
In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 7567–7578, Online. 58th Annual Meeting of the Association for Computational Linguistics, page 7567-7578, Online 0.67
Association for Computational Linguistics. 計算言語学協会(Association for Computational Linguistics)。 0.50
Wenqi Wang, Benxiao Tang, Run Wang, Lina Wang, and Aoshuang Ye. Wenqi Wang, Benxiao Tang, Run Wang, Lina Wang, Aoshuang Ye。 0.73
2019. A survey on adversarial attacks and defenses in text. 2019. テキストにおける敵対的攻撃と防御に関する調査 0.84
CoRR, abs/1902.07285. CoRR, abs/1902.07285。 0.60
Ying Xu, Xu Zhong, Antonio Jose Jimeno Yepes, and Jey Han Lau. Ying Xu、Xu Zhong、Antonio Jose Jimeno Yepes、Jey Han Lau。 0.72
2020. Elephant in the room: An evaluation framework for assessing adversarial examples in nlp. 2020. elephant in the room: nlpの逆行例を評価するための評価フレームワーク。 0.82
arXiv preprint arXiv:2001.07820. arXiv preprint arXiv:2001.07820 0.71
Pengcheng Yin and Graham Neubig. Pengcheng YinとGraham Neubig。 0.75
2018. Tranx: A transition-based neural abstract syntax parser for semantic parsing and code generation. 2018. tranx: 意味解析とコード生成のためのトランジッションベースのニューラルネットワーク抽象構文パーサ。 0.79
John M. Zelle and Raymond J. Mooney. ジョン・M・ゼルとレイモンド・J・ムーニー。 0.56
1996. Learning to parse database queries using inductive logic programming. 1996. 帰納論理プログラミングを用いてデータベースクエリを解析する学習。 0.81
In Proceedings of the Thirteenth National Conference on Artificial Intelligence - Volume 2, AAAI’96, page 1050–1055. The Proceedings of the Thirteenth National Conference on Artificial Intelligence - Volume 2, AAAI'96, page 1050–1055 0.82
AAAI Press. Wei Emma Zhang, Quan Z. Sheng, Ahoud Alhazmi, and Chenliang Li. AAAIプレス。 Wei Emma Zhang、Quan Z. Sheng、Ahoud Alhazmi、Chenliang Li。 0.73
2020. Adversarial attacks on deep-learning models in natural language processing: A survey. 2020. 自然言語処理におけるディープラーニングモデルに対する敵対的攻撃:調査 0.81
ACM Transaction on Intelligent System and Technology, 11(3). ACM Transaction on Intelligent System and Technology, 11(3) 0.76
                     ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。