Fugu-MT 論文翻訳(概要): BERT & Family Eat Word Salad: Experiments with Text Understanding

論文の概要: BERT & Family Eat Word Salad: Experiments with Text Understanding

arxiv url: http://arxiv.org/abs/2101.03453v2
Date: Wed, 17 Mar 2021 12:58:59 GMT
ステータス: 処理完了
システム内更新日: 2021-04-08 08:25:16.346184
Title: BERT & Family Eat Word Salad: Experiments with Text Understanding
Title（参考訳）: bert & family eat word salad: テキスト理解による実験
Authors: Ashim Gupta, Giorgi Kvernadze, Vivek Srikumar
Abstract要約: 自然言語の理解を主張するどんなモデルも混同すべき不整合な入力に対するBERTファミリーからの大規模なモデルの応答を研究します。実験により、最先端のモデルは常に不適切なものとして認識できず、その代わりに高い信頼度を予測できることが示されている。モデルが無効な入力を認識するように明示的に訓練されている場合、パフォーマンスが低下することなくそのような攻撃に堅牢であることが示されています。
参考スコア（独自算出の注目度）: 17.998891912502092
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper, we study the response of large models from the BERT family to incoherent inputs that should confuse any model that claims to understand natural language. We define simple heuristics to construct such examples. Our experiments show that state-of-the-art models consistently fail to recognize them as ill-formed, and instead produce high confidence predictions on them. As a consequence of this phenomenon, models trained on sentences with randomly permuted word order perform close to state-of-the-art models. To alleviate these issues, we show that if models are explicitly trained to recognize invalid inputs, they can be robust to such attacks without a drop in performance.
Abstract（参考訳）: 本稿では,自然言語の理解を主張するモデルを混乱させる不整合入力に対するBERTファミリーからの大規模モデルの応答について検討する。このような例を構成するための単純なヒューリスティックを定義する。実験の結果,最先端のモデルでは,常に不正と認識できず,高い信頼度を予測できることがわかった。この現象の結果として、ランダムに置換された単語順の文で訓練されたモデルは、最先端のモデルに近く動作する。これらの問題を緩和するために、モデルが不正な入力を認識するために明示的に訓練されている場合、性能の低下なしにそのような攻撃に対して堅牢であることを示す。

関連論文リスト

ALERT: Adapting Language Models to Reasoning Tasks [43.8679673685468]
ALERTは、言語モデルの推論能力を評価するためのベンチマークと分析スイートである。 ALERTは、あらゆる言語モデルに対して、きめ細かい推論スキルを評価するためのテストベッドを提供する。言語モデルは、事前学習状態と比較して、微調整段階の推論スキルを学習する。
論文参考訳（メタデータ） (2022-12-16T05:15:41Z)
Discovering Latent Knowledge in Language Models Without Supervision [72.95136739040676]
既存の言語モデルをトレーニングするテクニックは、真実と正しく一致していない可能性がある。本稿では,言語モデルの内部アクティベーション内部の潜伏知識を,純粋に教師なしの方法で直接見つけることを提案する。本手法は, 教師なし, モデル出力がないにもかかわらず, 大規模言語モデルで表される多様な知識を復元できることを示す。
論文参考訳（メタデータ） (2022-12-07T18:17:56Z)
Does BERT really agree ? Fine-grained Analysis of Lexical Dependence on a Syntactic Task [70.29624135819884]
目的の構文テンプレート上で,BERTが語彙非依存の主観値数アグリーメント(NA)を実行できる範囲について検討した。名詞文では,単純なテンプレートに対してモデルがよく一般化されるが,1つのアトラクターが存在する場合,語彙非依存の構文一般化を行うことができないことが示唆された。
論文参考訳（メタデータ） (2022-04-14T11:33:15Z)
Interpreting Language Models with Contrastive Explanations [99.7035899290924]
言語モデルは、音声、数字、時制、意味論など、トークンを予測するための様々な特徴を考慮しなければならない。既存の説明手法は、これらの特徴の証拠を1つの説明に分割するが、人間の理解には理解できない。比較的な説明は、主要な文法現象の検証において、非対照的な説明よりも定量的に優れていることを示す。
論文参考訳（メタデータ） (2022-02-21T18:32:24Z)
Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
論文参考訳（メタデータ） (2021-12-17T18:29:56Z)
Is My Model Using The Right Evidence? Systematic Probes for Examining Evidence-Based Tabular Reasoning [26.168211982441875]
ニューラルモデルは、推論を含むNLPタスク全体での最先端のパフォーマンスを定期的に報告する。実験の結果, BERTをベースとした現在の最先端モデルでは, 以下の数値を適切に判断できないことがわかった。
論文参考訳（メタデータ） (2021-08-02T01:14:19Z)
What if This Modified That? Syntactic Interventions via Counterfactual Embeddings [19.3614797257652]
先行技術は、プローブを通してモデル表現内の有意義な特性を明らかにすることを目的としているが、そのようなプローブがモデルが実際に使っている情報をどのように忠実に表現しているかは明らかではない。本稿では,因果解析にインスパイアされた手法を提案する。本手法の実験では,下流予測タスクにおいて,BERTをベースとしたモデルでは木間距離のような構文表現が用いられていることを示す。
論文参考訳（メタデータ） (2021-05-28T17:27:04Z)
Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little [74.49773960145681]
マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
論文参考訳（メタデータ） (2021-04-14T06:30:36Z)
Unnatural Language Inference [48.45003475966808]
我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
論文参考訳（メタデータ） (2020-12-30T20:40:48Z)
CausaLM: Causal Model Explanation Through Counterfactual Language Models [33.29636213961804]
CausaLMは、対実言語表現モデルを用いた因果モデル説明を作成するためのフレームワークである。本稿では,BERT のような言語表現モデルが,ある意味ある概念に対する対実表現を効果的に学習できることを示す。本手法の副産物は,テストされた概念の影響を受けない言語表現モデルである。
論文参考訳（メタデータ） (2020-05-27T15:06:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。