論文の概要: How is BERT surprised? Layerwise detection of linguistic anomalies

• arxiv url: http://arxiv.org/abs/2105.07452v1
• Date: Sun, 16 May 2021 15:20:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-18 14:51:35.646925
• Title: How is BERT surprised? Layerwise detection of linguistic anomalies
• Title（参考訳）: BERTはどのように驚きましたか。 言語異常の階層的検出
• Authors: Bai Li, Zining Zhu, Guillaume Thomas, Yang Xu, Frank Rudzicz
• Abstract要約: トランスフォーマー言語モデルは、文脈において単語が異常な場合に検出する顕著な能力を示している。 文法的判断ベンチマークであるBLiMPの手法を評価した。 言語モデルは、異なる種類の言語異常を検出するために異なるメカニズムを用いる。
• 参考スコア（独自算出の注目度）: 21.39034424034246
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer language models have shown remarkable ability in detecting when a word is anomalous in context, but likelihood scores offer no information about the cause of the anomaly. In this work, we use Gaussian models for density estimation at intermediate layers of three language models (BERT, RoBERTa, and XLNet), and evaluate our method on BLiMP, a grammaticality judgement benchmark. In lower layers, surprisal is highly correlated to low token frequency, but this correlation diminishes in upper layers. Next, we gather datasets of morphosyntactic, semantic, and commonsense anomalies from psycholinguistic studies; we find that the best performing model RoBERTa exhibits surprisal in earlier layers when the anomaly is morphosyntactic than when it is semantic, while commonsense anomalies do not exhibit surprisal at any intermediate layer. These results suggest that language models employ separate mechanisms to detect different types of linguistic anomalies.
• Abstract（参考訳）: トランスフォーマー言語モデルでは、単語が文脈で異常である場合の検出能力は顕著だが、確率スコアは異常の原因に関する情報を提供していない。 本研究では,3つの言語モデル(BERT,RoBERTa,XLNet)の中間層における密度推定にガウスモデルを用い,文法性判定ベンチマークであるBLiMPの評価を行った。 下層では, 副次性は低いトークン周波数に強く相関するが, この相関は上層では低下する。 次に、精神言語学的な研究から、形態素性、意味、コモンセンスの異常のデータセットを収集し、最も優れた性能モデルであるRoBERTaは、その異常が意味論的である場合よりも、それ以前の層で副次的に現れるのに対し、コモンセンスの異常は任意の中間層で副次的でないことを示す。 これらの結果は、言語モデルが異なる種類の言語異常を検出するために異なるメカニズムを用いることを示唆している。

関連論文リスト

• Can I trust my anomaly detection system? A case study based on explainable AI [0.4416503115535552]
  本稿では,変分自己エンコーダ生成モデルに基づく異常検出システムのロバスト性について検討する。 目標は、再構成の違いを利用する異常検知器の実際の性能について、異なる視点を得ることです。
  論文  参考訳（メタデータ） (2024-07-29T12:39:07Z)
• AnomalyDiffusion: Few-Shot Anomaly Image Generation with Diffusion Model [59.08735812631131]
  製造業において異常検査が重要な役割を担っている。 既存の異常検査手法は、異常データが不足しているため、その性能に制限がある。 本稿では,新しい拡散型マイクロショット異常生成モデルであるAnomalyDiffusionを提案する。
  論文  参考訳（メタデータ） (2023-12-10T05:13:40Z)
• Catching Both Gray and Black Swans: Open-set Supervised Anomaly Detection [90.32910087103744]
  ラベル付き異常な例は、多くの現実世界のアプリケーションでよく見られる。 これらの異常例は、アプリケーション固有の異常について貴重な知識を提供する。 トレーニング中に見られる異常は、可能なあらゆる種類の異常を説明できないことが多い。 本稿では,オープンセット型教師付き異常検出に取り組む。
  論文  参考訳（メタデータ） (2022-03-28T05:21:37Z)
• SLA$^2$P: Self-supervised Anomaly Detection with Adversarial Perturbation [77.71161225100927]
  異常検出は、機械学習の基本的な問題であるが、難しい問題である。 本稿では,非教師付き異常検出のための新しい強力なフレームワークであるSLA$2$Pを提案する。
  論文  参考訳（メタデータ） (2021-11-25T03:53:43Z)
• Variation and generality in encoding of syntactic anomaly information in sentence embeddings [7.132368785057315]
  文中の異常が発生する階層レベルが異なる探索タスクを設計することにより、異常符号化の微妙な相違について検討する。 我々は、与えられた異常を検出するモデルだけでなく、検出された異常信号の一般性もテストする。 その結果、全てのモデルが異常検出をサポートする情報を符号化しているが、検出性能は異常毎に異なることが示唆された。
  論文  参考訳（メタデータ） (2021-11-12T10:23:43Z)
• Explainable Deep Few-shot Anomaly Detection with Deviation Networks [123.46611927225963]
  本稿では,弱い教師付き異常検出フレームワークを導入し,検出モデルを訓練する。 提案手法は,ラベル付き異常と事前確率を活用することにより,識別正規性を学習する。 我々のモデルはサンプル効率が高く頑健であり、クローズドセットとオープンセットの両方の設定において最先端の競合手法よりもはるかに優れている。
  論文  参考訳（メタデータ） (2021-08-01T14:33:17Z)
• Toward Deep Supervised Anomaly Detection: Reinforcement Learning from Partially Labeled Anomaly Data [150.9270911031327]
  本稿では,一部のラベル付き異常事例と大規模ラベルなしデータセットを用いた異常検出の問題点について考察する。 既存の関連手法は、通常、一連の異常にまたがらない限られた異常例にのみ適合するか、ラベルのないデータから教師なしの学習を進めるかのいずれかである。 そこで本研究では,ラベル付きおよびラベルなし両方の異常の検出をエンドツーエンドに最適化する,深層強化学習に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2020-09-15T03:05:39Z)
• Deep Weakly-supervised Anomaly Detection [118.55172352231381]
  ペアワイズ関係予測ネットワーク(PReNet)は、ペアワイズ関係の特徴と異常スコアを学習する。 PReNetは、学習したペアの異常パターンに適合する見知らぬ異常を検出できる。 12の実世界のデータセットに対する実証的な結果から、PReNetは目に見えない異常や異常を検知する9つの競合する手法を著しく上回っている。
  論文  参考訳（メタデータ） (2019-10-30T00:40:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。