論文の概要: Sentence-Based Model Agnostic NLP Interpretability

• arxiv url: http://arxiv.org/abs/2012.13189v2
• Date: Sun, 27 Dec 2020 17:54:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-25 08:26:08.062589
• Title: Sentence-Based Model Agnostic NLP Interpretability
• Title（参考訳）: 文ベースモデル非依存NLP解釈可能性
• Authors: Yves Rychener, Xavier Renard, Djam\'e Seddah, Pascal Frossard, Marcin Detyniecki
• Abstract要約: BERTのような複雑な分類器を使用する場合、単語ベースのアプローチは計算複雑性だけでなく、分布サンプリングの欠如の問題も提起し、最終的には非確立的な説明へと繋がる。 文を用いることで、修正されたテキストは分散のままであり、同じ計算複雑性でブラックボックスへの忠実性を高めるために問題の次元が減少する。
• 参考スコア（独自算出の注目度）: 45.44406712366411
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Today, interpretability of Black-Box Natural Language Processing (NLP) models based on surrogates, like LIME or SHAP, uses word-based sampling to build the explanations. In this paper we explore the use of sentences to tackle NLP interpretability. While this choice may seem straight forward, we show that, when using complex classifiers like BERT, the word-based approach raises issues not only of computational complexity, but also of an out of distribution sampling, eventually leading to non founded explanations. By using sentences, the altered text remains in-distribution and the dimensionality of the problem is reduced for better fidelity to the black-box at comparable computational complexity.
• Abstract（参考訳）: 今日、LIMEやSHAPのようなサロゲートに基づくブラックボックス自然言語処理(NLP)モデルの解釈可能性では、単語ベースのサンプリングを使用して説明を構築している。 本稿では,NLPの解釈可能性に対する文の利用について検討する。 この選択はまっすぐに思えるかもしれないが、bertのような複雑な分類器を使用すると、単語ベースのアプローチは計算の複雑さだけでなく、分散サンプリングの欠如も問題を引き起こし、最終的に確立されていない説明につながる。 文を用いることで、修正されたテキストは分散のままであり、同じ計算複雑性でブラックボックスへの忠実性を高めるために問題の次元が減少する。

関連論文リスト

• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• Understanding and Mitigating Classification Errors Through Interpretable Token Patterns [58.91023283103762]
  容易に解釈可能な用語でエラーを特徴付けることは、分類器が体系的なエラーを起こす傾向にあるかどうかを洞察する。 正しい予測と誤予測を区別するトークンのパターンを発見することを提案する。 提案手法であるPremiseが実際によく動作することを示す。
  論文  参考訳（メタデータ） (2023-11-18T00:24:26Z)
• Alleviating Over-smoothing for Unsupervised Sentence Representation [96.19497378628594]
  本稿では,この問題を緩和するために,SSCL(Self-Contrastive Learning)というシンプルな手法を提案する。 提案手法は非常に単純で,様々な最先端モデルに拡張して,性能向上を図ることができる。
  論文  参考訳（メタデータ） (2023-05-09T11:00:02Z)
• Principled Paraphrase Generation with Parallel Corpora [52.78059089341062]
  ラウンドトリップ機械翻訳によって引き起こされる暗黙の類似性関数を形式化する。 一つのあいまいな翻訳を共有する非パラフレーズ対に感受性があることが示される。 この問題を緩和する別の類似度指標を設計する。
  論文  参考訳（メタデータ） (2022-05-24T17:22:42Z)
• Argumentative Explanations for Pattern-Based Text Classifiers [15.81939090849456]
  文分類のためのパターンベースロジスティック回帰(PLR)という,特定の解釈可能なモデルの説明に焦点をあてる。 本稿では,AXPLRを提案する。AXPLRは,計算論法を用いて説明文を生成する新しい説明法である。
  論文  参考訳（メタデータ） (2022-05-22T21:16:49Z)
• Obtaining Better Static Word Embeddings Using Contextual Embedding Models [53.86080627007695]
  提案手法はCBOWをベースとした簡易な蒸留法である。 副作用として、我々の手法は文脈的および静的な埋め込みの公正な比較を可能にする。
  論文  参考訳（メタデータ） (2021-06-08T12:59:32Z)
• On Guaranteed Optimal Robust Explanations for NLP Models [16.358394218953833]
  我々は,マシーン学習のための推論に基づく説明を構築し,ニューラルネットワークモデルのための局所的説明を計算する方法を開発した。 我々は,それぞれ暗黙の打撃集合と最大普遍部分集合に基づく2つの解アルゴリズムを提案する。 SST、Twitter、IMDBデータセットから、広く使用されている3つの感情分析タスクと最大100ワードのテキストに基づいてフレームワークを評価します。
  論文  参考訳（メタデータ） (2021-05-08T08:44:48Z)
• Disentangled Contrastive Learning for Learning Robust Textual Representations [13.880693856907037]
  運動量表現一貫性の概念を導入し,特徴を整合させ,一様性に適合しながらパワー正規化を活用する。 NLPベンチマークの実験結果から,本手法はベースラインよりも優れた結果が得られることが示された。
  論文  参考訳（メタデータ） (2021-04-11T03:32:49Z)
• Interpretation of NLP models through input marginalization [28.031961925541466]
  入力の各トークンを消去した後の予測確率の変化を測定することによって予測を解釈する手法が提案されている。 既存のメソッドは、それぞれのトークンを予め定義された値(つまりゼロ)で置き換えるので、結果の文はトレーニングデータ分布から外れ、誤解を招く解釈をもたらす。 本研究では,既存の解釈手法によって引き起こされるアウト・オブ・ディストリビューション問題を提起し,その対策を提案する。 感情分析や自然言語推論のために訓練された様々なNLPモデルを,提案手法を用いて解釈する。
  論文  参考訳（メタデータ） (2020-10-27T01:40:41Z)
• Considering Likelihood in NLP Classification Explanations with Occlusion and Language Modeling [11.594541142399223]
  オクルージョン(Occlusion)は、独立した言語データに関する説明を提供する、よく確立された方法である。 現在のOcclusion-based methodは、しばしば無効または構文的に誤りのある言語データを生成する。 本稿では,Occlusion と言語モデルを組み合わせた新しい説明手法 OLM を提案する。
  論文  参考訳（メタデータ） (2020-04-21T10:37:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。