論文の概要: On Guaranteed Optimal Robust Explanations for NLP Models
- arxiv url: http://arxiv.org/abs/2105.03640v1
- Date: Sat, 8 May 2021 08:44:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-11 15:22:13.708816
- Title: On Guaranteed Optimal Robust Explanations for NLP Models
- Title(参考訳): NLPモデルに対する最適ロバスト記述の保証について
- Authors: Emanuele La Malfa, Agnieszka Zbrzezny, Rhiannon Michelmore, Nicola
Paoletti and Marta Kwiatkowska
- Abstract要約: 我々は,マシーン学習のための推論に基づく説明を構築し,ニューラルネットワークモデルのための局所的説明を計算する方法を開発した。
我々は,それぞれ暗黙の打撃集合と最大普遍部分集合に基づく2つの解アルゴリズムを提案する。
SST、Twitter、IMDBデータセットから、広く使用されている3つの感情分析タスクと最大100ワードのテキストに基づいてフレームワークを評価します。
- 参考スコア(独自算出の注目度): 16.358394218953833
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We build on abduction-based explanations for ma-chine learning and develop a
method for computing local explanations for neural network models in natural
language processing (NLP). Our explanations comprise a subset of the words of
the in-put text that satisfies two key features: optimality w.r.t. a
user-defined cost function, such as the length of explanation, and robustness,
in that they ensure prediction invariance for any bounded perturbation in the
embedding space of the left out words. We present two solution algorithms,
respectively based on implicit hitting sets and maximum universal subsets,
introducing a number of algorithmic improvements to speed up convergence of
hard instances. We show how our method can be con-figured with different
perturbation sets in the em-bedded space and used to detect bias in predictions
by enforcing include/exclude constraints on biased terms, as well as to enhance
existing heuristic-based NLP explanation frameworks such as Anchors. We
evaluate our framework on three widely used sentiment analysis tasks and texts
of up to100words from SST, Twitter and IMDB datasets,demonstrating the
effectiveness of the derived explanations.
- Abstract(参考訳): 本研究では,マシーン学習のための推論に基づく説明を構築し,自然言語処理(NLP)におけるニューラルネットワークモデルの局所的説明を計算する手法を開発した。
我々の説明は2つの重要な特徴を満たす出力テキストの単語のサブセットから構成されている。
説明の長さや頑健性といったユーザ定義のコスト関数は、単語の埋め込み空間における任意の有界摂動に対する予測不変性を保証する。
我々は,暗黙の打撃集合と最大普遍部分集合に基づく2つの解法を提示し,ハードインスタンスの収束を高速化するためのアルゴリズム改善を多数導入した。
提案手法は, 組込み空間における異なる摂動集合で構成可能であり, バイアス項に制約を含まないことで予測のバイアスを検出するとともに, アンカーのような既存のヒューリスティックなNLP説明フレームワークを拡張できることを示す。
我々は,SST,Twitter,IMDBデータセットから最大100ワードまでの感情分析タスクとテキストを3つのフレームワークで評価し,提案手法の有効性を実証した。
関連論文リスト
- Efficient Model-Free Exploration in Low-Rank MDPs [76.87340323826945]
低ランクマルコフ決定プロセスは、関数近似を持つRLに対して単純だが表現力のあるフレームワークを提供する。
既存のアルゴリズムは、(1)計算的に抽出可能であるか、または(2)制限的な統計的仮定に依存している。
提案手法は,低ランクMPPの探索のための最初の実証可能なサンプル効率アルゴリズムである。
論文 参考訳(メタデータ) (2023-07-08T15:41:48Z) - Exploiting Inferential Structure in Neural Processes [15.058161307401864]
ニューラルネットワーク(NP)は、コンテキストセットに基づいて高速な適応を行う能力によって、魅力的である。
我々は、NPの潜伏変数にグラフィカルモデルで定義されたリッチな事前定義を与えることができるフレームワークを提供する。
論文 参考訳(メタデータ) (2023-06-27T03:01:43Z) - Understanding and Constructing Latent Modality Structures in Multi-modal
Representation Learning [53.68371566336254]
優れたパフォーマンスの鍵は、完全なモダリティアライメントではなく、有意義な潜在モダリティ構造にある、と我々は主張する。
具体的には,1)モダリティ内正規化のための深い特徴分離損失,2)モダリティ間正規化のためのブラウン橋損失,3)モダリティ内正規化およびモダリティ間正規化のための幾何学的整合損失を設計する。
論文 参考訳(メタデータ) (2023-03-10T14:38:49Z) - Multi-resolution Interpretation and Diagnostics Tool for Natural
Language Classifiers [0.0]
本稿では,意味論的に相互に関連のある単語のセグメントやクラスタによって,よりフレキシブルなモデル説明可能性要約を作成することを目的とする。
さらに,NLPモデルの根本原因分析手法を提案し,各セグメントのFalse PositiveとFalse Negativeを解析した。
論文 参考訳(メタデータ) (2023-03-06T22:59:02Z) - SUN: Exploring Intrinsic Uncertainties in Text-to-SQL Parsers [61.48159785138462]
本稿では,ニューラルネットワークに基づくアプローチ(SUN)における本質的な不確かさを探索することにより,テキストから依存への変換性能を向上させることを目的とする。
5つのベンチマークデータセットの大規模な実験により、我々の手法は競合より大幅に優れ、新しい最先端の結果が得られた。
論文 参考訳(メタデータ) (2022-09-14T06:27:51Z) - Optimal Counterfactual Explanations in Tree Ensembles [3.8073142980733]
我々は「最適」な説明を目的としたモデルに基づく探索を提唱し、効率的な混合整数プログラミング手法を提案する。
孤立林は我々のフレームワーク内でモデル化され、低いアウトリーチスコアで妥当な説明に焦点を絞ることができることを示す。
論文 参考訳(メタデータ) (2021-06-11T22:44:27Z) - Obtaining Better Static Word Embeddings Using Contextual Embedding
Models [53.86080627007695]
提案手法はCBOWをベースとした簡易な蒸留法である。
副作用として、我々の手法は文脈的および静的な埋め込みの公正な比較を可能にする。
論文 参考訳(メタデータ) (2021-06-08T12:59:32Z) - $\partial$-Explainer: Abductive Natural Language Inference via
Differentiable Convex Optimization [2.624902795082451]
本稿では,Deep Neural Networkの一部として制約付き最適化をキャストすることにより,両世界の長所を組み合わせた$partial$-Explainer(Diff-Explainer)という新しいフレームワークを提案する。
我々の実験は、その推論をサポートするための説明を提供しながら、非微分型解法よりも約10%高い改善率を示しました。
論文 参考訳(メタデータ) (2021-05-07T17:49:19Z) - Sentence-Based Model Agnostic NLP Interpretability [45.44406712366411]
BERTのような複雑な分類器を使用する場合、単語ベースのアプローチは計算複雑性だけでなく、分布サンプリングの欠如の問題も提起し、最終的には非確立的な説明へと繋がる。
文を用いることで、修正されたテキストは分散のままであり、同じ計算複雑性でブラックボックスへの忠実性を高めるために問題の次元が減少する。
論文 参考訳(メタデータ) (2020-12-24T10:32:41Z) - A Constraint-Based Algorithm for the Structural Learning of
Continuous-Time Bayesian Networks [70.88503833248159]
連続時間ベイズネットワークの構造を学習するための制約に基づく最初のアルゴリズムを提案する。
我々は,条件付き独立性を確立するために提案した,異なる統計的テストと基礎となる仮説について論じる。
論文 参考訳(メタデータ) (2020-07-07T07:34:09Z) - Defense against Adversarial Attacks in NLP via Dirichlet Neighborhood
Ensemble [163.3333439344695]
Dirichlet Neighborhood Ensemble (DNE) は、ロバストモデルを用いて置換攻撃を防御するランダムな平滑化手法である。
DNEは、単語とその同義語で区切られた凸殻から入力文中の各単語の埋め込みベクトルをサンプリングして仮想文を生成し、訓練データでそれらを増強する。
我々は,提案手法が最近提案した防衛手法を,異なるネットワークアーキテクチャと複数のデータセット間で有意差で一貫して上回っていることを示す。
論文 参考訳(メタデータ) (2020-06-20T18:01:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。