論文の概要: Towards Faithful Model Explanation in NLP: A Survey
- arxiv url: http://arxiv.org/abs/2209.11326v4
- Date: Fri, 12 Jan 2024 20:19:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-18 03:46:49.607245
- Title: Towards Faithful Model Explanation in NLP: A Survey
- Title(参考訳): nlpにおける忠実なモデル説明に向けて:調査
- Authors: Qing Lyu, Marianna Apidianaki, Chris Callison-Burch
- Abstract要約: エンドツーエンドのニューラルネットワーク処理(NLP)モデルを理解するのは非常に難しい。
モデル説明の一側面は忠実さであり、すなわち、説明はモデルの予測の背後にある推論過程を正確に表現すべきである。
我々は,NLPにおける110以上のモデル説明法を忠実度レンズを用いてレビューした。
- 参考スコア(独自算出の注目度): 48.690624266879155
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: End-to-end neural Natural Language Processing (NLP) models are notoriously
difficult to understand. This has given rise to numerous efforts towards model
explainability in recent years. One desideratum of model explanation is
faithfulness, i.e. an explanation should accurately represent the reasoning
process behind the model's prediction. In this survey, we review over 110 model
explanation methods in NLP through the lens of faithfulness. We first discuss
the definition and evaluation of faithfulness, as well as its significance for
explainability. We then introduce recent advances in faithful explanation,
grouping existing approaches into five categories: similarity-based methods,
analysis of model-internal structures, backpropagation-based methods,
counterfactual intervention, and self-explanatory models. For each category, we
synthesize its representative studies, strengths, and weaknesses. Finally, we
summarize their common virtues and remaining challenges, and reflect on future
work directions towards faithful explainability in NLP.
- Abstract(参考訳): エンドツーエンドのニューラル自然言語処理(nlp)モデルは理解が難しいことで悪名高い。
これは近年、モデル説明可能性への多くの取り組みを引き起こしている。
モデル説明のデシドラタムの一つは忠実性であり、つまりモデル予測の背後にある推論過程を正確に表現すべきである。
本研究では,NLPにおける110以上のモデル説明手法を忠実度レンズを用いて検討した。
まず,忠実性の定義と評価,説明可能性の意義について論じる。
次に, 既存手法を類似性に基づく手法, モデル内部構造の解析, バックプロパゲーションに基づく手法, 反ファクト介入, 自己探索モデルという5つのカテゴリに分類する。
各カテゴリについて、代表的研究、強度、弱点を合成する。
最後に,それらの共通美徳と課題を要約し,nlpの忠実な説明可能性に向けた今後の作業の方向性を考察する。
関連論文リスト
- Exploring the Trade-off Between Model Performance and Explanation Plausibility of Text Classifiers Using Human Rationales [3.242050660144211]
ホック後説明可能性法は、ますます複雑なNLPモデルを理解するための重要なツールである。
本稿では,人間の判断を説明するテキストアノテーションをテキスト分類モデルに組み込む手法を提案する。
論文 参考訳(メタデータ) (2024-04-03T22:39:33Z) - An Axiomatic Approach to Model-Agnostic Concept Explanations [67.84000759813435]
本稿では、線形性、再帰性、類似性という3つの自然な公理を満たす概念的説明へのアプローチを提案する。
次に、従来の概念的説明手法とのつながりを確立し、それらの意味の異なる意味についての洞察を提供する。
論文 参考訳(メタデータ) (2024-01-12T20:53:35Z) - Explainability for Large Language Models: A Survey [59.67574757137078]
大規模言語モデル(LLM)は、自然言語処理における印象的な能力を示している。
本稿では,トランスフォーマーに基づく言語モデルを記述する手法について,説明可能性の分類法を紹介した。
論文 参考訳(メタデータ) (2023-09-02T22:14:26Z) - Faithfulness Tests for Natural Language Explanations [87.01093277918599]
ニューラルモデルの説明は、その予測のためのモデルの意思決定プロセスを明らかにすることを目的としている。
近年の研究では,サリエンシマップやファクトファクトファクトダクトなどの説明を行う手法が誤解を招く可能性があることが示されている。
本研究は,自然言語の説明の忠実さを評価する上での課題について考察する。
論文 参考訳(メタデータ) (2023-05-29T11:40:37Z) - Counterfactuals of Counterfactuals: a back-translation-inspired approach
to analyse counterfactual editors [3.4253416336476246]
我々は、反事実的、対照的な説明の分析に焦点をあてる。
本稿では,新しい逆翻訳に基づく評価手法を提案する。
本研究では, 予測モデルと説明モデルの両方の振る舞いについて, 反事実を反復的に説明者に与えることで, 価値ある洞察を得ることができることを示す。
論文 参考訳(メタデータ) (2023-05-26T16:04:28Z) - Logical Satisfiability of Counterfactuals for Faithful Explanations in
NLI [60.142926537264714]
本稿では, 忠実度スルー・カウンタファクトの方法論について紹介する。
これは、説明に表される論理述語に基づいて、反実仮説を生成する。
そして、そのモデルが表現された論理と反ファクトの予測が一致しているかどうかを評価する。
論文 参考訳(メタデータ) (2022-05-25T03:40:59Z) - Post-hoc Interpretability for Neural NLP: A Survey [38.67924043709067]
解釈可能性(英: Interpretability)は、人間にとって理解しやすい言葉で説明を提供することである。
この調査は、最近のポストホック解釈可能性法がいかに人間に説明を伝えるかの分類を提供する。
論文 参考訳(メタデータ) (2021-08-10T18:00:14Z) - Beyond Trivial Counterfactual Explanations with Diverse Valuable
Explanations [64.85696493596821]
コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。
本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。
このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
論文 参考訳(メタデータ) (2021-03-18T12:57:34Z) - A Survey of the State of Explainable AI for Natural Language Processing [16.660110121500125]
本稿では, 説明可能なAI(XAI)の現状について概観する。
本稿では,説明の主分類について論じるとともに,説明が到着して視覚化される様々な方法について論じる。
我々は、NLPモデル予測のための説明を生成するために現在利用可能な操作および説明可能性技術について詳述し、コミュニティにおけるモデル開発者のためのリソースとして機能する。
論文 参考訳(メタデータ) (2020-10-01T22:33:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。