論文の概要: New Faithfulness-Centric Interpretability Paradigms for Natural Language Processing

• arxiv url: http://arxiv.org/abs/2411.17992v1
• Date: Wed, 27 Nov 2024 02:17:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:28:22.704492
• Title: New Faithfulness-Centric Interpretability Paradigms for Natural Language Processing
• Title（参考訳）: 自然言語処理のための新しい忠実度中心解釈可能性パラダイム
• Authors: Andreas Madsen,
• Abstract要約: この論文は、「複雑な汎用ニューラルNLPモデルに対する忠実な説明を提供するにはどうすればいいのか? 探索された2つの新しいパラダイムは、忠実度測定可能なモデル(FMM)と自己説明である。 FMMは、忠実度の観点から理論的に最適に近い説明を得る。
• 参考スコア（独自算出の注目度）: 4.813533076849816
• License:
• Abstract: As machine learning becomes more widespread and is used in more critical applications, it's important to provide explanations for these models, to prevent unintended behavior. Unfortunately, many current interpretability methods struggle with faithfulness. Therefore, this Ph.D. thesis investigates the question "How to provide and ensure faithful explanations for complex general-purpose neural NLP models?" The main thesis is that we should develop new paradigms in interpretability. This is achieved by first developing solid faithfulness metrics and then applying the lessons learned from this investigation to develop new paradigms. The two new paradigms explored are faithfulness measurable models (FMMs) and self-explanations. The idea in self-explanations is to have large language models explain themselves, we identify that current models are not capable of doing this consistently. However, we suggest how this could be achieved. The idea of FMMs is to create models that are designed such that measuring faithfulness is cheap and precise. This makes it possible to optimize an explanation towards maximum faithfulness, which makes FMMs designed to be explained. We find that FMMs yield explanations that are near theoretical optimal in terms of faithfulness. Overall, from all investigations of faithfulness, results show that post-hoc and intrinsic explanations are by default model and task-dependent. However, this was not the case when using FMMs, even with the same post-hoc explanation methods. This shows, that even simple modifications to the model, such as randomly masking the training dataset, as was done in FMMs, can drastically change the situation and result in consistently faithful explanations. This answers the question of how to provide and ensure faithful explanations.
• Abstract（参考訳）: マシンラーニングがより広く普及し、より重要なアプリケーションで使用されるようになると、意図しない振る舞いを防ぐために、これらのモデルの説明を提供することが重要です。 残念なことに、現在の解釈可能性の方法は忠実さに苦慮している。 したがって、このPh.D.論文は「複雑な汎用ニューラルNLPモデルに対する忠実な説明を提供するにはどうすればいいのか」という疑問を調査する。 主なテーマは、解釈可能性の新しいパラダイムを開発することだ。 これは、まず堅固な忠実度メトリクスを開発し、次にこの調査から学んだ教訓を適用して、新しいパラダイムを開発することで達成される。 探索された2つの新しいパラダイムは、忠実度測定可能なモデル(FMM)と自己説明である。 自己説明(self-explanations)の考え方は、大きな言語モデルに自身を説明することであり、現在のモデルでは、これを一貫して行うことができない、と認識する。 しかし、これをどのように実現できるかを示唆する。 FMMの考え方は、忠実さの計測が安価で正確であるようにデザインされたモデルを作ることである。 これにより、FMMを説明できるように設計した最大忠実度への説明を最適化することができる。 FMMは、忠実度の観点から理論的に最適に近い説明を得る。 総じて、誠実さに関するすべての調査から、ポストホックおよび本質的な説明は、デフォルトモデルとタスク依存であることを示している。 しかし、同じポストホックな説明法であっても、FMMを使用する場合にはそうはならなかった。 これは、FMMで実施されたようなトレーニングデータセットをランダムにマスキングするような単純な修正でさえ、状況を大きく変え、一貫して忠実な説明をもたらすことを示している。 このことは、どのように忠実な説明を提供し、確実にするかという疑問に答える。

関連論文リスト

• Towards Faithful Natural Language Explanations: A Study Using Activation Patching in Large Language Models [29.67884478799914]
  大きな言語モデル(LLM)は、その答えを正当化するために説得力のある自然言語説明(NLE)を生成することができる。 近年,NLEの忠実度を測定するための様々な手法が提案されている。 これらのアプローチは、確立された忠実性の定義に従って包括的でも正しくも設計されていない、と我々は主張する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:42Z)
• Evaluating the Reliability of Self-Explanations in Large Language Models [2.8894038270224867]
  このような自己説明の2つのタイプ – 抽出的, 対実的 – を評価した。 以上の結果から,これらの自己説明は人間の判断と相関するが,モデルの決定過程を完全に的確に従わないことが明らかとなった。 このギャップを橋渡しできるのは, 反実的な説明をLCMに促すことによって, 忠実で, 情報的で, 容易に検証できる結果が得られるからである。
  論文  参考訳（メタデータ） (2024-07-19T17:41:08Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Interpretability Needs a New Paradigm [49.134097841837715]
  解釈可能性(英: Interpretability)とは、人間に理解可能な言葉でモデルを説明する研究である。 この議論の核心は、それぞれのパラダイムがその説明が忠実である、すなわちモデルの振舞いに忠実であることをいかに保証するかである。 この論文の立場は、信仰を警戒しながら新しいパラダイムを考えるべきだというものである。
  論文  参考訳（メタデータ） (2024-05-08T19:31:06Z)
• Faithful Model Explanations through Energy-Constrained Conformal Counterfactuals [16.67633872254042]
  ブラックボックスモデルを説明するための直感的で直感的な説明を提供する。 既存の作業は主に、入力データの分散方法を学ぶために代理モデルに依存しています。 そこで本研究では,モデルが許容する範囲でのみ有効な,エネルギー制約のあるコンフォーマル・カウンセリングを生成するための新しいアルゴリズムフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-17T08:24:44Z)
• Faithfulness Tests for Natural Language Explanations [87.01093277918599]
  ニューラルモデルの説明は、その予測のためのモデルの意思決定プロセスを明らかにすることを目的としている。 近年の研究では,サリエンシマップやファクトファクトファクトダクトなどの説明を行う手法が誤解を招く可能性があることが示されている。 本研究は,自然言語の説明の忠実さを評価する上での課題について考察する。
  論文  参考訳（メタデータ） (2023-05-29T11:40:37Z)
• Motif-guided Time Series Counterfactual Explanations [1.1510009152620664]
  本稿では,ポストホックな反事実的説明を直感的に生成する新しいモデルを提案する。 UCRリポジトリから5つの実世界の時系列データセットを用いてモデルを検証した。
  論文  参考訳（メタデータ） (2022-11-08T17:56:50Z)
• Logical Satisfiability of Counterfactuals for Faithful Explanations in NLI [60.142926537264714]
  本稿では, 忠実度スルー・カウンタファクトの方法論について紹介する。 これは、説明に表される論理述語に基づいて、反実仮説を生成する。 そして、そのモデルが表現された論理と反ファクトの予測が一致しているかどうかを評価する。
  論文  参考訳（メタデータ） (2022-05-25T03:40:59Z)
• Why Do Pretrained Language Models Help in Downstream Tasks? An Analysis of Head and Prompt Tuning [66.44344616836158]
  本稿では,事前学習タスクと下流タスクをテキストの潜在変数生成モデルに関連付ける分析フレームワークを提案する。 HMMの特定の非退化条件下では、単純な分類ヘッドがダウンストリームタスクを解くことができ、また、迅速なチューニングにより、より弱い非退化条件で下流の保証を得ることができ、さらに、メモリ拡張HMMの回復保証がバニラHMMよりも強いことを示す。
  論文  参考訳（メタデータ） (2021-06-17T03:31:47Z)
• Prompting Contrastive Explanations for Commonsense Reasoning Tasks [74.7346558082693]
  大規模事前学習言語モデル(PLM)は、常識推論タスクにおいて、ほぼ人間に近い性能を達成することができる。 人間の解釈可能な証拠を生成するために、同じモデルを使う方法を示す。
  論文  参考訳（メタデータ） (2021-06-12T17:06:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。