論文の概要: Faithful Explanations of Black-box NLP Models Using LLM-generated Counterfactuals

• arxiv url: http://arxiv.org/abs/2310.00603v2
• Date: Wed, 22 Nov 2023 08:00:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-23 18:29:12.784935
• Title: Faithful Explanations of Black-box NLP Models Using LLM-generated Counterfactuals
• Title（参考訳）: LLM生成反事実を用いたブラックボックスNLPモデルの忠実説明
• Authors: Yair Gat, Nitay Calderon, Amir Feder, Alexander Chapanin, Amit Sharma, Roi Reichart
• Abstract要約: NLPシステムの予測に関する因果的説明は、安全性を確保し、信頼を確立するために不可欠である。 既存の手法は、しばしばモデル予測を効果的または効率的に説明できない。 本稿では, 対物近似(CF)の2つの手法を提案する。
• 参考スコア（独自算出の注目度）: 67.64770842323966
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Causal explanations of the predictions of NLP systems are essential to ensure safety and establish trust. Yet, existing methods often fall short of explaining model predictions effectively or efficiently and are often model-specific. In this paper, we address model-agnostic explanations, proposing two approaches for counterfactual (CF) approximation. The first approach is CF generation, where a large language model (LLM) is prompted to change a specific text concept while keeping confounding concepts unchanged. While this approach is demonstrated to be very effective, applying LLM at inference-time is costly. We hence present a second approach based on matching, and propose a method that is guided by an LLM at training-time and learns a dedicated embedding space. This space is faithful to a given causal graph and effectively serves to identify matches that approximate CFs. After showing theoretically that approximating CFs is required in order to construct faithful explanations, we benchmark our approaches and explain several models, including LLMs with billions of parameters. Our empirical results demonstrate the excellent performance of CF generation models as model-agnostic explainers. Moreover, our matching approach, which requires far less test-time resources, also provides effective explanations, surpassing many baselines. We also find that Top-K techniques universally improve every tested method. Finally, we showcase the potential of LLMs in constructing new benchmarks for model explanation and subsequently validate our conclusions. Our work illuminates new pathways for efficient and accurate approaches to interpreting NLP systems.
• Abstract（参考訳）: NLPシステムの予測に関する因果的説明は、安全性を確保し信頼を確立するために不可欠である。 しかし、既存の手法はモデル予測を効果的または効率的に説明できないことが多く、しばしばモデル固有である。 本稿では,モデル非依存な説明に対処し,反事実的(cf)近似の2つのアプローチを提案する。 最初のアプローチはCF生成であり、大きな言語モデル(LLM)は、相反する概念を維持しつつ、特定のテキスト概念を変更するよう促される。 このアプローチは非常に効果的であることが示されているが、推論時にLSMを適用するのはコストがかかる。 そこで我々は,マッチングに基づく第2のアプローチを提案し,LLMが学習時に指導し,専用の埋め込み空間を学習する手法を提案する。 この空間は与えられた因果グラフに忠実であり、CFを近似するマッチを効果的に識別するのに役立つ。 忠実な説明を構築するためにはCFの近似が必要であることを理論的に証明した後、我々のアプローチをベンチマークし、数十億のパラメータを持つLLMを含むいくつかのモデルを説明する。 実験の結果,cf生成モデルのモデル非依存な説明器としての優れた性能を示す。 さらに、テスト時間リソースをはるかに少なくするマッチングアプローチは、多くのベースラインを超える効果的な説明を提供する。 また,Top-K手法は全試験手法を普遍的に改善することがわかった。 最後に,モデル説明のための新しいベンチマークの構築におけるllmの可能性を示し,その結果を検証した。 我々の研究は、NLPシステムに対する効率的かつ正確なアプローチのために新しい経路を照らす。

関連論文リスト

• Deconfounded Causality-aware Parameter-Efficient Fine-Tuning for Problem-Solving Improvement of LLMs [12.48241058167222]
  大規模言語モデル(LLM)は、人間の指示に基づいて様々なタスクに取り組む際に、顕著な効率性を示した。 しかし、数学や物理学の限界など、推論を必要とするタスクに苦しむことが研究によって明らかになっている。 このことは、LLMが組み込み知識を本当に理解しているか、それとも、コンテンツに対する真の理解なしにトークン分布を複製することを学ぶだけなのかという疑問を提起する。 モデルの推論能力を高めるために,新しいパラメータ効率細調整法であるDecon Causal Adaptation (DCA)を提案する。
  論文  参考訳（メタデータ） (2024-09-04T13:17:09Z)
• Graph-Structured Speculative Decoding [52.94367724136063]
  投機的復号化は、大規模言語モデルの推論を加速する有望な手法として登場した。 本稿では, 有向非巡回グラフ(DAG)を応用して, 起案された仮説を管理する革新的な手法を提案する。 我々は1.73$times$から1.96$times$に顕著なスピードアップを観察し、標準投機的復号法を大幅に上回った。
  論文  参考訳（メタデータ） (2024-07-23T06:21:24Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• Evaluating and Explaining Large Language Models for Code Using Syntactic Structures [74.93762031957883]
  本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。 その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。 私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
  論文  参考訳（メタデータ） (2023-08-07T18:50:57Z)
• Making Linear MDPs Practical via Contrastive Representation Learning [101.75885788118131]
  マルコフ決定過程(MDP)における次元性の呪いに、低ランク表現を利用することで対処することが一般的である。 本稿では,効率的な表現学習を可能にしつつ,正規化を自動的に保証する線形MDPの代替的定義について考察する。 いくつかのベンチマークにおいて、既存の最先端モデルベースおよびモデルフリーアルゴリズムよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-07-14T18:18:02Z)
• ReLACE: Reinforcement Learning Agent for Counterfactual Explanations of Arbitrary Predictive Models [6.939617874336667]
  本稿では,最適対実的説明を生成するためのモデルに依存しないアルゴリズムを提案する。 本手法は,DRLエージェントが相互作用する環境に類似するため,任意のブラックボックスモデルに容易に適用できる。 さらに,DRLエージェントのポリシーから説明可能な決定ルールを抽出し,CF自体を透過的に生成するアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-10-22T17:08:49Z)
• CounterNet: End-to-End Training of Prediction Aware Counterfactual Explanations [12.313007847721215]
  CounterNetは、予測モデルトレーニングと対実的(CF)説明の生成を統合する、エンドツーエンドの学習フレームワークである。 ポストホック法とは異なり、CounterNetは予測モデルとともにCF説明生成を1回だけ最適化することができる。 複数の実世界のデータセットに対する実験により、CounterNetは高品質な予測を生成することが示された。
  論文  参考訳（メタデータ） (2021-09-15T20:09:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。