論文の概要: LLMs as Counterfactual Explanation Modules: Can ChatGPT Explain
Black-box Text Classifiers?
- arxiv url: http://arxiv.org/abs/2309.13340v1
- Date: Sat, 23 Sep 2023 11:22:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-26 20:32:47.762818
- Title: LLMs as Counterfactual Explanation Modules: Can ChatGPT Explain
Black-box Text Classifiers?
- Title（参考訳）: llms は偽の説明モジュールである: chatgpt はブラックボックスのテキスト分類器を説明できるか?
- Authors: Amrita Bhattacharjee, Raha Moraffah, Joshua Garland, Huan Liu
- Abstract要約: 大規模言語モデル(LLM)は、テキスト生成以外のタスクにますます使われている。
本稿では,LLMを用いたポストホック・モデル非依存の対実的説明を生成するパイプラインを提案する。
私たちのパイプラインは、自動説明システムで使用することができ、人間の労力を削減できます。
- 参考スコア（独自算出の注目度）: 16.36602400590088
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) are increasingly being used for tasks beyond
text generation, including complex tasks such as data labeling, information
extraction, etc. With the recent surge in research efforts to comprehend the
full extent of LLM capabilities, in this work, we investigate the role of LLMs
as counterfactual explanation modules, to explain decisions of black-box text
classifiers. Inspired by causal thinking, we propose a pipeline for using LLMs
to generate post-hoc, model-agnostic counterfactual explanations in a
principled way via (i) leveraging the textual understanding capabilities of the
LLM to identify and extract latent features, and (ii) leveraging the
perturbation and generation capabilities of the same LLM to generate a
counterfactual explanation by perturbing input features derived from the
extracted latent features. We evaluate three variants of our framework, with
varying degrees of specificity, on a suite of state-of-the-art LLMs, including
ChatGPT and LLaMA 2. We evaluate the effectiveness and quality of the generated
counterfactual explanations, over a variety of text classification benchmarks.
Our results show varied performance of these models in different settings, with
a full two-step feature extraction based variant outperforming others in most
cases. Our pipeline can be used in automated explanation systems, potentially
reducing human effort.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、データラベリングや情報抽出といった複雑なタスクを含む、テキスト生成以外のタスクにますます使われています。
近年,LLMの能力を十分に理解するための研究が盛んに進んでいる中で,本研究では,ブラックボックステキスト分類器の判断を解説するために,LCMを非現実的説明モジュールとしての役割について検討する。
因果的思考に着想を得て,LLMを用いたポストホック・モデル非依存の対実的説明を原理的に生成するパイプラインを提案する。
(i)潜在特徴を識別・抽出するためにllmのテキスト理解機能を活用すること、
2) 抽出した潜伏特徴から得られる入力特徴を摂動することで, 同一LLMの摂動・生成能力を利用して, 対実的説明を生成する。
筆者らはChatGPTやLLaMA 2など,最先端のLLMのスイート上で,多種多様な特異性を持つフレームワークの3つの変種を評価する。
種々のテキスト分類ベンチマークを用いて、生成した偽物説明の有効性と品質を評価する。
その結果,2段階の特徴抽出に基づく変種は,ほとんどの場合,他のモデルよりも優れていることがわかった。
私たちのパイプラインは、自動化された説明システムで使用できます。
関連論文リスト
- Graph-DPEP: Decomposed Plug and Ensemble Play for Few-Shot Document Relation Extraction with Graph-of-Thoughts Reasoning [34.85741925091139]
Graph-DPEPフレームワークは、自然言語で提示された三重項の説明思想の背景にある。
我々は,サブグラフに埋め込まれた推論的思考を活用することで,型リスト全体の「アンサンブルプレイ」生成を開発する。
論文 参考訳（メタデータ） (2024-11-05T07:12:36Z) - PromptExp: Multi-granularity Prompt Explanation of Large Language Models [16.259208045898415]
PromptExpは,トークンレベルの洞察を集約することで,複数の粒度を自動生成するフレームワークである。
PromptExpは、ホワイトボックスとブラックボックスの説明の両方をサポートし、説明をより高い粒度レベルまで拡張する。
PromptExpを感情分析などのケーススタディで評価し,摂動に基づくアプローチが優れていることを示す。
論文 参考訳（メタデータ） (2024-10-16T22:25:15Z) - Evaluating the Reliability of Self-Explanations in Large Language Models [2.8894038270224867]
このような自己説明の2つのタイプ – 抽出的, 対実的 – を評価した。
以上の結果から,これらの自己説明は人間の判断と相関するが,モデルの決定過程を完全に的確に従わないことが明らかとなった。
このギャップを橋渡しできるのは, 反実的な説明をLCMに促すことによって, 忠実で, 情報的で, 容易に検証できる結果が得られるからである。
論文 参考訳（メタデータ） (2024-07-19T17:41:08Z) - Explaining Text Similarity in Transformer Models [52.571158418102584]
説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。
両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。
我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
論文 参考訳（メタデータ） (2024-05-10T17:11:31Z) - Learning to Generate Explainable Stock Predictions using Self-Reflective
Large Language Models [54.21695754082441]
説明可能なストック予測を生成するために,LLM(Large Language Models)を教えるフレームワークを提案する。
反射剤は自己推論によって過去の株価の動きを説明する方法を学ぶ一方、PPOトレーナーは最も可能性の高い説明を生成するためにモデルを訓練する。
我々のフレームワークは従来のディープラーニング法とLLM法の両方を予測精度とマシューズ相関係数で上回ることができる。
論文 参考訳（メタデータ） (2024-02-06T03:18:58Z) - Logic-Scaffolding: Personalized Aspect-Instructed Recommendation
Explanation Generation using LLMs [20.446594942586604]
我々は、アスペクトベースの説明とチェーン・オブ・思想のアイデアを組み合わせて、中間的推論ステップを通じて説明を生成するLogic-Scaffoldingというフレームワークを提案する。
本稿では,フレームワーク構築の経験を共有し,その結果を探索するためのインタラクティブなデモンストレーションを行う。
論文 参考訳（メタデータ） (2023-12-22T00:30:10Z) - RecExplainer: Aligning Large Language Models for Explaining Recommendation Models [50.74181089742969]
大規模言語モデル (LLM) は、理解、推論、指導において顕著な知性を示した。
本稿では, ブラックボックスレコメンデータモデルを説明するために, LLM を代理モデルとして利用することについて検討する。
効果的なアライメントを容易にするために,行動アライメント,意図アライメント,ハイブリッドアライメントという3つの手法を導入する。
論文 参考訳（メタデータ） (2023-11-18T03:05:43Z) - Explanation-aware Soft Ensemble Empowers Large Language Model In-context
Learning [50.00090601424348]
大規模言語モデル(LLM)は、様々な自然言語理解タスクにおいて顕著な能力を示している。
我々は,LLMを用いたテキスト内学習を支援するための説明型ソフトアンサンブルフレームワークであるEASEを提案する。
論文 参考訳（メタデータ） (2023-11-13T06:13:38Z) - Harnessing Explanations: LLM-to-LM Interpreter for Enhanced
Text-Attributed Graph Representation Learning [51.90524745663737]
重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。
提案手法は、確立されたTAGデータセットの最先端結果を実現する。
本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
論文 参考訳（メタデータ） (2023-05-31T03:18:03Z) - Multi-resolution Interpretation and Diagnostics Tool for Natural
Language Classifiers [0.0]
本稿では,意味論的に相互に関連のある単語のセグメントやクラスタによって,よりフレキシブルなモデル説明可能性要約を作成することを目的とする。
さらに,NLPモデルの根本原因分析手法を提案し,各セグメントのFalse PositiveとFalse Negativeを解析した。
論文 参考訳（メタデータ） (2023-03-06T22:59:02Z) - Interpreting Language Models with Contrastive Explanations [99.7035899290924]
言語モデルは、音声、数字、時制、意味論など、トークンを予測するための様々な特徴を考慮しなければならない。
既存の説明手法は、これらの特徴の証拠を1つの説明に分割するが、人間の理解には理解できない。
比較的な説明は、主要な文法現象の検証において、非対照的な説明よりも定量的に優れていることを示す。
論文 参考訳（メタデータ） (2022-02-21T18:32:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。