論文の概要: Towards LLM-guided Causal Explainability for Black-box Text Classifiers
- arxiv url: http://arxiv.org/abs/2309.13340v2
- Date: Mon, 29 Jan 2024 05:59:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-30 21:56:16.150705
- Title: Towards LLM-guided Causal Explainability for Black-box Text Classifiers
- Title(参考訳): ブラックボックステキスト分類器のllm誘導因果説明可能性について
- Authors: Amrita Bhattacharjee, Raha Moraffah, Joshua Garland, Huan Liu
- Abstract要約: 我々は,近年の大規模言語モデルにおける命令追従とテキスト理解機能を活用して,因果的説明可能性を高めることを目指している。
提案する3ステップパイプラインは,既製のLCMを用いて,入力テキスト中の潜時的・未観測な特徴を識別する。
我々は,複数のNLPテキスト分類データセットを用いたパイプライン実験を行い,興味深い,有望な結果を示した。
- 参考スコア(独自算出の注目度): 16.36602400590088
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the advent of larger and more complex deep learning models, such as in
Natural Language Processing (NLP), model qualities like explainability and
interpretability, albeit highly desirable, are becoming harder challenges to
tackle and solve. For example, state-of-the-art models in text classification
are black-box by design. Although standard explanation methods provide some
degree of explainability, these are mostly correlation-based methods and do not
provide much insight into the model. The alternative of causal explainability
is more desirable to achieve but extremely challenging in NLP due to a variety
of reasons. Inspired by recent endeavors to utilize Large Language Models
(LLMs) as experts, in this work, we aim to leverage the instruction-following
and textual understanding capabilities of recent state-of-the-art LLMs to
facilitate causal explainability via counterfactual explanation generation for
black-box text classifiers. To do this, we propose a three-step pipeline via
which, we use an off-the-shelf LLM to: (1) identify the latent or unobserved
features in the input text, (2) identify the input features associated with the
latent features, and finally (3) use the identified input features to generate
a counterfactual explanation. We experiment with our pipeline on multiple NLP
text classification datasets, with several recent LLMs, and present interesting
and promising findings.
- Abstract(参考訳): 自然言語処理(NLP)のような、より大規模で複雑なディープラーニングモデルの出現に伴い、説明可能性や解釈可能性といったモデル品質は、非常に望ましいものの、取り組みと解決が困難になっている。
例えば、テキスト分類における最先端モデルは、設計によるブラックボックスである。
標準的な説明方法はある程度の説明可能性を提供するが、これらはほとんど相関に基づく方法であり、モデルについてはあまり洞察を与えていない。
因果説明可能性の代替はより望ましいが、様々な理由からNLPでは極めて困難である。
近年の言語モデル(LLM)を専門家として活用する試みに触発されて,近年のLLMにおける命令追従とテキスト理解機能を活用し,ブラックボックステキスト分類器の対実的説明生成による因果的説明性の向上を目指す。
そこで我々は,(1)入力テキスト中の潜時的・非観測的特徴を識別し,(2)潜時的特徴に関連付けられた入力特徴を識別し,(3)識別された入力特徴を用いて対実的説明を生成する3段階のパイプラインを提案する。
我々は,近年のllmを用いて,複数のnlpテキスト分類データセット上でパイプラインを実験し,興味深い有望な知見を提示する。
関連論文リスト
- Large Language Models As Faithful Explainers [67.38301892818778]
大規模言語モデル(LLM)は近年,その豊富な内部知識と推論能力を活用することで,複雑なタスクに対処する技術に長けている。
我々は、LLMの自然言語形式で提供される説明の忠実性を改善するために、生成的説明フレームワークであるxLLMを導入する。
3つのNLUデータセットで行った実験により、xLLMは生成された説明の忠実性を大幅に改善できることが示された。
論文 参考訳(メタデータ) (2024-02-07T09:09:14Z) - Learning to Generate Explainable Stock Predictions using Self-Reflective
Large Language Models [54.21695754082441]
説明可能なストック予測を生成するために,LLM(Large Language Models)を教えるフレームワークを提案する。
反射剤は自己推論によって過去の株価の動きを説明する方法を学ぶ一方、PPOトレーナーは最も可能性の高い説明を生成するためにモデルを訓練する。
我々のフレームワークは従来のディープラーニング法とLLM法の両方を予測精度とマシューズ相関係数で上回ることができる。
論文 参考訳(メタデータ) (2024-02-06T03:18:58Z) - Logic-Scaffolding: Personalized Aspect-Instructed Recommendation
Explanation Generation using LLMs [20.446594942586604]
我々は、アスペクトベースの説明とチェーン・オブ・思想のアイデアを組み合わせて、中間的推論ステップを通じて説明を生成するLogic-Scaffoldingというフレームワークを提案する。
本稿では,フレームワーク構築の経験を共有し,その結果を探索するためのインタラクティブなデモンストレーションを行う。
論文 参考訳(メタデータ) (2023-12-22T00:30:10Z) - TextGenSHAP: Scalable Post-hoc Explanations in Text Generation with Long
Documents [34.52684986240312]
LM固有の手法を取り入れた効率的なポストホック説明法であるTextGenSHAPを紹介する。
従来のShapley値計算と比較して,速度が大幅に向上することを示す。
さらに,実時間シェープ値が2つの重要なシナリオでどのように活用できるかを示す。
論文 参考訳(メタデータ) (2023-12-03T04:35:04Z) - Explanation-aware Soft Ensemble Empowers Large Language Model In-context
Learning [50.00090601424348]
大規模言語モデル(LLM)は、様々な自然言語理解タスクにおいて顕著な能力を示している。
我々は,LLMを用いたテキスト内学習を支援するための説明型ソフトアンサンブルフレームワークであるEASEを提案する。
論文 参考訳(メタデータ) (2023-11-13T06:13:38Z) - InterroLang: Exploring NLP Models and Datasets through Dialogue-based
Explanations [8.833264791078825]
我々は,対話型説明フレームワークTalkToModelをNLPドメインに適用し,自由文合理化などの新たなNLP固有の操作を追加する。
説明のためのユーザクエリを識別するために、微調整および少数ショットプロンプトモデルの評価を行った。
本研究は,(1) 対話の正当性と有用性,(2) 再現性に関する2つのユーザスタディである。
論文 参考訳(メタデータ) (2023-10-09T10:27:26Z) - IERL: Interpretable Ensemble Representation Learning -- Combining
CrowdSourced Knowledge and Distributed Semantic Representations [11.008412414253662]
大言語モデル(LLM)は、単語の意味を分散意味論の形でエンコードする。
近年の研究では、LLMは意図しない、一貫性のない、あるいは間違ったテキストを出力として生成する傾向があることが示されている。
本稿では,LLMとクラウドソースの知識表現を体系的に組み合わせた新しいアンサンブル学習手法であるInterpretable Ensemble Representation Learning (IERL)を提案する。
論文 参考訳(メタデータ) (2023-06-24T05:02:34Z) - Harnessing Explanations: LLM-to-LM Interpreter for Enhanced
Text-Attributed Graph Representation Learning [51.90524745663737]
重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。
提案手法は、確立されたTAGデータセットの最先端結果を実現する。
本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
論文 参考訳(メタデータ) (2023-05-31T03:18:03Z) - Multi-resolution Interpretation and Diagnostics Tool for Natural
Language Classifiers [0.0]
本稿では,意味論的に相互に関連のある単語のセグメントやクラスタによって,よりフレキシブルなモデル説明可能性要約を作成することを目的とする。
さらに,NLPモデルの根本原因分析手法を提案し,各セグメントのFalse PositiveとFalse Negativeを解析した。
論文 参考訳(メタデータ) (2023-03-06T22:59:02Z) - Interpreting Language Models with Contrastive Explanations [99.7035899290924]
言語モデルは、音声、数字、時制、意味論など、トークンを予測するための様々な特徴を考慮しなければならない。
既存の説明手法は、これらの特徴の証拠を1つの説明に分割するが、人間の理解には理解できない。
比較的な説明は、主要な文法現象の検証において、非対照的な説明よりも定量的に優れていることを示す。
論文 参考訳(メタデータ) (2022-02-21T18:32:24Z) - Masked Language Modeling and the Distributional Hypothesis: Order Word
Matters Pre-training for Little [74.49773960145681]
マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。
本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。
以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
論文 参考訳(メタデータ) (2021-04-14T06:30:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。