論文の概要: Are Large Language Models Post Hoc Explainers?

• arxiv url: http://arxiv.org/abs/2310.05797v2
• Date: Tue, 10 Oct 2023 19:33:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 11:13:29.969343
• Title: Are Large Language Models Post Hoc Explainers?
• Title（参考訳）: 大規模言語モデルはホックな説明の後か?
• Authors: Nicholas Kroeger, Dan Ley, Satyapriya Krishna, Chirag Agarwal, Himabindu Lakkaraju
• Abstract要約: 大規模言語モデル(LLM)は、自然言語処理(NLP)アプリケーションのための強力なツールとして、ますます使われている。 我々は,他の予測モデルを説明する上で LLM の有効性を最初に研究する枠組みを提案する。 実世界のベンチマークデータセットを用いて広範な実験を行い、LLM生成の説明が最先端のポストホック説明器と同等に動作することを示した。
• 参考スコア（独自算出の注目度）: 30.46464564836906
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are increasingly used as powerful tools for a plethora of natural language processing (NLP) applications. A recent innovation, in-context learning (ICL), enables LLMs to learn new tasks by supplying a few examples in the prompt during inference time, thereby eliminating the need for model fine-tuning. While LLMs have been utilized in several applications, their applicability in explaining the behavior of other models remains relatively unexplored. Despite the growing number of new explanation techniques, many require white-box access to the model and/or are computationally expensive, highlighting a need for next-generation post hoc explainers. In this work, we present the first framework to study the effectiveness of LLMs in explaining other predictive models. More specifically, we propose a novel framework encompassing multiple prompting strategies: i) Perturbation-based ICL, ii) Prediction-based ICL, iii) Instruction-based ICL, and iv) Explanation-based ICL, with varying levels of information about the underlying ML model and the local neighborhood of the test sample. We conduct extensive experiments with real-world benchmark datasets to demonstrate that LLM-generated explanations perform on par with state-of-the-art post hoc explainers using their ability to leverage ICL examples and their internal knowledge in generating model explanations. On average, across four datasets and two ML models, we observe that LLMs identify the most important feature with 72.19% accuracy, opening up new frontiers in explainable artificial intelligence (XAI) to explore LLM-based explanation frameworks.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、多くの自然言語処理(NLP)アプリケーションのための強力なツールとして、ますます使われている。 近年のICL(In-context Learning)では、推論時間中にプロンプトにいくつかの例を提示することで、LLMが新しいタスクを学習できるようにする。 LLMはいくつかのアプリケーションで利用されてきたが、他のモデルの振る舞いを説明するための適用性はいまだに未解明である。 新しい説明手法が増えているにもかかわらず、多くはモデルへのホワイトボックスアクセスを必要とし、あるいは計算コストが高く、次世代のポストホック説明器の必要性を強調している。 本研究では,他の予測モデルを説明する上で LLM の有効性を検討するための最初の枠組みを提案する。 具体的には、複数のプロンプト戦略を含む新しいフレームワークを提案する。 i)摂動に基づくicl, 二 予測に基づくicl、 三 指示に基づくicl、及び 四 説明に基づくICLであって、基礎となるMLモデル及びテストサンプルの局所的近傍に関する情報のレベルが異なるもの。 我々は,実世界のベンチマークデータセットを用いて広範な実験を行い,llmが生成した説明が,モデル説明の生成にiclの例と内部知識を活用する能力を用いて,最先端のポストホック説明と同等の性能を発揮することを実証する。 平均して、4つのデータセットと2つのMLモデルで、LLMが72.19%の精度で最も重要な特徴を識別し、説明可能な人工知能(XAI)の新しいフロンティアを開き、LLMベースの説明フレームワークを探索する。

関連論文リスト

• Enhancing Advanced Visual Reasoning Ability of Large Language Models [20.32900494896848]
  VL(Vision-Language)研究の最近の進歩は、複雑な視覚的推論のための新しいベンチマークを引き起こした。 我々はCVR-LLM(Complex Visual Reasoning Large Language Models)を提案する。 提案手法は,反復的自己修正ループを用いて,画像の詳細なコンテキスト認識記述に変換する。 また、LLMの文脈的理解と推論を強化するために、新しいマルチモーダル・インコンテキスト学習(ICL)手法を導入する。
  論文  参考訳（メタデータ） (2024-09-21T02:10:19Z)
• LLMs for XAI: Future Directions for Explaining Explanations [50.87311607612179]
  既存のXAIアルゴリズムを用いて計算した説明の精細化に着目する。 最初の実験とユーザスタディは、LLMがXAIの解釈可能性とユーザビリティを高めるための有望な方法を提供することを示唆している。
  論文  参考訳（メタデータ） (2024-05-09T19:17:47Z)
• Towards Modeling Learner Performance with Large Language Models [7.002923425715133]
  本稿では,LLMのパターン認識とシーケンスモデリング機能が,知識追跡の領域にまで拡張できるかどうかを検討する。 ゼロショットプロンプト(ゼロショットプロンプト)とモデル微調整(モデル微調整)の2つの手法と,既存のLLM以外の知識追跡手法を比較した。 LLMベースのアプローチは最先端のパフォーマンスを達成しないが、微調整のLLMは素早いベースラインモデルの性能を上回り、標準的なベイズ的知識追跡手法と同等に機能する。
  論文  参考訳（メタデータ） (2024-02-29T14:06:34Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。 自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。 これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
  論文  参考訳（メタデータ） (2024-01-30T17:38:54Z)
• From Understanding to Utilization: A Survey on Explainability for Large Language Models [27.295767173801426]
  この調査は、Large Language Models (LLMs) における説明可能性の向上を示唆している。 主に、トレーニング済みの Transformer ベースの LLM に重点を置いています。 説明可能性の活用を考える際に、モデル編集、制御生成、モデル拡張に集中するいくつかの魅力的な方法を検討する。
  論文  参考訳（メタデータ） (2024-01-23T16:09:53Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• Explanation-aware Soft Ensemble Empowers Large Language Model In-context Learning [50.00090601424348]
  大規模言語モデル(LLM)は、様々な自然言語理解タスクにおいて顕著な能力を示している。 我々は,LLMを用いたテキスト内学習を支援するための説明型ソフトアンサンブルフレームワークであるEASEを提案する。
  論文  参考訳（メタデータ） (2023-11-13T06:13:38Z)
• Evaluating and Explaining Large Language Models for Code Using Syntactic Structures [74.93762031957883]
  本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。 その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。 私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
  論文  参考訳（メタデータ） (2023-08-07T18:50:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。