論文の概要: Explingo: Explaining AI Predictions using Large Language Models

• arxiv url: http://arxiv.org/abs/2412.05145v1
• Date: Fri, 06 Dec 2024 16:01:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:58:00.663615
• Title: Explingo: Explaining AI Predictions using Large Language Models
• Title（参考訳）: Explingo: 大規模言語モデルを用いたAI予測の説明
• Authors: Alexandra Zytek, Sara Pido, Sarah Alnegheimish, Laure Berti-Equille, Kalyan Veeramachaneni,
• Abstract要約: LLM(Large Language Models)は、説明を自然なコミュニケーションと整合する人間可読な物語形式に変換することができる。 ナレーターはMLの説明を取り入れ、それらを自然言語の説明に変換する。 グレーダーはこれらの物語を、正確性、完全性、流用性、簡潔さを含む一連の指標で評価する。 この研究の結果はオープンソースツールに統合され、さらなるアプリケーションで物語の説明が利用できるようになった。
• 参考スコア（独自算出の注目度）: 47.21393184176602
• License:
• Abstract: Explanations of machine learning (ML) model predictions generated by Explainable AI (XAI) techniques such as SHAP are essential for people using ML outputs for decision-making. We explore the potential of Large Language Models (LLMs) to transform these explanations into human-readable, narrative formats that align with natural communication. We address two key research questions: (1) Can LLMs reliably transform traditional explanations into high-quality narratives? and (2) How can we effectively evaluate the quality of narrative explanations? To answer these questions, we introduce Explingo, which consists of two LLM-based subsystems, a Narrator and Grader. The Narrator takes in ML explanations and transforms them into natural-language descriptions. The Grader scores these narratives on a set of metrics including accuracy, completeness, fluency, and conciseness. Our experiments demonstrate that LLMs can generate high-quality narratives that achieve high scores across all metrics, particularly when guided by a small number of human-labeled and bootstrapped examples. We also identified areas that remain challenging, in particular for effectively scoring narratives in complex domains. The findings from this work have been integrated into an open-source tool that makes narrative explanations available for further applications.
• Abstract（参考訳）: SHAPのような説明可能なAI(XAI)技術によって生成された機械学習(ML)モデル予測の説明は、意思決定にML出力を使用する人々にとって不可欠である。 本研究では,言語モデル (LLM) の可能性を探り,これらの説明を自然なコミュニケーションと整合する人間可読な物語形式に変換する。 1) LLM は従来の説明を高品質な物語に確実に変換できるのか? そして(2)物語の説明の質を効果的に評価するにはどうすればいいのか? これらの疑問に答えるために,Narrator と Grader という2つの LLM ベースのサブシステムからなるExplingo を紹介した。 ナレーターはMLの説明を取り入れ、それらを自然言語の説明に変換する。 グレーダーはこれらの物語を、正確性、完全性、流用性、簡潔さを含む一連の指標で評価する。 我々の実験は、LLMが全ての指標で高いスコアを得られる高品質な物語を生成することを実証している。 また、複雑な領域における物語を効果的に評価する上で、挑戦的のままの領域も特定した。 この研究の結果はオープンソースツールに統合され、さらなるアプリケーションで物語の説明が利用できるようになった。

関連論文リスト

• Narrative Analysis of True Crime Podcasts With Knowledge Graph-Augmented Large Language Models [8.78598447041169]
  大きな言語モデル(LLM)は、複雑な物語の弧や矛盾する情報を含む物語といまだに苦労している。 最近の研究は、外部知識ベースで強化されたLLMが、結果の精度と解釈可能性を向上させることを示唆している。 本研究では,実際のポッドキャストデータの理解における知識グラフ(KG)の適用性について検討する。
  論文  参考訳（メタデータ） (2024-11-01T21:49:00Z)
• PromptExp: Multi-granularity Prompt Explanation of Large Language Models [16.259208045898415]
  PromptExpは,トークンレベルの洞察を集約することで,複数の粒度を自動生成するフレームワークである。 PromptExpは、ホワイトボックスとブラックボックスの説明の両方をサポートし、説明をより高い粒度レベルまで拡張する。 PromptExpを感情分析などのケーススタディで評価し,摂動に基づくアプローチが優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-16T22:25:15Z)
• Are Large Language Models Capable of Generating Human-Level Narratives? [114.34140090869175]
  本稿ではストーリーテリングにおけるLLMの能力について考察し,物語の展開とプロットの進行に着目した。 本稿では,3つの談話レベルの側面から物語を分析するための新しい計算フレームワークを提案する。 談話機能の明示的な統合は、ニューラルストーリーテリングの40%以上の改善によって示されるように、ストーリーテリングを促進することができることを示す。
  論文  参考訳（メタデータ） (2024-07-18T08:02:49Z)
• Scenarios and Approaches for Situated Natural Language Explanations [18.022428746019582]
  ベンチマークデータセットである条件ベース説明を収集します。 このデータセットには100の説明書が含まれている。 オーディエンスと組み合わせたエクスラナンダム(explanandum paired with a audience)"の各状況について、人間による説明を含める。 本稿では,ルールベースのプロンプト,メタプロンプト,コンテキスト内学習プロンプトの3つのカテゴリについて検討する。
  論文  参考訳（メタデータ） (2024-06-07T15:56:32Z)
• Do Language Models Enjoy Their Own Stories? Prompting Large Language Models for Automatic Story Evaluation [15.718288693929019]
  大規模言語モデル(LLM)は多くのNLPタスクで最先端のパフォーマンスを達成する。 LLMがヒトアノテーターの代用として使用できるかどうかを検討した。 LLMはシステムレベルの評価において,現在の自動測定値よりも優れていますが,十分な説明が得られていないことが分かりました。
  論文  参考訳（メタデータ） (2024-05-22T15:56:52Z)
• LLMs for XAI: Future Directions for Explaining Explanations [50.87311607612179]
  既存のXAIアルゴリズムを用いて計算した説明の精細化に着目する。 最初の実験とユーザスタディは、LLMがXAIの解釈可能性とユーザビリティを高めるための有望な方法を提供することを示唆している。
  論文  参考訳（メタデータ） (2024-05-09T19:17:47Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• Towards LLM-guided Causal Explainability for Black-box Text Classifiers [16.36602400590088]
  我々は,近年の大規模言語モデルにおける命令追従とテキスト理解機能を活用して,因果的説明可能性を高めることを目指している。 提案する3ステップパイプラインは,既製のLCMを用いて,入力テキスト中の潜時的・未観測な特徴を識別する。 我々は,複数のNLPテキスト分類データセットを用いたパイプライン実験を行い,興味深い,有望な結果を示した。
  論文  参考訳（メタデータ） (2023-09-23T11:22:28Z)
• Complementary Explanations for Effective In-Context Learning [77.83124315634386]
  大規模言語モデル (LLM) は、説明のインプロンプトから学習する際、顕著な能力を示した。 この研究は、文脈内学習に説明が使用されるメカニズムをよりよく理解することを目的としている。
  論文  参考訳（メタデータ） (2022-11-25T04:40:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。