論文の概要: Tell Me a Story! Narrative-Driven XAI with Large Language Models
- arxiv url: http://arxiv.org/abs/2309.17057v2
- Date: Wed, 12 Jun 2024 18:18:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-15 02:19:21.582259
- Title: Tell Me a Story! Narrative-Driven XAI with Large Language Models
- Title（参考訳）: 物語を語る! 物語駆動型XAIと大規模言語モデル
- Authors: David Martens, James Hinns, Camille Dams, Mark Vergouwen, Theodoros Evgeniou,
- Abstract要約: 今日の多くのAIアプリケーションにおいて、ブラックボックス機械学習モデルの優位性は、説明可能なAI(XAI)の必要性を増幅している。
既存のXAIアプローチ、例えば広く使われているSHAP値や反ファクトリアル(CF)説明は、ユーザが理解し、実行するのに技術的すぎることは間違いありません。
我々は、XAIstoriesを導入し、大規模言語モデルを活用し、AI予測の作り方について物語を提供する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In many AI applications today, the predominance of black-box machine learning models, due to their typically higher accuracy, amplifies the need for Explainable AI (XAI). Existing XAI approaches, such as the widely used SHAP values or counterfactual (CF) explanations, are arguably often too technical for users to understand and act upon. To enhance comprehension of explanations of AI decisions and the overall user experience, we introduce XAIstories, which leverage Large Language Models to provide narratives about how AI predictions are made: SHAPstories do so based on SHAP explanations, while CFstories do so for CF explanations. We study the impact of our approach on users' experience and understanding of AI predictions. Our results are striking: over 90% of the surveyed general audience finds the narratives generated by SHAPstories convincing. Data scientists primarily see the value of SHAPstories in communicating explanations to a general audience, with 83% of data scientists indicating they are likely to use SHAPstories for this purpose. In an image classification setting, CFstories are considered more or equally convincing as the users' own crafted stories by more than 75% of the participants. CFstories additionally bring a tenfold speed gain in creating a narrative. We also find that SHAPstories help users to more accurately summarize and understand AI decisions, in a credit scoring setting we test, correctly answering comprehension questions significantly more often than they do when only SHAP values are provided. The results thereby suggest that XAIstories may significantly help explaining and understanding AI predictions, ultimately supporting better decision-making in various applications.
- Abstract（参考訳）: 今日の多くのAIアプリケーションにおいて、ブラックボックス機械学習モデルの優位性は、通常より高精度であるため、説明可能なAI(XAI)の必要性を高めている。
既存のXAIアプローチ、例えば広く使われているSHAP値や反ファクトリアル(CF)説明は、ユーザーが理解し実行するのに技術的すぎることが多い。
AIの判断とユーザエクスペリエンスの理解を深めるため、大規模言語モデルを活用したXAIstoriesを導入し、AIの予測方法に関する物語を提供する: SHAPstoriesはSHAPの説明に基づいて、CFstoriesはCFの説明のために、。
提案手法がユーザ体験およびAI予測の理解に与える影響について検討する。
調査対象者の90%以上が、SHAPstoriesによる物語を説得力のあるものにしている。
データサイエンティストの83%は、この目的のためにSHAPstoriesを使用する可能性が高いことを示唆している。
イメージ分類設定では、CFstoriesは、ユーザの作り話として、75%以上の参加者で多かれ少なかれ説得力があると考えられている。
CFstoriesはさらに、物語作成において10倍のスピード向上をもたらす。
また、SHAPstoriesは、ユーザがAI決定をより正確に要約し、理解するのに役立ちます。
その結果、XAIstoriesはAI予測の説明と理解に大いに役立ち、最終的には様々なアプリケーションにおけるより良い意思決定を支援することが示唆された。
関連論文リスト
- Fool Me Once? Contrasting Textual and Visual Explanations in a Clinical Decision-Support Setting [43.110187812734864]
視覚的説明(可用性マップ)、自然言語の説明、両方のモダリティの組み合わせの3種類の説明を評価した。
テキストに基づく説明は、高い信頼度をもたらすことが分かっており、従順マップと組み合わせることで軽減される。
また、説明の質、すなわち、それがどれだけ事実的に正しい情報であり、それがAIの正しさとどの程度一致しているかが、異なる説明タイプの有用性に大きく影響していることも観察します。
論文 参考訳（メタデータ） (2024-10-16T06:43:02Z) - Measuring User Understanding in Dialogue-based XAI Systems [2.4124106640519667]
XAIの最先端は、単発、非個人化、一方通行の説明が特徴である。
本稿では,ユーザが学習しているモデルの予測をシミュレートして,3段階のユーザ理解を計測する。
我々は、高い理解率と低い理解率の集団間の相互作用のパターンを明らかにするために、データを分析した。
論文 参考訳（メタデータ） (2024-08-13T15:17:03Z) - Tell me more: Intent Fulfilment Framework for Enhancing User Experiences in Conversational XAI [0.6333053895057925]
本稿では,ユーザのXAIニーズに対して,異なるタイプの説明が協調的にどのように適合するかを考察する。
Intent Fulfilment Framework (IFF)を導入した。
Explanation Experience Dialogue Model は IFF と "Explanation Followups" を統合し,対話型インターフェースを提供する。
論文 参考訳（メタデータ） (2024-05-16T21:13:43Z) - XAI for All: Can Large Language Models Simplify Explainable AI? [0.0699049312989311]
x-[plAIn]"は、カスタムのLarge Language Modelを通じて、XAIをより広く利用できるようにする新しいアプローチである。
我々の目標は、様々なXAI手法の明確で簡潔な要約を生成できるモデルを設計することであった。
使用事例調査の結果から,本モデルは理解し易く,観衆特有の説明を提供するのに有効であることが示された。
論文 参考訳（メタデータ） (2024-01-23T21:47:12Z) - Explaining Explainability: Towards Deeper Actionable Insights into Deep
Learning through Second-order Explainability [70.60433013657693]
2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。
そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
論文 参考訳（メタデータ） (2023-06-14T23:24:01Z) - Towards Human Cognition Level-based Experiment Design for Counterfactual
Explanations (XAI) [68.8204255655161]
XAI研究の重点は、より理解を深めるために、より実践的な説明アプローチに変わったようだ。
認知科学研究がXAIの進歩に大きく影響を与える可能性のある領域は、ユーザの知識とフィードバックを評価することである。
本研究では,異なる認知レベルの理解に基づく説明の生成と評価を実験する枠組みを提案する。
論文 参考訳（メタデータ） (2022-10-31T19:20:22Z) - The Who in XAI: How AI Background Shapes Perceptions of AI Explanations [61.49776160925216]
私たちは、2つの異なるグループ、つまりAIのバックグラウンドを持つ人々といない人たちの、異なるタイプのAI説明に対する理解について、混合手法による研究を行います。
その結果,(1) 両群は異なる理由から不合理な数に対する信頼を示し,(2) それぞれの群は意図した設計以上の異なる説明に価値を見出した。
論文 参考訳（メタデータ） (2021-07-28T17:32:04Z) - A general framework for scientifically inspired explanations in AI [76.48625630211943]
我々は、AIシステムの説明を実装可能な一般的なフレームワークの理論的基盤として、科学的説明の構造の概念をインスタンス化する。
このフレームワークは、AIシステムの"メンタルモデル"を構築するためのツールを提供することを目的としている。
論文 参考訳（メタデータ） (2020-03-02T10:32:21Z) - Explainable Active Learning (XAL): An Empirical Study of How Local
Explanations Impact Annotator Experience [76.9910678786031]
本稿では、最近急増している説明可能なAI(XAI)のテクニックをアクティブラーニング環境に導入することにより、説明可能なアクティブラーニング(XAL)の新たなパラダイムを提案する。
本研究は,機械教育のインタフェースとしてのAI説明の利点として,信頼度校正を支援し,リッチな形式の教示フィードバックを可能にすること,モデル判断と認知作業負荷による潜在的な欠点を克服する効果を示す。
論文 参考訳（メタデータ） (2020-01-24T22:52:18Z) - Deceptive AI Explanations: Creation and Detection [3.197020142231916]
我々は、AIモデルを用いて、偽りの説明を作成し、検出する方法について検討する。
実験的な評価として,GradCAMによるテキスト分類と説明の変更に着目した。
被験者200名を対象に, 偽装説明がユーザに与える影響について検討した。
論文 参考訳（メタデータ） (2020-01-21T16:41:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。