論文の概要: Faithful Attention Explainer: Verbalizing Decisions Based on Discriminative Features
- arxiv url: http://arxiv.org/abs/2405.13032v2
- Date: Mon, 27 May 2024 07:20:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-29 03:18:40.838091
- Title: Faithful Attention Explainer: Verbalizing Decisions Based on Discriminative Features
- Title(参考訳): Faithful Attention Explainer:差別的特徴に基づく言語決定
- Authors: Yao Rong, David Scheerer, Enkelejda Kasneci,
- Abstract要約: 本稿では,参加機能に関する忠実なテキスト説明を生成できるフレームワークであるFAEを提案する。
提案モデルでは,キャプションの品質指標と,2つのデータセットに対する忠実な意思決定関連指標において,有望な性能を実現する。
また,FAEは,人間の目が人間の意思決定に使用する差別的特徴を示すため,視線に基づく人間の注意を解釈できることを示す。
- 参考スコア(独自算出の注目度): 13.293968260458962
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, model explanation methods have been designed to interpret model decisions faithfully and intuitively so that users can easily understand them. In this paper, we propose a framework, Faithful Attention Explainer (FAE), capable of generating faithful textual explanations regarding the attended-to features. Towards this goal, we deploy an attention module that takes the visual feature maps from the classifier for sentence generation. Furthermore, our method successfully learns the association between features and words, which allows a novel attention enforcement module for attention explanation. Our model achieves promising performance in caption quality metrics and a faithful decision-relevance metric on two datasets (CUB and ACT-X). In addition, we show that FAE can interpret gaze-based human attention, as human gaze indicates the discriminative features that humans use for decision-making, demonstrating the potential of deploying human gaze for advanced human-AI interaction.
- Abstract(参考訳): 近年,モデル記述法は,ユーザが容易に理解できるように,モデル決定を忠実かつ直感的に解釈するように設計されている。
本稿では,その特徴を忠実に説明できるフレームワークであるFAE(Faithful Attention Explainer)を提案する。
この目的に向けて,文生成のための分類器から視覚特徴マップを取り出すアテンションモジュールをデプロイする。
さらに,本手法は特徴と単語の関連性をうまく学習し,注意説明のための新しい注意強制モジュールを実現する。
本モデルは,2つのデータセット(CUBとACT-X)のキャプション品質指標と忠実な意思決定関連指標において,有望な性能を達成する。
また,FAEは人間の目線に基づく人間の注意を解釈し,人間の目線が人間の意思決定に使用する識別的特徴を示し,人間の目線を高度な人間とAIの相互作用に展開する可能性を示す。
関連論文リスト
- From Feature Importance to Natural Language Explanations Using LLMs with RAG [4.204990010424084]
大規模言語モデル(LLM)の応答に外部知識リポジトリを活用して,トレーサブルな質問応答を導入する。
この知識リポジトリは、高レベルの特徴、特徴の重要性、代替確率を含む、モデルの出力に関するコンテキストの詳細を含む。
社会的・因果的・選択的・コントラスト的な4つの重要な特徴を、人間の説明に関する社会科学研究から一発のプロンプトへと統合し、応答生成過程を導く。
論文 参考訳(メタデータ) (2024-07-30T17:27:20Z) - Unveiling Hidden Factors: Explainable AI for Feature Boosting in Speech Emotion Recognition [17.568724398229232]
音声感情認識(SER)は、メンタルヘルス、教育、人間とコンピュータの相互作用など、いくつかの応用分野から注目されている。
本研究では,機械学習モデルの性能向上のための特徴関連性と説明可能性を強調した,SERの反復的特徴増強手法を提案する。
提案手法の有効性をトロントの感情音声セット(TESS)、ベルリンの感情音声データベース(EMO-DB)、Ryersonの感情音声データベース(RAVDESS)、Surrey Audio-Visual Expressed Emotioned Emotion(SAVEE)データセットのSERベンチマークで検証した。
論文 参考訳(メタデータ) (2024-06-01T00:39:55Z) - Diffexplainer: Towards Cross-modal Global Explanations with Diffusion Models [51.21351775178525]
DiffExplainerは、言語ビジョンモデルを活用することで、マルチモーダルなグローバルな説明可能性を実現する新しいフレームワークである。
最適化されたテキストプロンプトに条件付けされた拡散モデルを使用し、クラス出力を最大化する画像を合成する。
生成した視覚的記述の分析により、バイアスと突発的特徴の自動識別が可能になる。
論文 参考訳(メタデータ) (2024-04-03T10:11:22Z) - Revisiting Self-supervised Learning of Speech Representation from a
Mutual Information Perspective [68.20531518525273]
我々は、情報理論の観点から、既存の自己教師型音声の手法を詳しく検討する。
我々は線形プローブを用いて、対象情報と学習された表現の間の相互情報を推定する。
我々は、ラベルを使わずに、データの異なる部分間の相互情報を見積もる自己教師型の表現を評価する可能性を探る。
論文 参考訳(メタデータ) (2024-01-16T21:13:22Z) - Understanding Before Recommendation: Semantic Aspect-Aware Review Exploitation via Large Language Models [53.337728969143086]
レコメンデーションシステムは、クリックやレビューのようなユーザとイテムのインタラクションを利用して表現を学習する。
従来の研究では、様々な側面や意図にまたがるユーザの嗜好をモデル化することで、推奨精度と解釈可能性を改善する。
そこで本研究では,意味的側面と認識的相互作用を明らかにするためのチェーンベースのプロンプト手法を提案する。
論文 参考訳(メタデータ) (2023-12-26T15:44:09Z) - Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。
驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。
以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
論文 参考訳(メタデータ) (2023-12-10T23:13:23Z) - Explaining Explainability: Towards Deeper Actionable Insights into Deep
Learning through Second-order Explainability [70.60433013657693]
2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。
そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
論文 参考訳(メタデータ) (2023-06-14T23:24:01Z) - Understanding Failures of Deep Networks via Robust Feature Extraction [44.204907883776045]
本研究では,視覚的特徴を識別し,不在や不在がパフォーマンスの低下を招き,失敗を特徴づけ,説明することを目的とした手法を紹介し,検討する。
我々は、分離されたロバストモデルの表現を活用して、解釈可能な特徴を抽出し、これらの特徴を利用して障害モードを特定します。
論文 参考訳(メタデータ) (2020-12-03T08:33:29Z) - Explaining Black Box Predictions and Unveiling Data Artifacts through
Influence Functions [55.660255727031725]
影響関数は、影響力のあるトレーニング例を特定することによって、モデルの判断を説明する。
本稿では,代表課題における影響関数と共通単語順応法の比較を行う。
我々は,学習データ中の成果物を明らかにすることができる影響関数に基づく新しい尺度を開発した。
論文 参考訳(メタデータ) (2020-05-14T00:45:23Z) - The Explanation Game: Towards Prediction Explainability through Sparse
Communication [6.497816402045099]
我々は,説明責任の統一的な視点を,説明者と素人の間の問題として提供する。
このフレームワークを使って、説明の抽出にいくつかの先行したアプローチを比較します。
本稿では,選択的,スパースな注意力を用いて,説明可能性のための新しい組込み手法を提案する。
論文 参考訳(メタデータ) (2020-04-28T22:27:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。