論文の概要: Intrinsic Subgraph Generation for Interpretable Graph based Visual Question Answering
- arxiv url: http://arxiv.org/abs/2403.17647v2
- Date: Wed, 27 Mar 2024 10:07:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-28 11:48:28.213762
- Title: Intrinsic Subgraph Generation for Interpretable Graph based Visual Question Answering
- Title（参考訳）: 解釈可能なグラフに基づく視覚質問応答のための固有部分グラフ生成
- Authors: Pascal Tilli, Ngoc Thang Vu,
- Abstract要約: グラフに基づく視覚質問応答(VQA)に対する解釈可能なアプローチを提案する。
本モデルは,問合せ処理中に本質的にサブグラフを生成するように設計されている。
生成した部分グラフを,グラフニューラルネットワークの確立したポストホックな説明可能性法と比較し,人的評価を行う。
- 参考スコア（独自算出の注目度）: 27.193336817953142
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The large success of deep learning based methods in Visual Question Answering (VQA) has concurrently increased the demand for explainable methods. Most methods in Explainable Artificial Intelligence (XAI) focus on generating post-hoc explanations rather than taking an intrinsic approach, the latter characterizing an interpretable model. In this work, we introduce an interpretable approach for graph-based VQA and demonstrate competitive performance on the GQA dataset. This approach bridges the gap between interpretability and performance. Our model is designed to intrinsically produce a subgraph during the question-answering process as its explanation, providing insight into the decision making. To evaluate the quality of these generated subgraphs, we compare them against established post-hoc explainability methods for graph neural networks, and perform a human evaluation. Moreover, we present quantitative metrics that correlate with the evaluations of human assessors, acting as automatic metrics for the generated explanatory subgraphs. Our implementation is available at https://github.com/DigitalPhonetics/Intrinsic-Subgraph-Generation-for-VQA.
- Abstract（参考訳）: VQA(Visual Question Answering)におけるディープラーニングに基づく手法の成功は、説明可能な手法の需要を同時に増加させてきた。
説明可能な人工知能(XAI)のほとんどの手法は、本質的なアプローチではなく、ポストホックな説明を生成することに重点を置いており、後者は解釈可能なモデルを特徴づけている。
本稿では,グラフベースのVQAに対する解釈可能なアプローチを導入し,GQAデータセット上での競合性能を示す。
このアプローチは、解釈可能性とパフォーマンスのギャップを埋める。
本モデルは,質問応答過程のサブグラフをその説明として内在的に生成し,意思決定に関する洞察を与えるように設計されている。
生成したサブグラフの質を評価するため、グラフニューラルネットワークの実証されたポストホックな説明可能性法と比較し、人間による評価を行う。
また,人間の評価指標と相関する定量的指標を提示し,生成した説明文の自動評価指標として機能する。
実装はhttps://github.com/DigitalPhonetics/Intrinsic-Subgraph-Generation-for-VQAで公開しています。
関連論文リスト
- Deep Generative Models for Subgraph Prediction [10.56335881963895]
本稿では,深層グラフ学習のための新しい課題として,サブグラフクエリを提案する。
サブグラフクエリは、観測されたサブグラフで表される証拠に基づいて、ターゲットサブグラフのコンポーネントを共同で予測する。
我々は,確率論的深部グラフ生成モデルを用いて,サブグラフクエリに回答する。
論文 参考訳（メタデータ） (2024-08-07T19:24:02Z) - Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。
驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。
以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
論文 参考訳（メタデータ） (2023-12-10T23:13:23Z) - GInX-Eval: Towards In-Distribution Evaluation of Graph Neural Network
Explanations [21.997015999698732]
グラフニューラルネットワーク(GNN)の様々な説明可能性法は、モデル予測に最も寄与するグラフのエッジとノードを強調するために開発されている。
これらの説明の正しさを人間やモデルの観点から評価する方法はまだ明らかになっていない。
本稿では,信頼の落とし穴を克服するグラフ説明の評価手法であるGInX-Evalを提案する。
論文 参考訳（メタデータ） (2023-09-28T07:56:10Z) - Evaluating Link Prediction Explanations for Graph Neural Networks [0.0]
リンク予測説明の質を評価するための指標を提供する。
ノード埋め込み間の距離の選択など,リンク予測タスクに特有の前提条件や技術的詳細が,説明の質にどのように影響するかを論じる。
論文 参考訳（メタデータ） (2023-08-03T10:48:37Z) - Explaining Explainability: Towards Deeper Actionable Insights into Deep
Learning through Second-order Explainability [70.60433013657693]
2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。
そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
論文 参考訳（メタデータ） (2023-06-14T23:24:01Z) - Bures-Wasserstein Means of Graphs [60.42414991820453]
本研究では,スムーズなグラフ信号分布の空間への埋め込みを通じて,グラフ平均を定義する新しいフレームワークを提案する。
この埋め込み空間において平均を求めることにより、構造情報を保存する平均グラフを復元することができる。
我々は,新しいグラフの意味の存在と特異性を確立し,それを計算するための反復アルゴリズムを提供する。
論文 参考訳（メタデータ） (2023-05-31T11:04:53Z) - Dynamic Clue Bottlenecks: Towards Interpretable-by-Design Visual Question Answering [58.64831511644917]
本稿では, モデル決定を中間的人間法的な説明に分解する設計モデルを提案する。
我々は、我々の本質的に解釈可能なシステムは、推論に焦点をあてた質問において、同等のブラックボックスシステムよりも4.64%改善できることを示した。
論文 参考訳（メタデータ） (2023-05-24T08:33:15Z) - ADVISE: ADaptive Feature Relevance and VISual Explanations for
Convolutional Neural Networks [0.745554610293091]
本稿では,機能マップの各ユニットの関連性を定量化し,活用して視覚的説明を提供する新しい説明可能性手法であるADVISEを紹介する。
我々は、画像分類タスクにおいて、AlexNet、VGG16、ResNet50、XceptionをImageNetで事前訓練した上で、我々のアイデアを広く評価する。
さらに,ADVISEは衛生チェックをパスしながら,感度および実装独立性公理を満たすことを示す。
論文 参考訳（メタデータ） (2022-03-02T18:16:57Z) - Question-Answer Sentence Graph for Joint Modeling Answer Selection [122.29142965960138]
我々は,質問文,質問文,回答文のペア間のスコアを計算するための最先端(SOTA)モデルを訓練し,統合する。
オンライン推論は、目に見えないクエリのAS2タスクを解決するために実行される。
論文 参考訳（メタデータ） (2022-02-16T05:59:53Z) - Bayesian Graph Contrastive Learning [55.36652660268726]
本稿では,ランダムな拡張がエンコーダにつながることを示すグラフコントラスト学習手法の新たな視点を提案する。
提案手法は,各ノードを決定論的ベクトルに埋め込む既存の手法とは対照的に,各ノードを潜在空間の分布で表現する。
いくつかのベンチマークデータセットにおける既存の最先端手法と比較して,性能が大幅に向上したことを示す。
論文 参考訳（メタデータ） (2021-12-15T01:45:32Z) - A Hierarchical Reasoning Graph Neural Network for The Automatic Scoring
of Answer Transcriptions in Video Job Interviews [14.091472037847499]
質問応答対の自動評価のための階層型推論グラフニューラルネットワーク(HRGNN)を提案する。
我々は,現在QAセッションの相互作用状態をモデル化するために,意味レベル推論グラフアテンションネットワークを利用する。
最後に,最終予測のための時間的質問応答対を表すゲート再帰単位エンコーダを提案する。
論文 参考訳（メタデータ） (2020-12-22T12:27:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。