論文の概要: Bridging Human and Model Attention: Explainability Analysis of CNN, Mamba, and ViT Architectures with Gaze-Based Validation
- arxiv url: http://arxiv.org/abs/2610.12703v1
- Date: Thu, 08 Oct 2026 20:33:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.278931
- Title: Bridging Human and Model Attention: Explainability Analysis of CNN, Mamba, and ViT Architectures with Gaze-Based Validation
- Title（参考訳）: 人間とモデル注意のブリッジ: 迷路に基づく検証によるCNN, Mamba, ViTアーキテクチャの説明可能性解析
- Abstract要約: 我々は、畳み込みニューラルネットワーク(CNN)、ビジョントランスフォーマー(ViT)、ビジョンマンバ(ViM)にまたがる系統的説明可能性評価を行う。
我々は、眼球追跡地上真実を用いて、モデル注意と人間の視覚知覚のアライメントを定量化する。
アーキテクチャ固有のXAI手法を用いて、微粒な分類、医用画像、感情認識でアライメントを評価する。
- 参考スコア（独自算出の注目度）: 4.114756398011393
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: High-risk applications of deep learning require precise characterization of model decision-making. We conduct a systematic explainability evaluation across Convolutional Neural Networks (CNNs), Vision Transformers (ViTs), and Vision Mamba (ViM). Unlike predominantly qualitative studies, we quantify the alignment between model attention and human visual perception using eye-tracking ground truth. We formalize this comparison via a standardized normalization pipeline mapping post-hoc attribution maps and gaze heatmaps onto spatial probability distributions. Alignment is evaluated across fine-grained classification, medical imaging, and emotion recognition using architecture-specific XAI methods. We measure fidelity using Jensen-Shannon similarity, Chi-square similarity, and Pearson correlation, three complementary estimators capturing support overlap, mass discrepancy, and structural co-variation. Our results reveal distinct attention dynamics: CNNs tend to exhibit a more global focus, with spatially more diffuse saliency maps that correlate well with human perception in general contexts, while ViTs demonstrate fine-grained, patch-level attention, often focused on discriminative microfeatures. The Mamba architecture shows biased behavior: it achieves strong explainability in medical tasks but exhibits divergent intensity distributions in natural images; our analytical characterization of the metrics makes this dissociation explicit, since near-unit support overlap is attained simultaneously with a vanishing linear correlation. We further analyze the effect of backbone freezing and ensemble strategies on model interpretability. The results highlight how architectural and training choices influence the alignment between model saliency and human visual attention.
- Abstract（参考訳）: ディープラーニングのリスクの高い応用には、モデル決定の正確なキャラクタリゼーションが必要である。
我々は、畳み込みニューラルネットワーク(CNN)、ビジョントランスフォーマー(ViT)、ビジョンマンバ(ViM)にまたがる系統的説明可能性の評価を行う。
主に質的な研究とは異なり、眼球追跡地上真実を用いて、モデル注意と人間の視覚知覚の一致を定量化する。
この比較を標準化された正規化パイプラインマッピングを用いて定式化し、空間確率分布にポストホック帰属写像とヒートマップを視認する。
アーキテクチャ固有のXAI手法を用いて、微粒な分類、医用画像、感情認識でアライメントを評価する。
我々は,Jensen-Shannon類似性,Chi-square類似性,Pearson相関性,支持重なりを捉える3つの相補的推定器,質量差,構造的共変量を用いて忠実度を測定した。
CNNは、一般的な文脈における人間の知覚とよく相関する空間的に拡散したサリエンシマップを持ち、ViTは細粒度でパッチレベルの注意力を示し、しばしば差別的な微小機能に焦点を当てている。
マムバ・アーキテクチャーは、医学的タスクにおいて強い説明可能性を達成するが、自然画像において異なる強度分布を示す; 分析的な特徴は、近ユニットサポートオーバーラップが消滅する線形相関と同時に達成されるので、この解離を明確にする。
さらに,背骨凍結法とアンサンブル法がモデル解釈性に及ぼす影響を解析した。
結果は、建築とトレーニングの選択がモデル満足度と人間の視覚的注意の整合性にどのように影響するかを強調した。
関連論文リスト
- ImputeViz: A Visual Analytics Dashboard for Diagnosing Missing Data and Comparing Imputation Methods [13.239788116433237]
ImputeVizは、欠如の診断、インプットモデルの設定、結果の評価をサポートする統合ビジュアル分析ダッシュボードである。
このシステムは、MICE、Random Forest、XGBoost、kNNなど、広く使われている手法をインタラクティブな環境で組み合わせ、欠陥パターンを明確にする。
論文 参考訳（メタデータ） (2026-07-09T15:14:56Z) - Coarse-to-fine Hierarchical Architecture with Sequential Mamba for Brain Reconstruction [5.732406989501624]
画像-fMRI符号化のための新しい階層型2段階フレームワークであるCHASMBrainを提案する。
我々のアーキテクチャは、グローバルなセマンティックトークンと局所的な空間パッチを明確に分離し処理するために、デュアルストリームのMamba設計を活用している。
提案手法はPearsonの0.429とMSE0.261の相関を達成し,評価基準線を上回る結果を得た。
論文 参考訳（メタデータ） (2026-06-03T11:53:23Z) - CausalMamba: Interpretable State Space Modeling for Temporal Rumor Causality [4.936998293690288]
CausalMambaは、Mambaベースのシーケンスモデリング、グラフ畳み込みネットワーク(GCN)、NOTEARSによる微分因果発見を統合する新しいフレームワークである。
我々のフレームワークは、噂の分類と影響分析に統一的なアプローチを提供し、より説明しやすく行動可能な誤情報検出システムを実現する。
論文 参考訳（メタデータ） (2025-11-20T09:59:16Z) - Gradient Attention Map Based Verification of Deep Convolutional Neural Networks with Application to X-ray Image Datasets [1.0208529247755187]
複数の相補的戦略を通じてモデル適合性を評価する包括的検証フレームワークを提案する。
まず、グラディエント・アテンション・マップ(GAM)に基づくアプローチを導入し、グラディエント・アテンション・マップを用いて注意パターンを解析する。
第2に、初期畳み込み特徴写像に検証を拡張し、注意を欠いた構造的ミスアライメントをキャプチャする。
第3に,配布外入力を明示的に拒否するために,新たなガベージクラスを分類モデルに組み込む。
論文 参考訳（メタデータ） (2025-04-29T23:41:37Z) - Similarity of Neural Architectures using Adversarial Attack Transferability [47.66096554602005]
ニューラルネットワーク間の定量的かつスケーラブルな類似度尺度を設計する。
我々は69の最先端画像ネット分類器を大規模に解析する。
我々の結果は、異なるコンポーネントを持つ多様なニューラルアーキテクチャの開発がなぜ必要かについての洞察を提供する。
論文 参考訳（メタデータ） (2022-10-20T16:56:47Z) - Analyzing the Effects of Handling Data Imbalance on Learned Features
from Medical Images by Looking Into the Models [50.537859423741644]
不均衡なデータセットでモデルをトレーニングすることは、学習問題にユニークな課題をもたらす可能性がある。
ニューラルネットワークの内部ユニットを深く調べて、データの不均衡処理が学習した機能にどのように影響するかを観察します。
論文 参考訳（メタデータ） (2022-04-04T09:38:38Z) - Accuracy on the Line: On the Strong Correlation Between
Out-of-Distribution and In-Distribution Generalization [89.73665256847858]
分布外性能は,広範囲なモデルと分布シフトに対する分布内性能と強く相関していることを示す。
具体的には,CIFAR-10 と ImageNet の変種に対する分布内分布と分布外分布性能の強い相関関係を示す。
また,CIFAR-10-Cと組織分類データセットCamelyon17-WILDSの合成分布の変化など,相関が弱いケースについても検討した。
論文 参考訳（メタデータ） (2021-07-09T19:48:23Z) - Deep Co-Attention Network for Multi-View Subspace Learning [73.3450258002607]
マルチビューサブスペース学習のための深層コアテンションネットワークを提案する。
共通情報と相補情報の両方を敵意で抽出することを目的としている。
特に、新しいクロス再構成損失を使用し、ラベル情報を利用して潜在表現の構築を誘導する。
論文 参考訳（メタデータ） (2021-02-15T18:46:44Z) - Proactive Pseudo-Intervention: Causally Informed Contrastive Learning
For Interpretable Vision Models [103.64435911083432]
PPI(Proactive Pseudo-Intervention)と呼ばれる新しい対照的な学習戦略を提案する。
PPIは、因果関係のない画像の特徴を保護するために積極的に介入する。
また,重要な画像画素を識別するための,因果的に通知された新たなサリエンスマッピングモジュールを考案し,モデル解釈の容易性を示す。
論文 参考訳（メタデータ） (2020-12-06T20:30:26Z) - Hyperbolic Graph Embedding with Enhanced Semi-Implicit Variational
Inference [48.63194907060615]
半単純グラフ変分自動エンコーダを用いて,低次元グラフ潜在表現における高次統計量を取得する。
我々は、階層構造を示すグラフを効率的に表現するために、ポインケア埋め込みを通して潜在空間に双曲幾何学を組み込む。
論文 参考訳（メタデータ） (2020-10-31T05:48:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。