論文の概要: What Do Deep Saliency Models Learn about Visual Attention?

• arxiv url: http://arxiv.org/abs/2310.09679v1
• Date: Sat, 14 Oct 2023 23:15:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-17 18:49:07.504551
• Title: What Do Deep Saliency Models Learn about Visual Attention?
• Title（参考訳）: ディープラーニングモデルは視覚的注意について何を学ぶか?
• Authors: Shi Chen, Ming Jiang, Qi Zhao
• Abstract要約: 本稿では,サリエンシモデルによって学習された暗黙的特徴に光を当てる新しい分析フレームワークを提案する。 提案手法では,これらの暗黙的特徴を意味的属性に明示的に一致した解釈可能なベースに分解する。
• 参考スコア（独自算出の注目度）: 28.023464783469738
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, deep saliency models have made significant progress in predicting human visual attention. However, the mechanisms behind their success remain largely unexplained due to the opaque nature of deep neural networks. In this paper, we present a novel analytic framework that sheds light on the implicit features learned by saliency models and provides principled interpretation and quantification of their contributions to saliency prediction. Our approach decomposes these implicit features into interpretable bases that are explicitly aligned with semantic attributes and reformulates saliency prediction as a weighted combination of probability maps connecting the bases and saliency. By applying our framework, we conduct extensive analyses from various perspectives, including the positive and negative weights of semantics, the impact of training data and architectural designs, the progressive influences of fine-tuning, and common failure patterns of state-of-the-art deep saliency models. Additionally, we demonstrate the effectiveness of our framework by exploring visual attention characteristics in various application scenarios, such as the atypical attention of people with autism spectrum disorder, attention to emotion-eliciting stimuli, and attention evolution over time. Our code is publicly available at \url{https://github.com/szzexpoi/saliency_analysis}.
• Abstract（参考訳）: 近年,人間の視覚注意の予測において,深いサリエンシーモデルが大きな進歩を遂げている。 しかし、その成功の裏にあるメカニズムは、ディープニューラルネットワークの不透明な性質のため、ほとんど説明されていない。 本稿では,サリエンシーモデルによって学習された暗黙的特徴に光を当て,サリエンシー予測への貢献の原理的解釈と定量化を提供する,新たな分析フレームワークを提案する。 提案手法は,これらの暗黙的特徴を意味的属性に明示的に整合した解釈可能なベースに分解し,サリエンシ予測をベースとサリエンシを接続する確率マップの重み付け結合として再構成する。 本フレームワークの適用により、セマンティクスの肯定的および否定的な重み付け、トレーニングデータとアーキテクチャ設計の影響、微調整の進歩的影響、最先端の深層顧客モデルの一般的な失敗パターンなど、さまざまな観点から分析を行う。 さらに,自閉症スペクトラム障害者の非定型的注意,感情刺激への注意,時間経過に伴う注意進化など,様々な応用シナリオにおいて視覚的注意の特徴を探求することにより,フレームワークの有効性を実証する。 私たちのコードは、 \url{https://github.com/szzexpoi/saliency_analysis}で公開されています。

関連論文リスト

• Explaining Deep Neural Networks by Leveraging Intrinsic Methods [0.9790236766474201]
  この論文はeXplainable AIの分野に貢献し、ディープニューラルネットワークの解釈可能性の向上に重点を置いている。 中心となる貢献は、これらのネットワークをより解釈しやすくすることを目的とした新しい技術の導入である。 第2に、この研究は、訓練された深層ニューラルネットワーク内のニューロンに関する新しい研究を掘り下げ、その活性化値に関連する見過ごされた現象に光を当てた。
  論文  参考訳（メタデータ） (2024-07-17T01:20:17Z)
• A Survey on Transferability of Adversarial Examples across Deep Neural Networks [53.04734042366312]
  逆の例では、機械学習モデルを操作して誤った予測を行うことができます。 敵の例の転送可能性により、ターゲットモデルの詳細な知識を回避できるブラックボックス攻撃が可能となる。 本研究は, 対角移動可能性の展望を考察した。
  論文  参考訳（メタデータ） (2023-10-26T17:45:26Z)
• Causal Analysis for Robust Interpretability of Neural Networks [0.2519906683279152]
  我々は、事前学習されたニューラルネットワークの因果効果を捉えるための頑健な介入に基づく手法を開発した。 分類タスクで訓練された視覚モデルに本手法を適用した。
  論文  参考訳（メタデータ） (2023-05-15T18:37:24Z)
• Study of Distractors in Neural Models of Code [4.043200001974071]
  ニューラルネットワークの予測に寄与する重要な特徴を見つけることは、説明可能なAIの研究の活発な領域である。 本研究では,その予測に対するモデルの信頼度に影響を与えることによって,予測に疑問を呈する特徴について考察する。 さまざまなタスク、モデル、コードのデータセットにわたる実験により、トークンの削除が予測におけるモデルの信頼性に大きな影響を与えることが判明した。
  論文  参考訳（メタデータ） (2023-03-03T06:54:01Z)
• Learnable Visual Words for Interpretable Image Recognition [70.85686267987744]
  モデル予測動作を2つの新しいモジュールで解釈するLearable Visual Words (LVW)を提案する。 意味的な視覚的単語学習は、カテゴリ固有の制約を緩和し、異なるカテゴリ間で共有される一般的な視覚的単語を可能にする。 6つの視覚的ベンチマーク実験により,提案したLVWの精度とモデル解釈における優れた効果が示された。
  論文  参考訳（メタデータ） (2022-05-22T03:24:45Z)
• Explainable Adversarial Attacks in Deep Neural Networks Using Activation Profiles [69.9674326582747]
  本稿では,敵対的事例に基づくニューラルネットワークモデルを検討するためのビジュアルフレームワークを提案する。 これらの要素を観察することで、モデル内の悪用領域を素早く特定できることを示す。
  論文  参考訳（メタデータ） (2021-03-18T13:04:21Z)
• Variational Structured Attention Networks for Deep Visual Representation Learning [49.80498066480928]
  空間的注意マップとチャネル的注意の両方を原則的に共同学習するための統合的深層フレームワークを提案する。 具体的には,確率的表現学習フレームワークに注目度の推定と相互作用を統合する。 ニューラルネットワーク内で推論ルールを実装し,確率パラメータとcnnフロントエンドパラメータのエンドツーエンド学習を可能にする。
  論文  参考訳（メタデータ） (2021-03-05T07:37:24Z)
• Deep Co-Attention Network for Multi-View Subspace Learning [73.3450258002607]
  マルチビューサブスペース学習のための深層コアテンションネットワークを提案する。 共通情報と相補情報の両方を敵意で抽出することを目的としている。 特に、新しいクロス再構成損失を使用し、ラベル情報を利用して潜在表現の構築を誘導する。
  論文  参考訳（メタデータ） (2021-02-15T18:46:44Z)
• Proactive Pseudo-Intervention: Causally Informed Contrastive Learning For Interpretable Vision Models [103.64435911083432]
  PPI(Proactive Pseudo-Intervention)と呼ばれる新しい対照的な学習戦略を提案する。 PPIは、因果関係のない画像の特徴を保護するために積極的に介入する。 また,重要な画像画素を識別するための,因果的に通知された新たなサリエンスマッピングモジュールを考案し,モデル解釈の容易性を示す。
  論文  参考訳（メタデータ） (2020-12-06T20:30:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。