論文の概要: Explaining Human Comparisons using Alignment-Importance Heatmaps

• arxiv url: http://arxiv.org/abs/2409.16292v1
• Date: Sun, 8 Sep 2024 08:28:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 17:42:27.639979
• Title: Explaining Human Comparisons using Alignment-Importance Heatmaps
• Title（参考訳）: アライメント・インパタンス・ヒートマップを用いた人体比較の解説
• Authors: Nhut Truong, Dario Pesenti, Uri Hasson,
• Abstract要約: アライメント・コンパタンススコア(AIS)は、Deep Neural Network(DNN)の表現幾何学と人間の表現幾何学のアライメントに対する特徴マップのユニークな貢献を反映している。 AISスコアの高い特徴マップに対応する領域を視覚的に示す画像固有のヒートマップを計算します。 本研究では,これらの熱マップと,視線予測モデルにより生成された塩分濃度マップの対応関係を観察する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a computational explainability approach for human comparison tasks, using Alignment Importance Score (AIS) heatmaps derived from deep-vision models. The AIS reflects a feature-map's unique contribution to the alignment between Deep Neural Network's (DNN) representational geometry and that of humans. We first validate the AIS by showing that prediction of out-of-sample human similarity judgments is improved when constructing representations using only higher-scoring AIS feature maps identified from a training set. We then compute image-specific heatmaps that visually indicate the areas that correspond to feature-maps with higher AIS scores. These maps provide an intuitive explanation of which image areas are more important when it is compared to other images in a cohort. We observe a correspondence between these heatmaps and saliency maps produced by a gaze-prediction model. However, in some cases, meaningful differences emerge, as the dimensions relevant for comparison are not necessarily the most visually salient. To conclude, Alignment Importance improves prediction of human similarity judgments from DNN embeddings, and provides interpretable insights into the relevant information in image space.
• Abstract（参考訳）: 深層感モデルから得られたアライメント・コンパタンス・スコア(AIS)ヒートマップを用いて,人間の比較課題に対する計算的説明可能性のアプローチを提案する。 AISは、Deep Neural Network(DNN)の表現幾何学と人間の表現のアライメントに対する特徴マップのユニークな貢献を反映している。 まず、トレーニングセットから特定された高次のAIS特徴写像のみを用いて表現を構築する際に、サンプル外人間類似性判定の予測が改善されることを示し、AISを検証した。 次に、AISスコアの高い特徴マップに対応する領域を視覚的に示す画像固有のヒートマップを計算する。 これらの地図は、コホート内の他の画像と比較した場合、どの画像領域が重要かという直感的な説明を提供する。 本研究では,これらの熱マップと,視線予測モデルにより生成された塩分濃度マップの対応関係を観察する。 しかしながら、いくつかのケースでは、比較に関連する次元が必ずしも最も視覚的に有意義であるとは限らないため、有意義な違いが現れる。 結論として、アライメント・パタンスは、DNN埋め込みから人間の類似性判定の予測を改善し、画像空間における関連情報に対する解釈可能な洞察を提供する。

関連論文リスト

• TopoSD: Topology-Enhanced Lane Segment Perception with SDMap Prior [70.84644266024571]
  我々は、標準定義地図(SDMaps)を見るために知覚モデルを訓練することを提案する。 我々はSDMap要素をニューラル空間マップ表現やインスタンストークンにエンコードし、先行情報のような補完的な特徴を組み込む。 レーンセグメント表現フレームワークに基づいて、モデルはレーン、中心線、およびそれらのトポロジを同時に予測する。
  論文  参考訳（メタデータ） (2024-11-22T06:13:42Z)
• Neural Semantic Surface Maps [52.61017226479506]
  本稿では,2つの属とゼロの形状の地図を自動計算する手法を提案する。 提案手法は,手動のアノテーションや3Dトレーニングデータ要求を排除し,意味的表面-表面マップを生成する。
  論文  参考訳（メタデータ） (2023-09-09T16:21:56Z)
• TempSAL -- Uncovering Temporal Information for Deep Saliency Prediction [64.63645677568384]
  本稿では,逐次時間間隔でサリエンシマップを出力する新たなサリエンシ予測モデルを提案する。 提案手法は,学習した時間マップを組み合わせることで,サリエンシ予測を局所的に調整する。 私たちのコードはGitHubで公開されます。
  論文  参考訳（メタデータ） (2023-01-05T22:10:16Z)
• Rethinking gradient weights' influence over saliency map estimation [0.0]
  クラスアクティベーションマップ(CAM)は、ディープニューラルネットワークの予測を解釈するのに役立つサリエンシマップの定式化を支援する。 本稿では,サリエンシ推定時の重み付けアグリゲーション操作を補正するためのグローバルガイダンスマップを提案する。 提案手法は,ImageNet, MS-COCO 14, PASCAL VOC 2012データセットから得られたテスト画像よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2022-07-12T08:14:57Z)
• From Heatmaps to Structural Explanations of Image Classifiers [31.44267537307587]
  この論文は、Deep Networkからいくつかの高レベルな概念を純粋に抽出し視覚化しようとする、説明可能なニューラルネットワーク(XNN)を説明することから始まる。 重要な欠落点が信頼性の高いヒートマップ可視化ツールであることに気付き、I-GOSとiGOS++を開発した。 研究プロセスを通じて、我々はディープネットワークの説明を構築する上での洞察について多くを学びました。
  論文  参考訳（メタデータ） (2021-09-13T23:39:57Z)
• Understanding Character Recognition using Visual Explanations Derived from the Human Visual System and Deep Networks [6.734853055176694]
  深層ニューラルネットワークの情報収集戦略における合同性,あるいはその欠如について検討する。 深層学習モデルは、人間が正しく分類された文字に対して固定した文字の類似した領域を考慮に入れた。 本稿では、視線追跡実験から得られた視覚的固定マップを、モデルが関連する文字領域に焦点を合わせるための監督入力として用いることを提案する。
  論文  参考訳（メタデータ） (2021-08-10T10:09:37Z)
• CAMERAS: Enhanced Resolution And Sanity preserving Class Activation Mapping for image saliency [61.40511574314069]
  バックプロパゲーション画像のサリエンシは、入力中の個々のピクセルのモデル中心の重要性を推定することにより、モデル予測を説明することを目的としている。 CAMERASは、外部の事前処理を必要とせずに、高忠実度バックプロパゲーション・サリエンシ・マップを計算できる手法である。
  論文  参考訳（メタデータ） (2021-06-20T08:20:56Z)
• Gravitational Models Explain Shifts on Human Visual Attention [80.76475913429357]
  視覚的注意(英: visual attention)とは、人間の脳が優先的な処理のために関連する感覚情報を選択する能力を指す。 過去30年間に様々な評価方法が提案されてきた。 注意変動を記述するための重力モデル(GRAV)を提案する。
  論文  参考訳（メタデータ） (2020-09-15T10:12:41Z)
• Investigation of REFINED CNN ensemble learning for anti-cancer drug sensitivity prediction [0.0]
  個々の細胞株に対するディープラーニングモデルを用いた抗がん剤感受性予測は、パーソナライズされた医療において重要な課題である。 ReFINED CNN(Convolutional Neural Network)ベースのモデルでは、薬物感受性の予測に有望な結果が示されている。 我々は,このようなマッピングから構築されたアンサンブルに基づいて,最高の1つのREFINED CNNモデル予測を改善することができる予測について検討する。
  論文  参考訳（メタデータ） (2020-09-09T02:27:29Z)
• DRG: Dual Relation Graph for Human-Object Interaction Detection [65.50707710054141]
  人-物間相互作用(HOI)検出の課題に対処する。 既存の方法は、人間と物体の対の相互作用を独立に認識するか、複雑な外観に基づく共同推論を行う。 本稿では,抽象的空間意味表現を活用して,各対象対を記述し,二重関係グラフを用いてシーンの文脈情報を集約する。
  論文  参考訳（メタデータ） (2020-08-26T17:59:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。