論文の概要: Exemplary Natural Images Explain CNN Activations Better than State-of-the-Art Feature Visualization

• arxiv url: http://arxiv.org/abs/2010.12606v3
• Date: Sun, 2 May 2021 19:27:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-03 21:34:48.423245
• Title: Exemplary Natural Images Explain CNN Activations Better than State-of-the-Art Feature Visualization
• Title（参考訳）: 実例的自然画像によるCNN活動の可視化
• Authors: Judy Borowski, Roland S. Zimmermann, Judith Schepers, Robert Geirhos, Thomas S. A. Wallis, Matthias Bethge, Wieland Brendel
• Abstract要約: CNNのアクティベーションを予測するのに、非常に活発な画像がどれほど役立つかを計測する。 合成画像は特徴写像の活性化に関する有用な情報を提供する。 しかし、元々はベースラインとして意図されていた自然画像は、広いマージンで合成画像を上回った。
• 参考スコア（独自算出の注目度）: 28.111643540535443
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Feature visualizations such as synthetic maximally activating images are a widely used explanation method to better understand the information processing of convolutional neural networks (CNNs). At the same time, there are concerns that these visualizations might not accurately represent CNNs' inner workings. Here, we measure how much extremely activating images help humans to predict CNN activations. Using a well-controlled psychophysical paradigm, we compare the informativeness of synthetic images by Olah et al. (2017) with a simple baseline visualization, namely exemplary natural images that also strongly activate a specific feature map. Given either synthetic or natural reference images, human participants choose which of two query images leads to strong positive activation. The experiments are designed to maximize participants' performance, and are the first to probe intermediate instead of final layer representations. We find that synthetic images indeed provide helpful information about feature map activations ($82\pm4\%$ accuracy; chance would be $50\%$). However, natural images - originally intended as a baseline - outperform synthetic images by a wide margin ($92\pm2\%$). Additionally, participants are faster and more confident for natural images, whereas subjective impressions about the interpretability of the feature visualizations are mixed. The higher informativeness of natural images holds across most layers, for both expert and lay participants as well as for hand- and randomly-picked feature visualizations. Even if only a single reference image is given, synthetic images provide less information than natural images ($65\pm5\%$ vs. $73\pm4\%$). In summary, synthetic images from a popular feature visualization method are significantly less informative for assessing CNN activations than natural images. We argue that visualization methods should improve over this baseline.
• Abstract（参考訳）: 合成最大活性化画像のような特徴可視化は、畳み込みニューラルネットワーク(CNN)の情報処理をよりよく理解するために広く使われている説明法である。 同時に、これらの視覚化がCNNの内部動作を正確に表現していないのではないかという懸念もある。 ここでは,ヒトがCNNの活性化を予測するのに,非常に活発な画像がどれほど役立つかを計測する。 良く制御された心理物理パラダイムを用いて、Olah et al. (2017) による合成画像の情報性と単純なベースラインの可視化、すなわち、特定の特徴写像を強く活性化する模範的な自然画像を比較した。 合成または自然な参照画像が与えられた場合、人間の参加者は2つのクエリ画像のうちどれが強い正の活性化をもたらすかを選択する。 実験は参加者のパフォーマンスを最大化するために設計され、最終層表現の代わりに中間層を探索する最初のものである。 合成画像は、機能マップのアクティベーションに関する有益な情報を提供している(82\pm4\%$精度、チャンスは50\%$)。 しかし、元々はベースラインアウトパーフォーミング合成画像として、広いマージン(92\pm2\%$)で意図されていた。 さらに、参加者は自然画像に対してより速く、より自信を持ち、一方、特徴視覚化の解釈可能性に関する主観的な印象は混在している。 自然画像のより高い情報性は、専門家と一般の参加者、そして手動とランダムに選択された特徴視覚化の双方にとって、ほとんどの層にわたって保持される。 単一の参照画像が与えられたとしても、合成画像は自然画像よりも少ない情報を提供する($65\pm5\%、$73\pm4\%)。 要約すると、人気のある特徴可視化手法による合成画像は、自然画像よりもcnnの活性化を評価するための情報量が少ない。 可視化手法はこの基準よりも改善されるべきである。

関連論文リスト

• Exploring the Naturalness of AI-Generated Images [59.04528584651131]
  我々は、AI生成画像の視覚的自然性をベンチマークし、評価する第一歩を踏み出した。 本研究では,人間の評価を整列するAGIの自然性を自動予測するジョイント・オブジェクト・イメージ・ナチュラルネス評価器(JOINT)を提案する。 その結果,JOINTは自然性評価において,より主観的に一貫した結果を提供するために,ベースラインを著しく上回ることを示した。
  論文  参考訳（メタデータ） (2023-12-09T06:08:09Z)
• Impressions: Understanding Visual Semiotics and Aesthetic Impact [66.40617566253404]
  画像のセミオティックスを調べるための新しいデータセットであるImpressionsを提示する。 既存のマルチモーダル画像キャプションと条件付き生成モデルは、画像に対する可視的応答をシミュレートするのに苦労していることを示す。 このデータセットは、微調整と少数ショット適応により、画像の印象や美的評価をモデル化する能力を大幅に改善する。
  論文  参考訳（メタデータ） (2023-10-27T04:30:18Z)
• Multi-task convolutional neural network for image aesthetic assessment [0.0]
  美的属性を考慮したマルチタスク畳み込みニューラルネットワークを提案する。 提案したニューラルネットワークは、画像の全体的な美的スコアとともに属性を共同で学習する。 我々は,スピアマンのランク相関を考慮に入れた場合,全身の美的スコアからほぼ人間に近いパフォーマンスを得る。
  論文  参考訳（メタデータ） (2023-05-16T11:56:02Z)
• CIFAKE: Image Classification and Explainable Identification of AI-Generated Synthetic Images [7.868449549351487]
  本稿では,コンピュータビジョンによるAI生成画像の認識能力を高めることを提案する。 写真が本物かAIによって生成されるかに関して、バイナリ分類問題として存在する2つのデータセット。 本研究では,畳み込みニューラルネットワーク(CNN)を用いて画像をリアルとフェイクの2つのカテゴリに分類する。
  論文  参考訳（メタデータ） (2023-03-24T16:33:06Z)
• A domain adaptive deep learning solution for scanpath prediction of paintings [66.46953851227454]
  本稿では,ある絵画の視覚的体験における視聴者の眼球運動分析に焦点を当てた。 我々は、人間の視覚的注意を予測するための新しいアプローチを導入し、人間の認知機能に影響を及ぼす。 提案した新しいアーキテクチャは、画像を取り込んでスキャンパスを返す。
  論文  参考訳（メタデータ） (2022-09-22T22:27:08Z)
• Reducing Annotating Load: Active Learning with Synthetic Images in Surgical Instrument Segmentation [11.705954708866079]
  ロボット支援手術の内視鏡視における計測器のセグメンテーションは,装置の反射や組織との頻繁な接触により困難である。 ディープニューラルネットワーク(DNN)は競争力があり、近年は好まれている。 この作業量を緩和することで、ラベル付き実画像の使用を減らし、汎用的な埋め込み可能な手法を提案する。
  論文  参考訳（メタデータ） (2021-08-07T22:30:53Z)
• How Well do Feature Visualizations Support Causal Understanding of CNN Activations? [30.406219378948606]
  本研究では,人間に対する単位レベルの解釈可能性手法の利点を定量化するための客観的心理学的課題を提案する。 特徴視覚化が人間に、単純な代替視覚化よりも「因果的理解」を提供するという証拠は見つからない。
  論文  参考訳（メタデータ） (2021-06-23T14:52:23Z)
• The Mind's Eye: Visualizing Class-Agnostic Features of CNNs [92.39082696657874]
  本稿では,特定のレイヤの最も情報性の高い特徴を表現した対応する画像を作成することにより,画像の集合を視覚的に解釈する手法を提案する。 本手法では, 生成ネットワークを必要とせず, 元のモデルに変更を加えることなく, デュアルオブジェクトのアクティベーションと距離損失を利用する。
  論文  参考訳（メタデータ） (2021-01-29T07:46:39Z)
• Intrinsic Autoencoders for Joint Neural Rendering and Intrinsic Image Decomposition [67.9464567157846]
  合成3Dモデルからリアルな画像を生成するためのオートエンコーダを提案し,同時に実像を本質的な形状と外観特性に分解する。 実験により, レンダリングと分解の併用処理が有益であることが確認され, 画像から画像への翻訳の質的, 定量的なベースラインよりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2020-06-29T12:53:58Z)
• Self-Supervised Linear Motion Deblurring [112.75317069916579]
  深層畳み込みニューラルネットワークは、画像の劣化の最先端技術である。 本稿では,自己監督型動作遅延に対する識別可能なreblurモデルを提案する。 我々の実験は、自己監督された単一画像の劣化が本当に実現可能であることを実証した。
  論文  参考訳（メタデータ） (2020-02-10T20:15:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。