論文の概要: Passive attention in artificial neural networks predicts human visual
selectivity
- arxiv url: http://arxiv.org/abs/2107.07013v1
- Date: Wed, 14 Jul 2021 21:21:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-16 14:02:26.733832
- Title: Passive attention in artificial neural networks predicts human visual
selectivity
- Title（参考訳）: ニューラルネットワークにおける受動的注意は人間の視覚選択性を予測する
- Authors: Thomas A. Langlois, H. Charles Zhao, Erin Grant, Ishita Dasgupta,
Thomas L. Griffiths, Nori Jacoby
- Abstract要約: 受動的注意法は人間の視覚的選択性の推定と大きく重なることを示す。
認識実験を用いて,これらの相関関係を因果操作で検証した。
この研究は、人間の視覚のモデルとして、主要なANNの生物学的および心理的妥当性を評価するための新しいアプローチに寄与する。
- 参考スコア（独自算出の注目度）: 8.50463394182796
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Developments in machine learning interpretability techniques over the past
decade have provided new tools to observe the image regions that are most
informative for classification and localization in artificial neural networks
(ANNs). Are the same regions similarly informative to human observers? Using
data from 78 new experiments and 6,610 participants, we show that passive
attention techniques reveal a significant overlap with human visual selectivity
estimates derived from 6 distinct behavioral tasks including visual
discrimination, spatial localization, recognizability, free-viewing,
cued-object search, and saliency search fixations. We find that input
visualizations derived from relatively simple ANN architectures probed using
guided backpropagation methods are the best predictors of a shared component in
the joint variability of the human measures. We validate these correlational
results with causal manipulations using recognition experiments. We show that
images masked with ANN attention maps were easier for humans to classify than
control masks in a speeded recognition experiment. Similarly, we find that
recognition performance in the same ANN models was likewise influenced by
masking input images using human visual selectivity maps. This work contributes
a new approach to evaluating the biological and psychological validity of
leading ANNs as models of human vision: by examining their similarities and
differences in terms of their visual selectivity to the information contained
in images.
- Abstract（参考訳）: 過去10年間の機械学習の解釈技術の発展は、ニューラルネットワーク(anns)の分類と局在化に最も有用な画像領域を観察するための新しいツールを提供してきた。
同じ領域が人間の観察者にも同様に有益か?
78の新たな実験と6,610人の参加者から得られたデータから,視覚的識別,空間的局所化,認識性,自由視認性,クエッドオブジェクト探索,サリエンシ探索などの6つの異なる行動課題から導かれる人間の視覚選択性推定値と有意な重なりを示した。
提案手法を応用した比較的単純なannアーキテクチャから得られた入力の可視化が,人間の尺度のジョイント変動における共有成分の最適予測因子であることを見出した。
認識実験を用いて,これらの相関結果を因果操作と検証する。
ANNアテンションマップでマスクした画像は、高速認識実験において、制御マスクよりも人間が分類しやすいことを示す。
同様に、同一のANNモデルにおける認識性能も、人間の視覚的選択性マップを用いた入力画像のマスキングの影響を受けていることがわかった。
本研究は、画像に含まれる情報に対する視覚選択性の観点からの類似性と差異を調べることにより、先行するアンの生物学的・心理的妥当性を人間の視覚モデルとして評価する新しいアプローチに寄与する。
関連論文リスト
- Generating Human-Centric Visual Cues for Human-Object Interaction
Detection via Large Vision-Language Models [59.611697856666304]
人-物対検出(Human-object Interaction:HOI)は、人-物対を検出し、その相互作用を予測することを目的とする。
我々はVLMを用いた3つのプロンプトを提案し、人間の複数の視点から画像内で人間中心の視覚的手がかりを生成する。
我々は,マルチトワーアーキテクチャを用いたトランスフォーマーベースのマルチモーダル融合モジュールを開発し,視覚的キュー機能をインスタンスと対話デコーダに統合する。
論文 参考訳（メタデータ） (2023-11-26T09:11:32Z) - BI AVAN: Brain inspired Adversarial Visual Attention Network [67.05560966998559]
機能的脳活動から直接人間の視覚的注意を特徴付ける脳誘発対人視覚注意ネットワーク(BI-AVAN)を提案する。
本モデルは,人間の脳が監督されていない方法で焦点を絞った映画フレーム内の視覚的物体を識別・発見するために,注意関連・無視対象間の偏りのある競合過程を模倣する。
論文 参考訳（メタデータ） (2022-10-27T22:20:36Z) - A domain adaptive deep learning solution for scanpath prediction of
paintings [66.46953851227454]
本稿では,ある絵画の視覚的体験における視聴者の眼球運動分析に焦点を当てた。
我々は、人間の視覚的注意を予測するための新しいアプローチを導入し、人間の認知機能に影響を及ぼす。
提案した新しいアーキテクチャは、画像を取り込んでスキャンパスを返す。
論文 参考訳（メタデータ） (2022-09-22T22:27:08Z) - CIAO! A Contrastive Adaptation Mechanism for Non-Universal Facial
Expression Recognition [80.07590100872548]
本稿では、顔エンコーダの最後の層に異なるデータセットの特定の感情特性を適応させるメカニズムであるContrastive Inhibitory Adaptati On(CIAO)を提案する。
CIAOは、非常にユニークな感情表現を持つ6つの異なるデータセットに対して、表情認識性能が改善されている。
論文 参考訳（メタデータ） (2022-08-10T15:46:05Z) - Visual Knowledge Tracing [26.446317829793454]
本稿では,人間の学習者の進化的分類行動を追跡する新しい課題を提案する。
本研究では,学習者が使用する視覚的特徴を協調的に抽出し,活用する分類機能を予測するモデルを提案する。
以上の結果から,我々の反復モデルでは,3つの課題のある医療画像と種識別タスクに基づいて,人間の学習者の分類行動を予測することが可能であることが示唆された。
論文 参考訳（メタデータ） (2022-07-20T19:24:57Z) - Guiding Visual Attention in Deep Convolutional Neural Networks Based on
Human Eye Movements [0.0]
ディープ畳み込みニューラルネットワーク(DCNN)は、当初は生物学的ビジョンの原理にインスパイアされていた。
近年のディープラーニングの進歩は、この類似性を減らしているようだ。
有用なモデルを得るための純粋にデータ駆動型アプローチについて検討する。
論文 参考訳（メタデータ） (2022-06-21T17:59:23Z) - Understanding Character Recognition using Visual Explanations Derived
from the Human Visual System and Deep Networks [6.734853055176694]
深層ニューラルネットワークの情報収集戦略における合同性,あるいはその欠如について検討する。
深層学習モデルは、人間が正しく分類された文字に対して固定した文字の類似した領域を考慮に入れた。
本稿では、視線追跡実験から得られた視覚的固定マップを、モデルが関連する文字領域に焦点を合わせるための監督入力として用いることを提案する。
論文 参考訳（メタデータ） (2021-08-10T10:09:37Z) - Comparing object recognition in humans and deep convolutional neural
networks -- An eye tracking study [7.222232547612573]
深部畳み込みニューラルネットワーク(DCNN)と腹側視覚経路は、大きなアーキテクチャと機能的な類似点を共有している。
人間の観察者(N = 45)と3人のフィードフォワードDCNNの比較を,視線追跡とサリエンシマップを用いて示す。
vNetと呼ばれる生物学的に妥当な受容野サイズを持つDCNNは、標準的なResNetアーキテクチャと対照的な人間の視聴行動と高い一致を示している。
論文 参考訳（メタデータ） (2021-07-30T23:32:05Z) - Fooling the primate brain with minimal, targeted image manipulation [67.78919304747498]
本稿では、行動に反映される神経活動と知覚の両方の変化をもたらす、最小限の標的画像摂動を生成するための一連の手法を提案する。
我々の研究は、敵対的攻撃、すなわち最小限のターゲットノイズによる画像の操作で同じ目標を共有し、ANNモデルに画像の誤分類を誘導する。
論文 参考訳（メタデータ） (2020-11-11T08:30:54Z) - What Can You Learn from Your Muscles? Learning Visual Representation
from Human Interactions [50.435861435121915]
視覚のみの表現よりも優れた表現を学べるかどうかを調べるために,人間のインタラクションとアテンション・キューを用いている。
実験の結果,我々の「音楽監督型」表現は,視覚のみの最先端手法であるMoCoよりも優れていた。
論文 参考訳（メタデータ） (2020-10-16T17:46:53Z) - Seeing eye-to-eye? A comparison of object recognition performance in
humans and deep convolutional neural networks under image manipulation [0.0]
本研究では,ヒトとフィードフォワードニューラルネットワークの視覚コア物体認識性能の行動比較を目的とした。
精度分析の結果、人間はDCNNを全ての条件で上回るだけでなく、形状や色の変化に対する強い堅牢性も示している。
論文 参考訳（メタデータ） (2020-07-13T10:26:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。