論文の概要: Comparing object recognition in humans and deep convolutional neural
networks -- An eye tracking study
- arxiv url: http://arxiv.org/abs/2108.00107v1
- Date: Fri, 30 Jul 2021 23:32:05 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-03 15:23:23.806093
- Title: Comparing object recognition in humans and deep convolutional neural
networks -- An eye tracking study
- Title（参考訳）: 人間と深部畳み込みニューラルネットワークにおける物体認識の比較 - 視線追跡による研究
- Authors: Leonard E. van Dyck, Roland Kwitt, Sebastian J. Denzler, Walter R.
Gruber
- Abstract要約: 深部畳み込みニューラルネットワーク(DCNN)と腹側視覚経路は、大きなアーキテクチャと機能的な類似点を共有している。
人間の観察者(N = 45)と3人のフィードフォワードDCNNの比較を,視線追跡とサリエンシマップを用いて示す。
vNetと呼ばれる生物学的に妥当な受容野サイズを持つDCNNは、標準的なResNetアーキテクチャと対照的な人間の視聴行動と高い一致を示している。
- 参考スコア（独自算出の注目度）: 7.222232547612573
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep convolutional neural networks (DCNNs) and the ventral visual pathway
share vast architectural and functional similarities in visual challenges such
as object recognition. Recent insights have demonstrated that both hierarchical
cascades can be compared in terms of both exerted behavior and underlying
activation. However, these approaches ignore key differences in spatial
priorities of information processing. In this proof-of-concept study, we
demonstrate a comparison of human observers (N = 45) and three feedforward
DCNNs through eye tracking and saliency maps. The results reveal fundamentally
different resolutions in both visualization methods that need to be considered
for an insightful comparison. Moreover, we provide evidence that a DCNN with
biologically plausible receptive field sizes called vNet reveals higher
agreement with human viewing behavior as contrasted with a standard ResNet
architecture. We find that image-specific factors such as category, animacy,
arousal, and valence have a direct link to the agreement of spatial object
recognition priorities in humans and DCNNs, while other measures such as
difficulty and general image properties do not. With this approach, we try to
open up new perspectives at the intersection of biological and computer vision
research.
- Abstract（参考訳）: deep convolutional neural networks (dcnns) とventral visual pathwayは、オブジェクト認識などの視覚課題において、アーキテクチャ的および機能的な類似性を持つ。
最近の知見は、階層的なカスケードは、作用行動と基盤となる活性化の両方の観点から比較できることを示している。
しかし,これらの手法は情報処理の空間的優先性において重要な違いを無視する。
概念実証実験では、視線追跡と塩分濃度マップを用いて、人間の観察者(N = 45)と3つのフィードフォワードDCNNを比較した。
この結果から,両可視化法において,洞察に富む比較のために考慮すべき解像度が根本的に異なることが明らかとなった。
さらに,生物学的に妥当な受容野サイズを持つvNetを用いたDCNNは,標準的なResNetアーキテクチャと対比して,人間の視聴行動との一致度が高いことを示す。
本研究では,人間およびdnnにおける空間的物体認識優先度の合意と,カテゴリ,異性,覚醒,ヴァレンスなどの画像固有の要因が直接関連していること,難易度や一般画像特性などの他の指標が関与しないことを見いだした。
このアプローチにより,生物学とコンピュータビジョン研究の交わりに新たな視点を開こうとする。
関連論文リスト
- Dimensions underlying the representational alignment of deep neural networks with humans [3.1668470116181817]
我々は、人間とディープニューラルネットワーク(DNN)において、同等の表現を得るための一般的なフレームワークを提案する。
この枠組みを人間に適用し、自然画像のDNNモデルを用いて、視覚次元と意味次元の両方の低次元DNN埋め込みを明らかにした。
人間とは対照的に、DNNは視覚的オーバーセマンティックな特徴の明確な優位性を示し、画像を表現するための異なる戦略を示した。
論文 参考訳（メタデータ） (2024-06-27T11:14:14Z) - A Survey on Transferability of Adversarial Examples across Deep Neural Networks [53.04734042366312]
逆の例では、機械学習モデルを操作して誤った予測を行うことができます。
敵の例の転送可能性により、ターゲットモデルの詳細な知識を回避できるブラックボックス攻撃が可能となる。
本研究は, 対角移動可能性の展望を考察した。
論文 参考訳（メタデータ） (2023-10-26T17:45:26Z) - Hierarchical Contrastive Learning Enhanced Heterogeneous Graph Neural
Network [59.860534520941485]
ヘテロジニアスグラフニューラルネットワーク(HGNN)は、異種情報ネットワーク(HIN)を扱う能力に優れていた。
近年,自己指導型学習は最もエキサイティングな学習パラダイムの1つとなり,ラベルがない場合に大きな可能性を示す。
本稿では,自己教師型HGNNの問題点を考察し,HGNNのための新しいコントラスト学習機構であるHeCoを提案する。
論文 参考訳（メタデータ） (2023-04-24T16:17:21Z) - Connecting metrics for shape-texture knowledge in computer vision [1.7785095623975342]
深層ニューラルネットワークは、人間が画像の分類ミスを起こさないような、画像の多くの変化の影響を受けやすいままである。
この異なる振る舞いの一部は、視覚タスクで人間とディープニューラルネットワークが使用する機能の種類によって説明できるかもしれない。
論文 参考訳（メタデータ） (2023-01-25T14:37:42Z) - An Inter-observer consistent deep adversarial training for visual
scanpath prediction [66.46953851227454]
本稿では,軽量なディープニューラルネットワークによるスキャンパス予測のための,サーバ間一貫した対向トレーニング手法を提案する。
我々は、最先端の手法に関して、我々のアプローチの競争力を示す。
論文 参考訳（メタデータ） (2022-11-14T13:22:29Z) - BI AVAN: Brain inspired Adversarial Visual Attention Network [67.05560966998559]
機能的脳活動から直接人間の視覚的注意を特徴付ける脳誘発対人視覚注意ネットワーク(BI-AVAN)を提案する。
本モデルは,人間の脳が監督されていない方法で焦点を絞った映画フレーム内の視覚的物体を識別・発見するために,注意関連・無視対象間の偏りのある競合過程を模倣する。
論文 参考訳（メタデータ） (2022-10-27T22:20:36Z) - Guiding Visual Attention in Deep Convolutional Neural Networks Based on
Human Eye Movements [0.0]
ディープ畳み込みニューラルネットワーク(DCNN)は、当初は生物学的ビジョンの原理にインスパイアされていた。
近年のディープラーニングの進歩は、この類似性を減らしているようだ。
有用なモデルを得るための純粋にデータ駆動型アプローチについて検討する。
論文 参考訳（メタデータ） (2022-06-21T17:59:23Z) - Prune and distill: similar reformatting of image information along rat
visual cortex and deep neural networks [61.60177890353585]
深部畳み込み神経ネットワーク(CNN)は、脳の機能的類似、視覚野の腹側流の優れたモデルを提供することが示されている。
ここでは、CNNまたは視覚野の内部表現で知られているいくつかの顕著な統計的パターンについて考察する。
我々は、CNNと視覚野が、オブジェクト表現の次元展開/縮小と画像情報の再構成と、同様の密接な関係を持っていることを示す。
論文 参考訳（メタデータ） (2022-05-27T08:06:40Z) - Understanding Character Recognition using Visual Explanations Derived
from the Human Visual System and Deep Networks [6.734853055176694]
深層ニューラルネットワークの情報収集戦略における合同性,あるいはその欠如について検討する。
深層学習モデルは、人間が正しく分類された文字に対して固定した文字の類似した領域を考慮に入れた。
本稿では、視線追跡実験から得られた視覚的固定マップを、モデルが関連する文字領域に焦点を合わせるための監督入力として用いることを提案する。
論文 参考訳（メタデータ） (2021-08-10T10:09:37Z) - Seeing eye-to-eye? A comparison of object recognition performance in
humans and deep convolutional neural networks under image manipulation [0.0]
本研究では,ヒトとフィードフォワードニューラルネットワークの視覚コア物体認識性能の行動比較を目的とした。
精度分析の結果、人間はDCNNを全ての条件で上回るだけでなく、形状や色の変化に対する強い堅牢性も示している。
論文 参考訳（メタデータ） (2020-07-13T10:26:30Z) - Ventral-Dorsal Neural Networks: Object Detection via Selective Attention [51.79577908317031]
我々はVDNet(Ventral-Dorsal Networks)と呼ばれる新しいフレームワークを提案する。
人間の視覚システムの構造にインスパイアされた我々は「Ventral Network」と「Dorsal Network」の統合を提案する。
実験の結果,提案手法は最先端の物体検出手法よりも優れていることがわかった。
論文 参考訳（メタデータ） (2020-05-15T23:57:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。