論文の概要: Guiding Visual Attention in Deep Convolutional Neural Networks Based on
Human Eye Movements
- arxiv url: http://arxiv.org/abs/2206.10587v1
- Date: Tue, 21 Jun 2022 17:59:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-22 17:39:23.204085
- Title: Guiding Visual Attention in Deep Convolutional Neural Networks Based on
Human Eye Movements
- Title（参考訳）: ヒト眼球運動に基づく深部畳み込みニューラルネットワークにおける視覚注意の誘導
- Authors: Leonard E. van Dyck, Sebastian J. Denzler, Walter R. Gruber
- Abstract要約: ディープ畳み込みニューラルネットワーク(DCNN)は、当初は生物学的ビジョンの原理にインスパイアされていた。
近年のディープラーニングの進歩は、この類似性を減らしているようだ。
有用なモデルを得るための純粋にデータ駆動型アプローチについて検討する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep Convolutional Neural Networks (DCNNs) were originally inspired by
principles of biological vision, have evolved into best current computational
models of object recognition, and consequently indicate strong architectural
and functional parallelism with the ventral visual pathway throughout
comparisons with neuroimaging and neural time series data. As recent advances
in deep learning seem to decrease this similarity, computational neuroscience
is challenged to reverse-engineer the biological plausibility to obtain useful
models. While previous studies have shown that biologically inspired
architectures are able to amplify the human-likeness of the models, in this
study, we investigate a purely data-driven approach. We use human eye tracking
data to directly modify training examples and thereby guide the models' visual
attention during object recognition in natural images either towards or away
from the focus of human fixations. We compare and validate different
manipulation types (i.e., standard, human-like, and non-human-like attention)
through GradCAM saliency maps against human participant eye tracking data. Our
results demonstrate that the proposed guided focus manipulation works as
intended in the negative direction and non-human-like models focus on
significantly dissimilar image parts compared to humans. The observed effects
were highly category-specific, enhanced by animacy and face presence, developed
only after feedforward processing was completed, and indicated a strong
influence on face detection. With this approach, however, no significantly
increased human-likeness was found. Possible applications of overt visual
attention in DCNNs and further implications for theories of face detection are
discussed.
- Abstract（参考訳）: ディープ・コンボリューショナル・ニューラル・ニューラルネットワーク(DCNN)は、もともと生物学的ビジョンの原理にインスパイアされ、オブジェクト認識の最良の計算モデルへと進化し、その結果、ニューロイメージングやニューラル時系列データとの比較を通して、腹側視覚経路による強いアーキテクチャ的および機能的並列性を示している。
近年のディープラーニングの進歩により、この類似性が低下しているように見えるため、計算神経科学は生物学的妥当性を逆エンジニアリングして有用なモデルを得る。
これまでの研究では、生物学的にインスパイアされたアーキテクチャがモデルの人間的類似性を増幅できることが示されているが、本研究では純粋にデータ駆動のアプローチを検討する。
人間の視線追跡データを用いて、トレーニング例を直接修正し、自然画像における物体認識中のモデルの視覚的注意を人間の固定の焦点から遠ざけるように誘導する。
我々は,人間の眼球追跡データに対するgradcam saliency mapを用いて,様々な操作型(標準的,人間的,非人間的注意)を比較し,検証する。
その結果,提案手法は負方向を意図して動作し,非人間的モデルでは人間とは大きく異なる画像部分に焦点を当てていることがわかった。
観察された効果は, カテゴリー特異的で, アニマシーと顔存在により増強され, フィードフォワード処理が完了した後のみ発達し, 顔検出に強い影響を及ぼした。
しかし、このアプローチでは、人間の類似性は顕著に増加しなかった。
DCNNにおける過度な視覚的注意の応用と、顔検出理論へのさらなる影響について論じる。
関連論文リスト
- Neural Dynamics Model of Visual Decision-Making: Learning from Human Experts [28.340344705437758]
視覚入力から行動出力まで,包括的な視覚的意思決定モデルを実装した。
我々のモデルは人間の行動と密接に一致し、霊長類の神経活動を反映する。
ニューロイメージング・インフォームド・ファインチューニング手法を導入し、モデルに適用し、性能改善を実現した。
論文 参考訳（メタデータ） (2024-09-04T02:38:52Z) - BI AVAN: Brain inspired Adversarial Visual Attention Network [67.05560966998559]
機能的脳活動から直接人間の視覚的注意を特徴付ける脳誘発対人視覚注意ネットワーク(BI-AVAN)を提案する。
本モデルは,人間の脳が監督されていない方法で焦点を絞った映画フレーム内の視覚的物体を識別・発見するために,注意関連・無視対象間の偏りのある競合過程を模倣する。
論文 参考訳（メタデータ） (2022-10-27T22:20:36Z) - Human Eyes Inspired Recurrent Neural Networks are More Robust Against Adversarial Noises [7.689542442882423]
我々は人間の脳にインスパイアされたデュアルストリーム視覚モデルを設計した。
このモデルは網膜のような入力層を特徴とし、次の焦点(固定点)を決定する2つのストリームと、固定点を取り巻く視覚を解釈する2つのストリームを含む。
このモデルを,物体認識,視線行動,対向強靭性の観点から評価した。
論文 参考訳（メタデータ） (2022-06-15T03:44:42Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Overcoming the Domain Gap in Neural Action Representations [60.47807856873544]
3Dポーズデータは、手動で介入することなく、マルチビュービデオシーケンスから確実に抽出できる。
本稿では,ニューラルアクション表現の符号化を,ニューラルアクションと行動拡張のセットと共に導くために使用することを提案する。
ドメインギャップを減らすために、トレーニングの間、同様の行動をしているように見える動物間で神経と行動のデータを取り替える。
論文 参考訳（メタデータ） (2021-12-02T12:45:46Z) - Overcoming the Domain Gap in Contrastive Learning of Neural Action
Representations [60.47807856873544]
神経科学の基本的な目標は、神経活動と行動の関係を理解することである。
我々は,ハエが自然に生み出す行動からなる新しいマルチモーダルデータセットを作成した。
このデータセットと新しい拡張セットは、神経科学における自己教師あり学習手法の適用を加速することを約束します。
論文 参考訳（メタデータ） (2021-11-29T15:27:51Z) - Comparing object recognition in humans and deep convolutional neural
networks -- An eye tracking study [7.222232547612573]
深部畳み込みニューラルネットワーク(DCNN)と腹側視覚経路は、大きなアーキテクチャと機能的な類似点を共有している。
人間の観察者(N = 45)と3人のフィードフォワードDCNNの比較を,視線追跡とサリエンシマップを用いて示す。
vNetと呼ばれる生物学的に妥当な受容野サイズを持つDCNNは、標準的なResNetアーキテクチャと対照的な人間の視聴行動と高い一致を示している。
論文 参考訳（メタデータ） (2021-07-30T23:32:05Z) - Passive attention in artificial neural networks predicts human visual
selectivity [8.50463394182796]
受動的注意法は人間の視覚的選択性の推定と大きく重なることを示す。
認識実験を用いて,これらの相関関係を因果操作で検証した。
この研究は、人間の視覚のモデルとして、主要なANNの生物学的および心理的妥当性を評価するための新しいアプローチに寄与する。
論文 参考訳（メタデータ） (2021-07-14T21:21:48Z) - Continuous Emotion Recognition with Spatiotemporal Convolutional Neural
Networks [82.54695985117783]
In-theld でキャプチャした長いビデオシーケンスを用いて,持続的な感情認識のための最先端のディープラーニングアーキテクチャの適合性を検討する。
我々は,2D-CNNと長期記憶ユニットを組み合わせた畳み込みリカレントニューラルネットワークと,2D-CNNモデルの微調整時の重みを膨らませて構築した膨らませた3D-CNNモデルを開発した。
論文 参考訳（メタデータ） (2020-11-18T13:42:05Z) - Fooling the primate brain with minimal, targeted image manipulation [67.78919304747498]
本稿では、行動に反映される神経活動と知覚の両方の変化をもたらす、最小限の標的画像摂動を生成するための一連の手法を提案する。
我々の研究は、敵対的攻撃、すなわち最小限のターゲットノイズによる画像の操作で同じ目標を共有し、ANNモデルに画像の誤分類を誘導する。
論文 参考訳（メタデータ） (2020-11-11T08:30:54Z) - Seeing eye-to-eye? A comparison of object recognition performance in
humans and deep convolutional neural networks under image manipulation [0.0]
本研究では,ヒトとフィードフォワードニューラルネットワークの視覚コア物体認識性能の行動比較を目的とした。
精度分析の結果、人間はDCNNを全ての条件で上回るだけでなく、形状や色の変化に対する強い堅牢性も示している。
論文 参考訳（メタデータ） (2020-07-13T10:26:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。