論文の概要: Behind the Machine's Gaze: Biologically Constrained Neural Networks Exhibit Human-like Visual Attention

• arxiv url: http://arxiv.org/abs/2204.09093v1
• Date: Tue, 19 Apr 2022 18:57:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-22 02:54:02.135299
• Title: Behind the Machine's Gaze: Biologically Constrained Neural Networks Exhibit Human-like Visual Attention
• Title（参考訳）: 生物学的に制約されたニューラルネットワークは人間の視覚的注意を抑える
• Authors: Leo Schwinn, Doina Precup, Bj\"orn Eskofier, and Dario Zanca
• Abstract要約: トップダウン方式でビジュアル・スキャンパスを生成するニューラル・ビジュアル・アテンション(NeVA)アルゴリズムを提案する。 提案手法は,人間の走査パスと類似性の観点から,最先端の非監視的注意モデルより優れていることを示す。
• 参考スコア（独自算出の注目度）: 40.878963450471026
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: By and large, existing computational models of visual attention tacitly assume perfect vision and full access to the stimulus and thereby deviate from foveated biological vision. Moreover, modelling top-down attention is generally reduced to the integration of semantic features without incorporating the signal of a high-level visual tasks that have shown to partially guide human attention. We propose the Neural Visual Attention (NeVA) algorithm to generate visual scanpaths in a top-down manner. With our method, we explore the ability of neural networks on which we impose the biological constraints of foveated vision to generate human-like scanpaths. Thereby, the scanpaths are generated to maximize the performance with respect to the underlying visual task (i.e., classification or reconstruction). Extensive experiments show that the proposed method outperforms state-of-the-art unsupervised human attention models in terms of similarity to human scanpaths. Additionally, the flexibility of the framework allows to quantitatively investigate the role of different tasks in the generated visual behaviours. Finally, we demonstrate the superiority of the approach in a novel experiment that investigates the utility of scanpaths in real-world applications, where imperfect viewing conditions are given.
• Abstract（参考訳）: 概して、既存の視覚注意の計算モデルは、完全な視覚と刺激への完全なアクセスを巧みに想定し、その結果、フォブされた生物学的視覚から逸脱する。 さらに、トップダウンの注意のモデリングは、人間の注意を部分的に導くことができる高レベルの視覚的タスクのシグナルを組み込むことなく、セマンティックな特徴の統合に還元される。 本稿では,トップダウン方式で視覚スキャンパスを生成するニューラル・ビジュアル・アテンション(neva)アルゴリズムを提案する。 提案手法では,人間の様の走査パスを生成するために,触覚の生物学的制約を課すニューラルネットワークの能力について検討する。 これにより、スカンパスを生成して、基礎となる視覚タスク(すなわち、分類または再構成)に対する性能を最大化する。 広汎な実験により,提案手法は人間の走査パスと類似性の観点から,最先端の非監視的注意モデルより優れていた。 さらに、フレームワークの柔軟性により、生成された視覚行動における異なるタスクの役割を定量的に調査することができる。 最後に,不完全な視聴条件が与えられる実世界のアプリケーションにおいて,スキャンパスの有用性を検証した新しい実験において,アプローチの優位性を示す。

関連論文リスト

• Brain Mapping with Dense Features: Grounding Cortical Semantic Selectivity in Natural Images With Vision Transformers [5.265058307999745]
  本稿では,脳内視覚概念を分離するBrainSAILを紹介する。 BrainSAILは、事前訓練された視覚モデルから意味的に一貫性があり、密集した空間的特徴を利用する。 カテゴリー選択性のある大脳皮質領域におけるBrainSAILの評価を行った。
  論文  参考訳（メタデータ） (2024-10-07T17:59:45Z)
• Unidirectional brain-computer interface: Artificial neural network encoding natural images to fMRI response in the visual cortex [12.1427193917406]
  本稿では,人間の脳を模倣する人工ニューラルネットワークVISIONを提案する。 VISIONは、人間の血行動態の反応をfMRIボクセル値として、最先端の性能を超える精度で45%の精度で予測することに成功した。
  論文  参考訳（メタデータ） (2023-09-26T15:38:26Z)
• Contrastive Language-Image Pretrained Models are Zero-Shot Human Scanpath Predictors [2.524526956420465]
  CapMIT1003は、キャプションタスク中に収集されたキャプションとクリックコンテンツ画像のデータベースである。 NevaClipは、視覚スキャンパスを予測する新しいゼロショット手法である。
  論文  参考訳（メタデータ） (2023-05-21T07:24:50Z)
• Simulating Human Gaze with Neural Visual Attention [44.65733084492857]
  我々は、下流の視覚課題のガイダンスをアテンション・モデリングに統合するニューラル・ビジュアル・アテンション(NeVA)アルゴリズムを提案する。 我々は、生物学的に制約されたニューラルネットワークが、この目的のために訓練されることなく、人間の様のスキャンパスを生成することを観察する。
  論文  参考訳（メタデータ） (2022-11-22T09:02:09Z)
• An Inter-observer consistent deep adversarial training for visual scanpath prediction [66.46953851227454]
  本稿では,軽量なディープニューラルネットワークによるスキャンパス予測のための,サーバ間一貫した対向トレーニング手法を提案する。 我々は、最先端の手法に関して、我々のアプローチの競争力を示す。
  論文  参考訳（メタデータ） (2022-11-14T13:22:29Z)
• BI AVAN: Brain inspired Adversarial Visual Attention Network [67.05560966998559]
  機能的脳活動から直接人間の視覚的注意を特徴付ける脳誘発対人視覚注意ネットワーク(BI-AVAN)を提案する。 本モデルは,人間の脳が監督されていない方法で焦点を絞った映画フレーム内の視覚的物体を識別・発見するために,注意関連・無視対象間の偏りのある競合過程を模倣する。
  論文  参考訳（メタデータ） (2022-10-27T22:20:36Z)
• Guiding Visual Attention in Deep Convolutional Neural Networks Based on Human Eye Movements [0.0]
  ディープ畳み込みニューラルネットワーク(DCNN)は、当初は生物学的ビジョンの原理にインスパイアされていた。 近年のディープラーニングの進歩は、この類似性を減らしているようだ。 有用なモデルを得るための純粋にデータ駆動型アプローチについて検討する。
  論文  参考訳（メタデータ） (2022-06-21T17:59:23Z)
• Peripheral Vision Transformer [52.55309200601883]
  我々は生物学的にインスパイアされたアプローチを採用し、視覚認識のためのディープニューラルネットワークの周辺視覚をモデル化する。 本稿では,マルチヘッド自己アテンション層に周辺位置エンコーディングを組み込むことにより,トレーニングデータから視覚領域を様々な周辺領域に分割することをネットワークが学べるようにすることを提案する。 大規模画像Netデータセット上でPerViTと呼ばれる提案したネットワークを評価し,マシン知覚モデルの内部動作を体系的に検討した。
  論文  参考訳（メタデータ） (2022-06-14T12:47:47Z)
• FuNNscope: Visual microscope for interactively exploring the loss landscape of fully connected neural networks [77.34726150561087]
  ニューラルネットワークの高次元景観特性を探索する方法を示す。 我々は、小さなニューラルネットワークの観測結果をより複雑なシステムに一般化する。 インタラクティブダッシュボードは、いくつかのアプリケーションネットワークを開放する。
  論文  参考訳（メタデータ） (2022-04-09T16:41:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。