論文の概要: Simulating Human Gaze with Neural Visual Attention
- arxiv url: http://arxiv.org/abs/2211.12100v1
- Date: Tue, 22 Nov 2022 09:02:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-23 18:12:03.322350
- Title: Simulating Human Gaze with Neural Visual Attention
- Title(参考訳): 神経視覚による人間の視線のシミュレーション
- Authors: Leo Schwinn, Doina Precup, Bjoern Eskofier and Dario Zanca
- Abstract要約: 我々は、下流の視覚課題のガイダンスをアテンション・モデリングに統合するニューラル・ビジュアル・アテンション(NeVA)アルゴリズムを提案する。
我々は、生物学的に制約されたニューラルネットワークが、この目的のために訓練されることなく、人間の様のスキャンパスを生成することを観察する。
- 参考スコア(独自算出の注目度): 44.65733084492857
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing models of human visual attention are generally unable to incorporate
direct task guidance and therefore cannot model an intent or goal when
exploring a scene. To integrate guidance of any downstream visual task into
attention modeling, we propose the Neural Visual Attention (NeVA) algorithm. To
this end, we impose to neural networks the biological constraint of foveated
vision and train an attention mechanism to generate visual explorations that
maximize the performance with respect to the downstream task. We observe that
biologically constrained neural networks generate human-like scanpaths without
being trained for this objective. Extensive experiments on three common
benchmark datasets show that our method outperforms state-of-the-art
unsupervised human attention models in generating human-like scanpaths.
- Abstract(参考訳): 既存の人間の視覚的注意のモデルは、一般的に直接的なタスクガイダンスを取り入れられないため、シーンを探索する際に意図や目標をモデル化することはできない。
下流の視覚タスクのガイダンスをアテンション・モデリングに統合するために,ニューラル・ビジュアル・アテンション(NeVA)アルゴリズムを提案する。
この目的のために,我々は神経回路網にフォブテッドビジョンの生物学的制約を課し,注意機構を訓練し,下流タスクに対する性能を最大化する視覚探索を生成する。
生物学的に制約されたニューラルネットワークは、この目的のために訓練されることなく、人間の様のスキャンパスを生成する。
3つの一般的なベンチマークデータセットに対する大規模な実験により、我々の手法はヒトのようなスキャンパスを生成する際に、最先端の人間の注意モデルより優れていることが示された。
関連論文リスト
- Contrastive Language-Image Pretrained Models are Zero-Shot Human
Scanpath Predictors [2.524526956420465]
CapMIT1003は、キャプションタスク中に収集されたキャプションとクリックコンテンツ画像のデータベースである。
NevaClipは、視覚スキャンパスを予測する新しいゼロショット手法である。
論文 参考訳(メタデータ) (2023-05-21T07:24:50Z) - An Inter-observer consistent deep adversarial training for visual
scanpath prediction [66.46953851227454]
本稿では,軽量なディープニューラルネットワークによるスキャンパス予測のための,サーバ間一貫した対向トレーニング手法を提案する。
我々は、最先端の手法に関して、我々のアプローチの競争力を示す。
論文 参考訳(メタデータ) (2022-11-14T13:22:29Z) - BI AVAN: Brain inspired Adversarial Visual Attention Network [67.05560966998559]
機能的脳活動から直接人間の視覚的注意を特徴付ける脳誘発対人視覚注意ネットワーク(BI-AVAN)を提案する。
本モデルは,人間の脳が監督されていない方法で焦点を絞った映画フレーム内の視覚的物体を識別・発見するために,注意関連・無視対象間の偏りのある競合過程を模倣する。
論文 参考訳(メタデータ) (2022-10-27T22:20:36Z) - Guiding Visual Attention in Deep Convolutional Neural Networks Based on
Human Eye Movements [0.0]
ディープ畳み込みニューラルネットワーク(DCNN)は、当初は生物学的ビジョンの原理にインスパイアされていた。
近年のディープラーニングの進歩は、この類似性を減らしているようだ。
有用なモデルを得るための純粋にデータ駆動型アプローチについて検討する。
論文 参考訳(メタデータ) (2022-06-21T17:59:23Z) - Behind the Machine's Gaze: Biologically Constrained Neural Networks
Exhibit Human-like Visual Attention [40.878963450471026]
トップダウン方式でビジュアル・スキャンパスを生成するニューラル・ビジュアル・アテンション(NeVA)アルゴリズムを提案する。
提案手法は,人間の走査パスと類似性の観点から,最先端の非監視的注意モデルより優れていることを示す。
論文 参考訳(メタデータ) (2022-04-19T18:57:47Z) - Overcoming the Domain Gap in Neural Action Representations [60.47807856873544]
3Dポーズデータは、手動で介入することなく、マルチビュービデオシーケンスから確実に抽出できる。
本稿では,ニューラルアクション表現の符号化を,ニューラルアクションと行動拡張のセットと共に導くために使用することを提案する。
ドメインギャップを減らすために、トレーニングの間、同様の行動をしているように見える動物間で神経と行動のデータを取り替える。
論文 参考訳(メタデータ) (2021-12-02T12:45:46Z) - Overcoming the Domain Gap in Contrastive Learning of Neural Action
Representations [60.47807856873544]
神経科学の基本的な目標は、神経活動と行動の関係を理解することである。
我々は,ハエが自然に生み出す行動からなる新しいマルチモーダルデータセットを作成した。
このデータセットと新しい拡張セットは、神経科学における自己教師あり学習手法の適用を加速することを約束します。
論文 参考訳(メタデータ) (2021-11-29T15:27:51Z) - Neural encoding with visual attention [17.020869686284165]
トレーニング可能なソフトアテンションモジュールを組み込んだニューラルエンコーディング手法を提案する。
独立データに基づくモデルにより推定された注意位置は、対応する眼球固定パターンとよく一致している。
論文 参考訳(メタデータ) (2020-10-01T16:04:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。