論文の概要: Neural encoding with visual attention

• arxiv url: http://arxiv.org/abs/2010.00516v1
• Date: Thu, 1 Oct 2020 16:04:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 07:52:13.026631
• Title: Neural encoding with visual attention
• Title（参考訳）: 視覚注意を伴うニューラルエンコーディング
• Authors: Meenakshi Khosla, Gia H. Ngo, Keith Jamison, Amy Kuceyeski and Mert R. Sabuncu
• Abstract要約: トレーニング可能なソフトアテンションモジュールを組み込んだニューラルエンコーディング手法を提案する。 独立データに基づくモデルにより推定された注意位置は、対応する眼球固定パターンとよく一致している。
• 参考スコア（独自算出の注目度）: 17.020869686284165
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual perception is critically influenced by the focus of attention. Due to limited resources, it is well known that neural representations are biased in favor of attended locations. Using concurrent eye-tracking and functional Magnetic Resonance Imaging (fMRI) recordings from a large cohort of human subjects watching movies, we first demonstrate that leveraging gaze information, in the form of attentional masking, can significantly improve brain response prediction accuracy in a neural encoding model. Next, we propose a novel approach to neural encoding by including a trainable soft-attention module. Using our new approach, we demonstrate that it is possible to learn visual attention policies by end-to-end learning merely on fMRI response data, and without relying on any eye-tracking. Interestingly, we find that attention locations estimated by the model on independent data agree well with the corresponding eye fixation patterns, despite no explicit supervision to do so. Together, these findings suggest that attention modules can be instrumental in neural encoding models of visual stimuli.
• Abstract（参考訳）: 視覚知覚は注意の焦点に影響される。 資源が限られているため、神経表現は出席する場所に偏っていることが知られている。 眼球追跡と機能的磁気共鳴イメージング (fMRI) の同時記録を用いて, 視線情報を活用することにより, 注目マスキングの形で, 神経エンコーディングモデルにおける脳反応予測精度が有意に向上することを示した。 次に,学習可能なソフトアテンションモジュールを含むニューラルエンコーディングの新しいアプローチを提案する。 新たなアプローチを用いて,fMRI応答データのみを用いて,視線追跡に頼ることなく,エンドツーエンドの学習によって視覚的注意ポリシーを学習できることを実証した。 興味深いことに、独立したデータ上でモデルによって推定される注意の配置は、明示的な監督がなくても、対応するアイフィケーションパターンとよく一致している。 これらの結果から,注意モジュールは視覚刺激のニューラルエンコーディングモデルに有用であることが示唆された。

関連論文リスト

• Decoding Visual Experience and Mapping Semantics through Whole-Brain Analysis Using fMRI Foundation Models [10.615012396285337]
  我々は脳全体の活性化マップを組み込むことで視覚過程の理解を高めるアルゴリズムを開発した。 まず,視覚処理を復号化するための最先端手法と比較し,予測意味精度を43%向上させた。
  論文  参考訳（メタデータ） (2024-11-11T16:51:17Z)
• Unidirectional brain-computer interface: Artificial neural network encoding natural images to fMRI response in the visual cortex [12.1427193917406]
  本稿では,人間の脳を模倣する人工ニューラルネットワークVISIONを提案する。 VISIONは、人間の血行動態の反応をfMRIボクセル値として、最先端の性能を超える精度で45%の精度で予測することに成功した。
  論文  参考訳（メタデータ） (2023-09-26T15:38:26Z)
• Controllable Mind Visual Diffusion Model [58.83896307930354]
  脳信号の可視化は、人間の視覚システムとコンピュータビジョンモデルの間の重要なインターフェースとして機能する活発な研究領域として登場した。 我々は、制御可能なマインドビジュアルモデル拡散(CMVDM)と呼ばれる新しいアプローチを提案する。 CMVDMは属性アライメントとアシスタントネットワークを用いてfMRIデータから意味情報とシルエット情報を抽出する。 そして、制御モデルを利用して抽出した情報を画像合成に活用し、セマンティクスやシルエットの観点から視覚刺激によく似た画像を生成する。
  論文  参考訳（メタデータ） (2023-05-17T11:36:40Z)
• BI AVAN: Brain inspired Adversarial Visual Attention Network [67.05560966998559]
  機能的脳活動から直接人間の視覚的注意を特徴付ける脳誘発対人視覚注意ネットワーク(BI-AVAN)を提案する。 本モデルは,人間の脳が監督されていない方法で焦点を絞った映画フレーム内の視覚的物体を識別・発見するために,注意関連・無視対象間の偏りのある競合過程を模倣する。
  論文  参考訳（メタデータ） (2022-10-27T22:20:36Z)
• Adapting Brain-Like Neural Networks for Modeling Cortical Visual Prostheses [68.96380145211093]
  皮質補綴は視覚野に移植された装置で、電気的にニューロンを刺激することで失った視力を回復しようとする。 現在、これらのデバイスが提供する視覚は限られており、刺激による視覚知覚を正確に予測することはオープンな課題である。 我々は、視覚システムの有望なモデルとして登場した「脳様」畳み込みニューラルネットワーク(CNN)を活用することで、この問題に対処することを提案する。
  論文  参考訳（メタデータ） (2022-09-27T17:33:19Z)
• Entity-Conditioned Question Generation for Robust Attention Distribution in Neural Information Retrieval [51.53892300802014]
  教師付きニューラル情報検索モデルでは,通過トークンよりも疎注意パターンを学習することが困難であることを示す。 目的とする新しい合成データ生成手法を用いて、与えられた通路内の全てのエンティティに対して、より均一で堅牢な参加をニューラルIRに教える。
  論文  参考訳（メタデータ） (2022-04-24T22:36:48Z)
• Feature visualization for convolutional neural network models trained on neuroimaging data [0.0]
  畳み込みニューラルネットワーク(CNN)の機能可視化による最初の結果を示す。 我々は、MRIデータに基づく性分類や人為的病変分類など、さまざまなタスクのためにCNNを訓練した。 得られた画像は、その形状を含む人工的な病変の学習概念を明らかにするが、性分類タスクにおける抽象的な特徴を解釈することは困難である。
  論文  参考訳（メタデータ） (2022-03-24T15:24:38Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Learning Personal Representations from fMRIby Predicting Neurofeedback Performance [52.77024349608834]
  機能的MRI(fMRI)によって導かれる自己神経変調タスクを行う個人のための個人表現を学習するためのディープニューラルネットワーク手法を提案する。 この表現は、直近のfMRIフレームが与えられた次のfMRIフレームにおける扁桃体活動を予測する自己教師型リカレントニューラルネットワークによって学習され、学習された個々の表現に条件付けされる。
  論文  参考訳（メタデータ） (2021-12-06T10:16:54Z)
• Object Based Attention Through Internal Gating [4.941630596191806]
  本稿では,物体に基づく注目のニューラルネットワークモデルを提案する。 私たちのモデルは、トップダウンとリカレントの両方に注意が向けられる方法を捉えています。 我々のモデルは神経科学からのさまざまな発見を再現している。
  論文  参考訳（メタデータ） (2021-06-08T17:20:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。