論文の概要: NeuroGen: activation optimized image synthesis for discovery
neuroscience
- arxiv url: http://arxiv.org/abs/2105.07140v1
- Date: Sat, 15 May 2021 04:36:39 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-18 14:23:03.675427
- Title: NeuroGen: activation optimized image synthesis for discovery
neuroscience
- Title（参考訳）: NeuroGen: 発見神経科学のためのアクティベーション最適化画像合成
- Authors: Zijin Gu, Keith W. Jamison, Meenakshi Khosla, Emily J. Allen, Yihan
Wu, Thomas Naselaris, Kendrick Kay, Mert R. Sabuncu, Amy Kuceyeski
- Abstract要約: 我々はNeuroGenと呼ばれる新しい計算戦略を提案し、限界を克服し、人間の視覚神経科学発見のための強力なツールを開発する。
NeuroGenは、人間の視覚のfMRIで訓練されたニューラルエンコーディングモデルと深層生成ネットワークを組み合わせて、予測された画像を合成し、マクロな脳活性化のターゲットパターンを達成する。
我々はNeuroGenによって作成された少数の合成画像を用いて、視覚刺激に対する局所的および個人的脳反応パターンの違いを検出し、増幅できることを実証した。
- 参考スコア（独自算出の注目度）: 9.621977197691747
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Functional MRI (fMRI) is a powerful technique that has allowed us to
characterize visual cortex responses to stimuli, yet such experiments are by
nature constructed based on a priori hypotheses, limited to the set of images
presented to the individual while they are in the scanner, are subject to noise
in the observed brain responses, and may vary widely across individuals. In
this work, we propose a novel computational strategy, which we call NeuroGen,
to overcome these limitations and develop a powerful tool for human vision
neuroscience discovery. NeuroGen combines an fMRI-trained neural encoding model
of human vision with a deep generative network to synthesize images predicted
to achieve a target pattern of macro-scale brain activation. We demonstrate
that the reduction of noise that the encoding model provides, coupled with the
generative network's ability to produce images of high fidelity, results in a
robust discovery architecture for visual neuroscience. By using only a small
number of synthetic images created by NeuroGen, we demonstrate that we can
detect and amplify differences in regional and individual human brain response
patterns to visual stimuli. We then verify that these discoveries are reflected
in the several thousand observed image responses measured with fMRI. We further
demonstrate that NeuroGen can create synthetic images predicted to achieve
regional response patterns not achievable by the best-matching natural images.
The NeuroGen framework extends the utility of brain encoding models and opens
up a new avenue for exploring, and possibly precisely controlling, the human
visual system.
- Abstract（参考訳）: 機能的MRI(Functional MRI)は視覚野の刺激に対する反応を特徴付ける強力な技術であるが、そのような実験は先天的な仮説に基づいて構築され、スキャナーの中にいる個人に提示される画像のセットに限られており、観察された脳の反応のノイズを受けており、個人に広く分散している可能性がある。
本研究では,これらの限界を克服し,人間の視覚神経科学発見のための強力なツールを開発するために,ニューロジェンと呼ばれる新しい計算戦略を提案する。
NeuroGenは、人間の視覚のfMRIで訓練されたニューラルエンコーディングモデルと深い生成ネットワークを組み合わせて、予測された画像を合成し、マクロな脳活性化のターゲットパターンを達成する。
我々は、符号化モデルが提供するノイズの低減と、高忠実度画像を生成する生成ネットワークの能力が相まって、視覚神経科学におけるロバストな発見アーキテクチャが実現されることを実証する。
我々はNeuroGenによって作成された少数の合成画像を用いて、視覚刺激に対する局所的および個々の脳反応パターンの違いを検出し、増幅できることを実証した。
次に、fMRIで測定した数千の画像応答にこれらの発見が反映されていることを検証する。
さらに,最適な自然画像では実現できない局所的応答パターンを予測できる合成画像の作成が可能であることを実証する。
NeuroGenフレームワークは、脳のエンコーディングモデルの有用性を拡張し、人間の視覚システムを探索し、正確に制御するための新たな道を開く。
関連論文リスト
- Towards Neural Foundation Models for Vision: Aligning EEG, MEG, and fMRI Representations for Decoding, Encoding, and Modality Conversion [0.11249583407496218]
本稿では, コントラスト学習を活用することで, 脳活動のマルチモーダル表現に対して, 神経データと視覚刺激を協調させる基礎モデルを構築するための新しいアプローチを提案する。
脳波(EEG)、脳磁図(MEG)、fMRIデータを用いた。
われわれのフレームワークの能力は、ニューラルデータから視覚情報をデコードし、画像をニューラル表現にエンコードし、ニューラルモダリティ間の変換という3つの重要な実験によって実証される。
論文 参考訳（メタデータ） (2024-11-14T12:27:27Z) - Brain-like Functional Organization within Large Language Models [58.93629121400745]
人間の脳は長い間人工知能(AI)の追求にインスピレーションを与えてきた
最近のニューロイメージング研究は、人工ニューラルネットワーク(ANN)の計算的表現と、人間の脳の刺激に対する神経反応との整合性の説得力のある証拠を提供する。
本研究では、人工ニューロンのサブグループと機能的脳ネットワーク(FBN)を直接結合することで、このギャップを埋める。
このフレームワークはANサブグループをFBNにリンクし、大きな言語モデル(LLM)内で脳に似た機能的組織を記述できる。
論文 参考訳（メタデータ） (2024-10-25T13:15:17Z) - Teaching CORnet Human fMRI Representations for Enhanced Model-Brain Alignment [2.035627332992055]
認知神経科学において広く用いられる技術として機能的磁気共鳴イメージング(fMRI)は、視覚知覚の過程における人間の視覚野の神経活動を記録することができる。
本研究では,SOTAビジョンモデルCORnetに基づくモデルであるReAlnet-fMRIを提案する。
fMRIを最適化したReAlnet-fMRIは、CORnetと制御モデルの両方においてヒトの脳との類似性が高く、また、内・内・対モダリティモデル脳(fMRI、EEG)も高い類似性を示した。
論文 参考訳（メタデータ） (2024-07-15T03:31:42Z) - MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。
現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。
我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
論文 参考訳（メタデータ） (2024-04-11T15:46:42Z) - Brainformer: Mimic Human Visual Brain Functions to Machine Vision Models via fMRI [12.203617776046169]
本稿では,人間の知覚システムにおけるfMRIパターンを解析するためのBrainformerという新しいフレームワークを紹介する。
この研究は、人間の知覚からニューラルネットワークに知識を移すための先進的なアプローチを導入する。
論文 参考訳（メタデータ） (2023-11-30T22:39:23Z) - A Neuro-mimetic Realization of the Common Model of Cognition via Hebbian
Learning and Free Energy Minimization [55.11642177631929]
大規模なニューラル生成モデルは、意味的に豊富なテキストのパスを合成したり、複雑な画像を生成することができる。
我々はコモン・モデル・オブ・コグニティブ・ニューラル・ジェネレーティブ・システムについて論じる。
論文 参考訳（メタデータ） (2023-10-14T23:28:48Z) - Unidirectional brain-computer interface: Artificial neural network
encoding natural images to fMRI response in the visual cortex [12.1427193917406]
本稿では,人間の脳を模倣する人工ニューラルネットワークVISIONを提案する。
VISIONは、人間の血行動態の反応をfMRIボクセル値として、最先端の性能を超える精度で45%の精度で予測することに成功した。
論文 参考訳（メタデータ） (2023-09-26T15:38:26Z) - GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from
Multi-view Images [79.39247661907397]
本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。
具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
論文 参考訳（メタデータ） (2023-03-24T03:32:02Z) - BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP
for Generic Natural Visual Stimulus Decoding [51.911473457195555]
BrainCLIPはタスクに依存しないfMRIベースの脳復号モデルである。
脳の活動、画像、およびテキストの間のモダリティギャップを埋める。
BrainCLIPは、高い意味的忠実度で視覚刺激を再構築することができる。
論文 参考訳（メタデータ） (2023-02-25T03:28:54Z) - Adapting Brain-Like Neural Networks for Modeling Cortical Visual
Prostheses [68.96380145211093]
皮質補綴は視覚野に移植された装置で、電気的にニューロンを刺激することで失った視力を回復しようとする。
現在、これらのデバイスが提供する視覚は限られており、刺激による視覚知覚を正確に予測することはオープンな課題である。
我々は、視覚システムの有望なモデルとして登場した「脳様」畳み込みニューラルネットワーク(CNN)を活用することで、この問題に対処することを提案する。
論文 参考訳（メタデータ） (2022-09-27T17:33:19Z) - Deep Auto-encoder with Neural Response [8.797970797884023]
ニューラルレスポンス(DAE-NR)を用いたディープオートエンコーダと呼ばれるハイブリッドモデルを提案する。
DAE-NRは、視覚野からの情報をANNに組み込んで、より優れた画像再構成と、生物学的および人工ニューロン間の高い神経表現類似性を実現する。
DAE-NRは, 共同学習によって(画像再構成の性能の向上) 生体ニューロンと人工ニューロンとの表現的類似性の向上が可能であることを実証した。
論文 参考訳（メタデータ） (2021-11-30T11:44:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。