論文の概要: Unidirectional brain-computer interface: Artificial neural network encoding natural images to fMRI response in the visual cortex

• arxiv url: http://arxiv.org/abs/2309.15018v1
• Date: Tue, 26 Sep 2023 15:38:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-27 13:01:35.152825
• Title: Unidirectional brain-computer interface: Artificial neural network encoding natural images to fMRI response in the visual cortex
• Title（参考訳）: 一方向脳-コンピュータインタフェース:視覚野のfMRI応答に自然な画像をコードするニューラルネットワーク
• Authors: Ruixing Liang, Xiangyu Zhang, Qiong Li, Lai Wei, Hexin Liu, Avisha Kumar, Kelley M. Kempski Leadingham, Joshua Punnoose, Leibny Paola Garcia, Amir Manbachi
• Abstract要約: 本稿では,人間の脳を模倣する人工ニューラルネットワークVISIONを提案する。 VISIONは、人間の血行動態の反応をfMRIボクセル値として、最先端の性能を超える精度で45%の精度で予測することに成功した。
• 参考スコア（独自算出の注目度）: 12.1427193917406
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While significant advancements in artificial intelligence (AI) have catalyzed progress across various domains, its full potential in understanding visual perception remains underexplored. We propose an artificial neural network dubbed VISION, an acronym for "Visual Interface System for Imaging Output of Neural activity," to mimic the human brain and show how it can foster neuroscientific inquiries. Using visual and contextual inputs, this multimodal model predicts the brain's functional magnetic resonance imaging (fMRI) scan response to natural images. VISION successfully predicts human hemodynamic responses as fMRI voxel values to visual inputs with an accuracy exceeding state-of-the-art performance by 45%. We further probe the trained networks to reveal representational biases in different visual areas, generate experimentally testable hypotheses, and formulate an interpretable metric to associate these hypotheses with cortical functions. With both a model and evaluation metric, the cost and time burdens associated with designing and implementing functional analysis on the visual cortex could be reduced. Our work suggests that the evolution of computational models may shed light on our fundamental understanding of the visual cortex and provide a viable approach toward reliable brain-machine interfaces.
• Abstract（参考訳）: 人工知能(AI)の大幅な進歩は、様々な領域で進歩をもたらしたが、視覚的知覚を理解する大きな可能性はまだ探索されていない。 そこで我々は,人間の脳を模倣し,神経科学的な質問をいかに育むかを示すために,視覚神経活動の出力を可視化する視覚インタフェースシステム(Visual Interface System for Imaging Output of Neural Activity)の頭字語であるVISIONを提案する。 視覚および文脈入力を用いて、このマルチモーダルモデルは、自然画像に対する脳の機能的磁気共鳴画像(fmri)スキャン応答を予測する。 visionは、視覚入力に対するfmriボクセル値として人の血行動態応答を45%の精度で予測することに成功した。 さらに、訓練されたネットワークを調査して、異なる視覚領域における表象バイアスを明らかにし、実験的に検証可能な仮説を生成し、これらの仮説を皮質機能と関連付けるための解釈可能な計量を定式化する。 モデルと評価指標の両方を用いることで、視覚野の機能解析の設計と実装に関わるコストと時間を削減できる。 我々の研究は、計算モデルの進化が視覚野の基本的な理解に光を当て、信頼性の高い脳と機械のインターフェイスへの実行可能なアプローチをもたらすことを示唆している。

関連論文リスト

• Decoding Visual Experience and Mapping Semantics through Whole-Brain Analysis Using fMRI Foundation Models [10.615012396285337]
  我々は脳全体の活性化マップを組み込むことで視覚過程の理解を高めるアルゴリズムを開発した。 まず,視覚処理を復号化するための最先端手法と比較し,予測意味精度を43%向上させた。
  論文  参考訳（メタデータ） (2024-11-11T16:51:17Z)
• Teaching CORnet Human fMRI Representations for Enhanced Model-Brain Alignment [2.035627332992055]
  認知神経科学において広く用いられる技術として機能的磁気共鳴イメージング(fMRI)は、視覚知覚の過程における人間の視覚野の神経活動を記録することができる。 本研究では,SOTAビジョンモデルCORnetに基づくモデルであるReAlnet-fMRIを提案する。 fMRIを最適化したReAlnet-fMRIは、CORnetと制御モデルの両方においてヒトの脳との類似性が高く、また、内・内・対モダリティモデル脳(fMRI、EEG)も高い類似性を示した。
  論文  参考訳（メタデータ） (2024-07-15T03:31:42Z)
• Brain3D: Generating 3D Objects from fMRI [76.41771117405973]
  被験者のfMRIデータを入力として利用する新しい3Dオブジェクト表現学習手法であるBrain3Dを設計する。 我々は,人間の視覚系の各領域の異なる機能的特徴を,我々のモデルが捉えていることを示す。 予備評価は、Brain3Dがシミュレーションシナリオで障害した脳領域を正常に識別できることを示唆している。
  論文  参考訳（メタデータ） (2024-05-24T06:06:11Z)
• Psychometry: An Omnifit Model for Image Reconstruction from Human Brain Activity [60.983327742457995]
  人間の脳活動から見るイメージを再構築することで、人間とコンピュータのビジョンをBrain-Computer Interfaceを通して橋渡しする。 異なる被験者から得られた機能的磁気共鳴イメージング(fMRI)による画像再構成のための全能モデルであるサイコメトリを考案した。
  論文  参考訳（メタデータ） (2024-03-29T07:16:34Z)
• Decoding Realistic Images from Brain Activity with Contrastive Self-supervision and Latent Diffusion [29.335943994256052]
  ヒトの脳活動から視覚刺激を再構築することは、脳の視覚系を理解する上で有望な機会となる。 機能的磁気共鳴イメージング(fMRI)記録から現実的な画像をデコードする2相フレームワークContrast and Diffuse(CnD)を提案する。
  論文  参考訳（メタデータ） (2023-09-30T09:15:22Z)
• Contrast, Attend and Diffuse to Decode High-Resolution Images from Brain Activities [31.448924808940284]
  2相fMRI表現学習フレームワークを提案する。 第1フェーズでは、double-contrastive Mask Auto-encoderを提案してfMRI機能学習者を事前訓練し、識別表現を学習する。 第2フェーズでは、イメージオートエンコーダからのガイダンスで視覚的再構成に最も有用な神経活性化パターンに参加するように、特徴学習者に調整する。
  論文  参考訳（メタデータ） (2023-05-26T19:16:23Z)
• Controllable Mind Visual Diffusion Model [58.83896307930354]
  脳信号の可視化は、人間の視覚システムとコンピュータビジョンモデルの間の重要なインターフェースとして機能する活発な研究領域として登場した。 我々は、制御可能なマインドビジュアルモデル拡散(CMVDM)と呼ばれる新しいアプローチを提案する。 CMVDMは属性アライメントとアシスタントネットワークを用いてfMRIデータから意味情報とシルエット情報を抽出する。 そして、制御モデルを利用して抽出した情報を画像合成に活用し、セマンティクスやシルエットの観点から視覚刺激によく似た画像を生成する。
  論文  参考訳（メタデータ） (2023-05-17T11:36:40Z)
• Adapting Brain-Like Neural Networks for Modeling Cortical Visual Prostheses [68.96380145211093]
  皮質補綴は視覚野に移植された装置で、電気的にニューロンを刺激することで失った視力を回復しようとする。 現在、これらのデバイスが提供する視覚は限られており、刺激による視覚知覚を正確に予測することはオープンな課題である。 我々は、視覚システムの有望なモデルとして登場した「脳様」畳み込みニューラルネットワーク(CNN)を活用することで、この問題に対処することを提案する。
  論文  参考訳（メタデータ） (2022-09-27T17:33:19Z)
• Functional2Structural: Cross-Modality Brain Networks Representation Learning [55.24969686433101]
  脳ネットワーク上のグラフマイニングは、臨床表現型および神経変性疾患のための新しいバイオマーカーの発見を促進する可能性がある。 本稿では,Deep Signed Brain Networks (DSBN) と呼ばれる新しいグラフ学習フレームワークを提案する。 臨床表現型および神経変性疾患予測の枠組みを,2つの独立した公開データセットを用いて検証した。
  論文  参考訳（メタデータ） (2022-05-06T03:45:36Z)
• NeuroGen: activation optimized image synthesis for discovery neuroscience [9.621977197691747]
  我々はNeuroGenと呼ばれる新しい計算戦略を提案し、限界を克服し、人間の視覚神経科学発見のための強力なツールを開発する。 NeuroGenは、人間の視覚のfMRIで訓練されたニューラルエンコーディングモデルと深層生成ネットワークを組み合わせて、予測された画像を合成し、マクロな脳活性化のターゲットパターンを達成する。 我々はNeuroGenによって作成された少数の合成画像を用いて、視覚刺激に対する局所的および個人的脳反応パターンの違いを検出し、増幅できることを実証した。
  論文  参考訳（メタデータ） (2021-05-15T04:36:39Z)
• Continuous Emotion Recognition via Deep Convolutional Autoencoder and Support Vector Regressor [70.2226417364135]
  マシンはユーザの感情状態を高い精度で認識できることが不可欠である。 ディープニューラルネットワークは感情を認識する上で大きな成功を収めている。 表情認識に基づく連続的感情認識のための新しいモデルを提案する。
  論文  参考訳（メタデータ） (2020-01-31T17:47:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。