論文の概要: Brainformer: Modeling MRI Brain Functions to Machine Vision
- arxiv url: http://arxiv.org/abs/2312.00236v1
- Date: Thu, 30 Nov 2023 22:39:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-04 16:16:37.368687
- Title: Brainformer: Modeling MRI Brain Functions to Machine Vision
- Title(参考訳): Brainformer: MRI脳機能とマシンビジョンのモデリング
- Authors: Xuan-Bac Nguyen, Xin Li, Samee U. Khan, Khoa Luu
- Abstract要約: 我々はまず,人間の知覚システムにおけるfMRIのパターンを機械学習の観点から解析するために,シンプルで効果的なBrainformerアプローチを提案する。
第2に,人間の脳活動を表すfMRIをマシンビジョンモデルに取り入れた新しいメカニズムを導入する。
- 参考スコア(独自算出の注目度): 14.302727071450883
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: "Perception is reality". Human perception plays a vital role in forming
beliefs and understanding reality. Exploring how the human brain works in the
visual system facilitates bridging the gap between human visual perception and
computer vision models. However, neuroscientists study the brain via
Neuroimaging, i.e., Functional Magnetic Resonance Imaging (fMRI), to discover
the brain's functions. These approaches face interpretation challenges where
fMRI data can be complex and require expertise. Therefore, neuroscientists make
inferences about cognitive processes based on patterns of brain activities,
which can lead to potential misinterpretation or limited functional
understanding. In this work, we first present a simple yet effective
Brainformer approach, a novel Transformer-based framework, to analyze the
patterns of fMRI in the human perception system from the machine learning
perspective. Secondly, we introduce a novel mechanism incorporating fMRI, which
represents the human brain activities, as the supervision for the machine
vision model. This work also introduces a novel perspective on transferring
knowledge from human perception to neural networks. Through our experiments, we
demonstrated that by leveraging fMRI information, the machine vision model can
achieve potential results compared to the current State-of-the-art methods in
various image recognition tasks.
- Abstract(参考訳): 「知覚は現実である。」
人間の知覚は、信念を形成し、現実を理解する上で重要な役割を果たす。
視覚系における人間の脳の働きの探索は、人間の視覚知覚とコンピュータビジョンモデルの間のギャップを埋めるのに役立つ。
しかし、神経科学者は神経イメージング、すなわち機能的磁気共鳴イメージング(fMRI)を通して脳の研究を行い、脳の機能を発見する。
これらのアプローチは、fMRIデータが複雑で専門知識を必要とするような解釈課題に直面している。
したがって、神経科学者は脳活動のパターンに基づいて認知過程を推論し、潜在的な誤解や機能的理解に繋がる可能性がある。
本研究ではまず,人間の知覚システムにおけるfMRIのパターンを機械学習の観点から解析するための,新しいトランスフォーマーベースのフレームワークであるBrainformerアプローチを提案する。
次に,人間の脳活動を表すfmriを機械視覚モデルの監督として組み込んだ新しいメカニズムを提案する。
この研究は、人間の知覚からニューラルネットワークへの知識の伝達に関する新しい視点も導入している。
実験により, fmri情報を活用することで, 様々な画像認識課題における最新の手法と比較して, 機械ビジョンモデルが潜在的な結果が得られることを示した。
関連論文リスト
- ReAlnet: Achieving More Human Brain-Like Vision via Human Neural
Representational Alignment [2.035627332992055]
Re(presentational)Al(ignment)netは非侵襲的な脳波記録に基づく人間の脳活動に沿った視覚モデルである。
我々の革新的な画像から脳への多層符号化フレームワークは、神経アライメントの飛躍的な飛躍を示す。
以上の結果から,ReAlnetは人工視と人間の視界のギャップを埋める新たな先例となることが示唆された。
論文 参考訳(メタデータ) (2024-01-30T18:18:41Z) - Brain-Inspired Machine Intelligence: A Survey of
Neurobiologically-Plausible Credit Assignment [65.268245109828]
本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。
我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。
本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
論文 参考訳(メタデータ) (2023-12-01T05:20:57Z) - fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for
Multi-Subject Brain Activity Decoding [54.17776744076334]
本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。
我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。
コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
論文 参考訳(メタデータ) (2023-11-01T07:24:22Z) - Unidirectional brain-computer interface: Artificial neural network
encoding natural images to fMRI response in the visual cortex [12.1427193917406]
本稿では,人間の脳を模倣する人工ニューラルネットワークVISIONを提案する。
VISIONは、人間の血行動態の反応をfMRIボクセル値として、最先端の性能を超える精度で45%の精度で予測することに成功した。
論文 参考訳(メタデータ) (2023-09-26T15:38:26Z) - Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。
本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
論文 参考訳(メタデータ) (2023-03-26T14:14:58Z) - BI AVAN: Brain inspired Adversarial Visual Attention Network [67.05560966998559]
機能的脳活動から直接人間の視覚的注意を特徴付ける脳誘発対人視覚注意ネットワーク(BI-AVAN)を提案する。
本モデルは,人間の脳が監督されていない方法で焦点を絞った映画フレーム内の視覚的物体を識別・発見するために,注意関連・無視対象間の偏りのある競合過程を模倣する。
論文 参考訳(メタデータ) (2022-10-27T22:20:36Z) - Computational imaging with the human brain [1.614301262383079]
脳コンピュータインタフェース(BCI)は、人間の能力を増強するための様々な新しい可能性と経路を可能にしている。
本研究では,人間の視覚システムと適応型計算画像システムを組み合わせた隠れシーンのゴーストイメージングを実演する。
この脳とコンピュータの接続は、将来的に人間の視覚の知覚範囲を拡大する、強化された人間の計算の形式を示している。
論文 参考訳(メタデータ) (2022-10-07T08:40:18Z) - Adapting Brain-Like Neural Networks for Modeling Cortical Visual
Prostheses [68.96380145211093]
皮質補綴は視覚野に移植された装置で、電気的にニューロンを刺激することで失った視力を回復しようとする。
現在、これらのデバイスが提供する視覚は限られており、刺激による視覚知覚を正確に予測することはオープンな課題である。
我々は、視覚システムの有望なモデルとして登場した「脳様」畳み込みニューラルネットワーク(CNN)を活用することで、この問題に対処することを提案する。
論文 参考訳(メタデータ) (2022-09-27T17:33:19Z) - Functional2Structural: Cross-Modality Brain Networks Representation
Learning [55.24969686433101]
脳ネットワーク上のグラフマイニングは、臨床表現型および神経変性疾患のための新しいバイオマーカーの発見を促進する可能性がある。
本稿では,Deep Signed Brain Networks (DSBN) と呼ばれる新しいグラフ学習フレームワークを提案する。
臨床表現型および神経変性疾患予測の枠組みを,2つの独立した公開データセットを用いて検証した。
論文 参考訳(メタデータ) (2022-05-06T03:45:36Z) - NeuroGen: activation optimized image synthesis for discovery
neuroscience [9.621977197691747]
我々はNeuroGenと呼ばれる新しい計算戦略を提案し、限界を克服し、人間の視覚神経科学発見のための強力なツールを開発する。
NeuroGenは、人間の視覚のfMRIで訓練されたニューラルエンコーディングモデルと深層生成ネットワークを組み合わせて、予測された画像を合成し、マクロな脳活性化のターゲットパターンを達成する。
我々はNeuroGenによって作成された少数の合成画像を用いて、視覚刺激に対する局所的および個人的脳反応パターンの違いを検出し、増幅できることを実証した。
論文 参考訳(メタデータ) (2021-05-15T04:36:39Z) - Brain-inspired algorithms for processing of visual data [5.045960549713147]
視覚野のニューロンの機能に関する神経科学的知見に基づく画像処理とコンピュータビジョンのアプローチを概観する。
入力刺激の変化に対する安定性が向上した視覚系を提供するため,一部のニューロンの応答抑制機構に特に注目する。
論文 参考訳(メタデータ) (2021-03-02T10:45:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。