論文の概要: Spatial encoding of BOLD fMRI time series for categorizing static images across visual datasets: A pilot study on human vision

• arxiv url: http://arxiv.org/abs/2309.03590v1
• Date: Thu, 7 Sep 2023 09:31:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-08 13:37:22.156166
• Title: Spatial encoding of BOLD fMRI time series for categorizing static images across visual datasets: A pilot study on human vision
• Title（参考訳）: 視覚データセットにまたがる静的画像分類のための大胆なfmri時系列の空間符号化:人間の視覚に関するパイロット研究
• Authors: Vamshi K. Kancharala, Debanjali Bhattacharya and Neelam Sinha
• Abstract要約: 視覚に関連する神経活動の違いを理解するために、fMRI時系列(TS)を用いて特定の画像分類を行う。 視覚を理解するためには、異なる画像を見ながら脳がどのように機能するかを研究することが重要である。 並列CNNモデルは、マルチクラス分類において7%向上した他のネットワークモデルよりも優れていた。
• 参考スコア（独自算出の注目度）: 3.038642416291856
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Functional MRI (fMRI) is widely used to examine brain functionality by detecting alteration in oxygenated blood flow that arises with brain activity. In this study, complexity specific image categorization across different visual datasets is performed using fMRI time series (TS) to understand differences in neuronal activities related to vision. Publicly available BOLD5000 dataset is used for this purpose, containing fMRI scans while viewing 5254 images of diverse categories, drawn from three standard computer vision datasets: COCO, ImageNet and SUN. To understand vision, it is important to study how brain functions while looking at different images. To achieve this, spatial encoding of fMRI BOLD TS has been performed that uses classical Gramian Angular Field (GAF) and Markov Transition Field (MTF) to obtain 2D BOLD TS, representing images of COCO, Imagenet and SUN. For classification, individual GAF and MTF features are fed into regular CNN. Subsequently, parallel CNN model is employed that uses combined 2D features for classifying images across COCO, Imagenet and SUN. The result of 2D CNN models is also compared with 1D LSTM and Bi-LSTM that utilizes raw fMRI BOLD signal for classification. It is seen that parallel CNN model outperforms other network models with an improvement of 7% for multi-class classification. Clinical relevance- The obtained result of this analysis establishes a baseline in studying how differently human brain functions while looking at images of diverse complexities.
• Abstract（参考訳）: 機能MRI(Functional MRI)は脳活動に伴う酸素化血流の変化を検出することで脳機能を調べるために広く用いられている。 本研究では,視覚に関連する神経活動の違いを理解するために,fMRI時系列(TS)を用いて,異なる視覚データセット間での複雑性特異的画像分類を行う。 この目的で一般公開されているbold5000データセットは、coco、imagenet、sunの3つの標準的なコンピュータビジョンデータセットから引き出された5254の画像を見ながら、fmriスキャンを含む。 視覚を理解するには、異なる画像を見ながら脳がどのように機能するかを研究することが重要である。 これを実現するために、従来のグラミアン角場(GAF)とマルコフ遷移場(MTF)を用いてCOCO、Imagenet、SUNの画像を表す2次元BOLD TSを得るfMRI BOLD TSの空間符号化が行われた。 分類において、個々のGAFとMTFの特徴は通常のCNNに供給される。 その後、COCO、Imagenet、SUNにまたがる画像の分類に2D機能を組み合わせた並列CNNモデルが採用された。 また、2次元CNNモデルの結果を、生のfMRI BOLD信号を用いた1次元LSTMとBi-LSTMと比較した。 並列cnnモデルは他のネットワークモデルよりも優れており、マルチクラス分類では7%改善されている。 臨床関連性-この分析の結果は、多様な複雑さの画像を見ながら、人間の脳がどう機能するかを研究する基準となる。

関連論文リスト

• MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
  本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。 このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。 実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
  論文  参考訳（メタデータ） (2024-05-28T00:36:25Z)
• NeuroPictor: Refining fMRI-to-Image Reconstruction via Multi-individual Pretraining and Multi-level Modulation [55.51412454263856]
  本稿では,fMRI信号を用いた拡散モデル生成過程を直接変調することを提案する。 様々な個人から約67,000 fMRI-imageペアのトレーニングを行うことで,fMRI-to-imageデコーディング能力に優れたモデルが得られた。
  論文  参考訳（メタデータ） (2024-03-27T02:42:52Z)
• nnMamba: 3D Biomedical Image Segmentation, Classification and Landmark Detection with State Space Model [24.955052600683423]
  本稿では、CNNの強みとステートスペースシーケンスモデル(SSM)の高度な長距離モデリング機能を統合する新しいアーキテクチャであるnnMambaを紹介する。 6つのデータセットの実験では、3D画像のセグメンテーション、分類、ランドマーク検出など、一連の困難なタスクにおいて、nnMambaが最先端のメソッドよりも優れていることが示されている。
  論文  参考訳（メタデータ） (2024-02-05T21:28:47Z)
• Learning Multimodal Volumetric Features for Large-Scale Neuron Tracing [72.45257414889478]
  オーバーセグメントニューロン間の接続を予測し,人間の作業量を削減することを目的としている。 最初はFlyTracingという名前のデータセットを構築しました。 本稿では,高密度なボリュームEM画像の埋め込みを生成するための,新しい接続性を考慮したコントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2024-01-05T19:45:12Z)
• Image complexity based fMRI-BOLD visual network categorization across visual datasets using topological descriptors and deep-hybrid learning [3.522950356329991]
  本研究の目的は,視覚的データセットと異なる視覚刺激に応答して,ネットワークトポロジがどう異なるかを検討することである。 これを実現するために、COCO、ImageNet、SUNを表す視覚ネットワーク毎に0次元および1次元の永続図を演算する。 抽出したK平均クラスター特徴は、これらの視覚ネットワークの分類において90%-95%の範囲で精度の高い新しいディープハイブリッドモデルに供給される。
  論文  参考訳（メタデータ） (2023-11-03T14:05:57Z)
• Investigating the changes in BOLD responses during viewing of images with varied complexity: An fMRI time-series based analysis on human vision [2.7036595757881323]
  本研究の目的は、fMRI時系列解析(TS)を用いて、画像の視認における人間の脳反応の神経学的変化について検討することである。 最初の研究では、画像の複雑性に特有のfMRI TSを分類するために、古典的な機械学習とディープラーニング戦略を採用している。 この分析によって得られた結果は、多種多様な複雑度の画像を観察しながら、人間の脳機能の違いを研究する上での基礎となるものとなった。
  論文  参考訳（メタデータ） (2023-09-27T08:46:09Z)
• CoNeS: Conditional neural fields with shift modulation for multi-sequence MRI translation [5.662694302758443]
  マルチシーケンスMRI(Multi-sequence magnetic resonance imaging)は、現代の臨床研究とディープラーニング研究の両方に広く応用されている。 画像取得プロトコルの違いや、患者のコントラスト剤の禁忌が原因で、MRIの1つ以上の配列が欠落することがしばしば起こる。 1つの有望なアプローチは、生成モデルを利用して欠落したシーケンスを合成することであり、これはサロゲート獲得の役割を果たす。
  論文  参考訳（メタデータ） (2023-09-06T19:01:58Z)
• JGAT: a joint spatio-temporal graph attention model for brain decoding [8.844033583141039]
  Joint kernel Graph Attention Network (JGAT)は、新しいマルチモーダル時間グラフアテンションネットワークフレームワークである。 ダイナミックな情報を保存しながら、機能的磁気共鳴画像(fMRI)と拡散重み画像(DWI)からのデータを統合する。 我々は4つの独立したデータセット上でJGATでブレインデコーディングタスクを行います。
  論文  参考訳（メタデータ） (2023-06-03T02:45:03Z)
• BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP for Generic Natural Visual Stimulus Decoding [51.911473457195555]
  BrainCLIPはタスクに依存しないfMRIベースの脳復号モデルである。 脳の活動、画像、およびテキストの間のモダリティギャップを埋める。 BrainCLIPは、高い意味的忠実度で視覚刺激を再構築することができる。
  論文  参考訳（メタデータ） (2023-02-25T03:28:54Z)
• Two-Stream Graph Convolutional Network for Intra-oral Scanner Image Segmentation [133.02190910009384]
  本稿では,2ストリームグラフ畳み込みネットワーク(TSGCN)を提案する。 TSGCNは3次元歯(表面)セグメンテーションにおいて最先端の方法よりも優れています。
  論文  参考訳（メタデータ） (2022-04-19T10:41:09Z)
• Comparisons among different stochastic selection of activation layers for convolutional neural networks for healthcare [77.99636165307996]
  ニューラルネットワークのアンサンブルを用いて生体医用画像の分類を行う。 ReLU, leaky ReLU, Parametric ReLU, ELU, Adaptive Piecewice Linear Unit, S-Shaped ReLU, Swish, Mish, Mexican Linear Unit, Parametric Deformable Linear Unit, Soft Root Sign。
  論文  参考訳（メタデータ） (2020-11-24T01:53:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。