論文の概要: BrainCodec: Neural fMRI codec for the decoding of cognitive brain states
- arxiv url: http://arxiv.org/abs/2410.04383v1
- Date: Sun, 6 Oct 2024 07:38:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-02 08:10:32.580873
- Title: BrainCodec: Neural fMRI codec for the decoding of cognitive brain states
- Title（参考訳）: BrainCodec:認知脳状態の復号のためのニューラルfMRIコーデック
- Authors: Yuto Nishimura, Masataka Sawayama, Ayumu Yamashita, Hideki Nakayama, Kaoru Amano,
- Abstract要約: ニューラルオーディオに触発された新しいfMRIであるBrainCodecを提案する。
精神状態復号におけるBrainCodecの圧縮能力を評価し、従来の方法よりもさらに改善したことを示す。
我々は、BrainCodecを用いたfMRI再構成により、高いSNRを達成することにより、脳活動の可視性を高めることができることを示した。
- 参考スコア（独自算出の注目度）: 15.002097577688469
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, leveraging big data in deep learning has led to significant performance improvements, as confirmed in applications like mental state decoding using fMRI data. However, fMRI datasets remain relatively small in scale, and the inherent issue of low signal-to-noise ratios (SNR) in fMRI data further exacerbates these challenges. To address this, we apply compression techniques as a preprocessing step for fMRI data. We propose BrainCodec, a novel fMRI codec inspired by the neural audio codec. We evaluated BrainCodec's compression capability in mental state decoding, demonstrating further improvements over previous methods. Furthermore, we analyzed the latent representations obtained through BrainCodec, elucidating the similarities and differences between task and resting state fMRI, highlighting the interpretability of BrainCodec. Additionally, we demonstrated that fMRI reconstructions using BrainCodec can enhance the visibility of brain activity by achieving higher SNR, suggesting its potential as a novel denoising method. Our study shows that BrainCodec not only enhances performance over previous methods but also offers new analytical possibilities for neuroscience. Our codes, dataset, and model weights are available at https://github.com/amano-k-lab/BrainCodec.
- Abstract（参考訳）: 近年、ディープラーニングにおけるビッグデータの活用は、fMRIデータを用いたメンタルステートデコーディングなどのアプリケーションで確認されたように、大幅なパフォーマンス向上につながっている。
しかし、fMRIデータセットの規模は比較的小さく、fMRIデータにおける低信号対雑音比(SNR)の固有の問題は、これらの課題をさらに悪化させる。
これを解決するために、fMRIデータの前処理ステップとして圧縮技術を適用する。
ニューラルオーディオコーデックに触発された新しいfMRIコーデックであるBrainCodecを提案する。
我々は、ブレインコーデックの精神状態復号における圧縮能力を評価し、従来の方法よりもさらに改善したことを示す。
さらに、BrainCodecを用いて得られた潜伏表現を分析し、タスクと静止状態fMRIの類似点と相違点を解明し、BrainCodecの解釈可能性を強調した。
また,BrainCodecを用いたfMRI再構成により,高いSNRを達成し,脳活動の可視性を高めることが実証された。
我々の研究は、BrainCodecが従来の方法よりも性能を高めるだけでなく、ニューロサイエンスに新たな分析可能性をもたらすことを示している。
私たちのコード、データセット、モデルウェイトはhttps://github.com/amano-k-lab/BrainCodec.comで公開されています。
関連論文リスト
- Large Language Model-based FMRI Encoding of Language Functions for Subjects with Neurocognitive Disorder [53.575426835313536]
LLMを用いたfMRIエンコーディングと脳のスコアを用いた高齢者の言語関連機能変化について検討する。
脳のスコアと認知スコアの相関関係を脳全体のROIと言語関連ROIの両方で分析した。
以上の結果から,認知能力の向上は,中側頭回に有意な相関がみられた。
論文 参考訳（メタデータ） (2024-07-15T01:09:08Z) - R&B -- Rhythm and Brain: Cross-subject Decoding of Music from Human Brain Activity [0.12289361708127873]
音楽は、文化全体にわたる人間の経験に大きな影響を及ぼす普遍的な現象である。
本研究では,音楽の知覚における機能的MRI(FMRI)を用いた人間の脳活動から,音楽の復号化が可能であるかを検討した。
論文 参考訳（メタデータ） (2024-06-21T17:11:45Z) - BrainChat: Decoding Semantic Information from fMRI using Vision-language Pretrained Models [0.0]
本稿では,脳活動からのセマンティック情報デコーディングタスクの高速化を目的とした生成フレームワークであるBrainChatを提案する。
BrainChatはfMRI質問応答とfMRIキャプションを実装している。
BrainChatは非常にフレキシブルで、画像データなしで高いパフォーマンスを実現できます。
論文 参考訳（メタデータ） (2024-06-10T12:06:15Z) - MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。
このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。
実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
論文 参考訳（メタデータ） (2024-05-28T00:36:25Z) - BrainODE: Dynamic Brain Signal Analysis via Graph-Aided Neural Ordinary Differential Equations [67.79256149583108]
本稿では,脳波を連続的にモデル化するBrainODEというモデルを提案する。
遅延初期値とニューラルODE関数を不規則な時系列から学習することにより、BrainODEは任意の時点の脳信号を効果的に再構築する。
論文 参考訳（メタデータ） (2024-04-30T10:53:30Z) - MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。
現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。
我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
論文 参考訳（メタデータ） (2024-04-11T15:46:42Z) - NeuroCine: Decoding Vivid Video Sequences from Human Brain Activties [23.893490180665996]
本稿では,fMRIデータを復号化するための新たな二相フレームワークであるNeuroCineを紹介する。
公開されているfMRIデータセットでテストした結果,有望な結果が得られた。
このモデルが既存の脳構造や機能と一致し,その生物学的妥当性と解釈可能性を示すことが示唆された。
論文 参考訳（メタデータ） (2024-02-02T17:34:25Z) - fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for
Multi-Subject Brain Activity Decoding [54.17776744076334]
本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。
我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。
コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
論文 参考訳（メタデータ） (2023-11-01T07:24:22Z) - DeepBrainPrint: A Novel Contrastive Framework for Brain MRI
Re-Identification [2.5855676778881334]
我々はDeepBrainPrintというAIベースのフレームワークを提案し、同じ患者の脳MRIスキャンを検索する。
当社のフレームワークは,3つの主要なイノベーションを伴う,半自己指導型のコントラスト型ディープラーニングアプローチです。
DeepBrainPrintをアルツハイマー病脳画像イニシアチブ(ADNI)のT1強調脳MRIの大規模なデータセットでテストした。
論文 参考訳（メタデータ） (2023-02-25T11:03:16Z) - BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP
for Generic Natural Visual Stimulus Decoding [51.911473457195555]
BrainCLIPはタスクに依存しないfMRIベースの脳復号モデルである。
脳の活動、画像、およびテキストの間のモダリティギャップを埋める。
BrainCLIPは、高い意味的忠実度で視覚刺激を再構築することができる。
論文 参考訳（メタデータ） (2023-02-25T03:28:54Z) - Explainable fMRI-based Brain Decoding via Spatial Temporal-pyramid Graph
Convolutional Network [0.8399688944263843]
既存のfMRIベースの脳デコードのための機械学習手法は、分類性能が低いか、説明性が悪いかのいずれかに悩まされている。
本稿では,機能的脳活動の時空間グラフ表現を捉えるために,生物学的にインスパイアされたアーキテクチャである時空間ピラミドグラフ畳み込みネットワーク(STpGCN)を提案する。
我々は,Human Connectome Project (HCP) S1200から23の認知タスク下でのfMRIデータに関する広範な実験を行った。
論文 参考訳（メタデータ） (2022-10-08T12:14:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。