論文の概要: The Wisdom of a Crowd of Brains: A Universal Brain Encoder
- arxiv url: http://arxiv.org/abs/2406.12179v1
- Date: Tue, 18 Jun 2024 01:17:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-19 23:18:17.377121
- Title: The Wisdom of a Crowd of Brains: A Universal Brain Encoder
- Title（参考訳）: 脳の群れの知恵:ユニバーサル脳エンコーダー
- Authors: Roman Beliy, Navve Wasserman, Amit Zalcher, Michal Irani,
- Abstract要約: 我々は,様々な主題/データセット/マシンのデータに基づいて,共同で学習できるユニバーサル脳エンコーダを提案する。
各画像における各脳軸の反応を予測するための訓練は,脳軸の埋め込みと多段階の深部画像特徴の相互注意を直接計算することで行う。
このボクセル中心のアーキテクチャにより、各脳のボクセルの機能的役割は、自然にボクセル・イメージのクロスアテンションから生じる。
- 参考スコア（独自算出の注目度）: 10.127005930959823
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Image-to-fMRI encoding is important for both neuroscience research and practical applications. However, such "Brain-Encoders" have been typically trained per-subject and per fMRI-dataset, thus restricted to very limited training data. In this paper we propose a Universal Brain-Encoder, which can be trained jointly on data from many different subjects/datasets/machines. What makes this possible is our new voxel-centric Encoder architecture, which learns a unique "voxel-embedding" per brain-voxel. Our Encoder trains to predict the response of each brain-voxel on every image, by directly computing the cross-attention between the brain-voxel embedding and multi-level deep image features. This voxel-centric architecture allows the functional role of each brain-voxel to naturally emerge from the voxel-image cross-attention. We show the power of this approach to (i) combine data from multiple different subjects (a "Crowd of Brains") to improve each individual brain-encoding, (ii) quick & effective Transfer-Learning across subjects, datasets, and machines (e.g., 3-Tesla, 7-Tesla), with few training examples, and (iii) use the learned voxel-embeddings as a powerful tool to explore brain functionality (e.g., what is encoded where in the brain).
- Abstract（参考訳）: 画像からfMRIの符号化は神経科学研究と実践的応用の両方において重要である。
しかしながら、このような"Brain-Encoders"は、通常、オブジェクトごと、fMRIデータセットごとに訓練されており、非常に限られたトレーニングデータに制限されている。
本稿では,さまざまな主題/データセット/マシンのデータに基づいて,共同で学習可能なユニバーサル脳エンコーダを提案する。
これを可能にするのは、新しいボクセル中心のエンコーダアーキテクチャです。
エンコーダは、脳のボクセル埋め込みとマルチレベルのディープイメージ特徴の相互注意を直接計算することで、各画像における各脳のボクセルの反応を予測するように訓練します。
このボクセル中心のアーキテクチャにより、各脳のボクセルの機能的役割は、自然にボクセル・イメージのクロスアテンションから生じる。
私たちはこのアプローチの力を示します。
(i)複数の被験者(「脳の群集」)のデータを組み合わせて各脳のエンコーディングを改善すること。
(ii) 被験者、データセット、機械(例えば、3つのTesla、7-Tesla)の高速かつ効果的なトランスファーラーニング。
三 学習したボクセル埋め込みを脳機能(例えば脳のどこにエンコードされているか)を探索するための強力なツールとして用いること。
関連論文リスト
- Toward Generalizing Visual Brain Decoding to Unseen Subjects [20.897856078151506]
我々はまず,Human Connectome Project(HCP)の映画視聴課題において,刺激像とfMRI応答対からなる画像-fMRIデータセットを統合する。
次に,従来の手法のように個人に異なるネットワークヘッドやトークン化器を使わずに,すべての被験者に一様処理を適用する学習パラダイムを提案する。
本研究は,脳活動の個体間における特徴的類似性を明らかにするものである。
論文 参考訳（メタデータ） (2024-10-18T13:04:35Z) - MindSemantix: Deciphering Brain Visual Experiences with a Brain-Language Model [45.18716166499859]
fMRIで捉えた脳の活動を通して人間の視覚体験を解読することは、魅力的で最先端の課題である。
我々は、LLMが視覚的に誘発される脳活動のセマンティックな内容を理解することができる新しいマルチモーダルフレームワークであるMindSemantixを紹介した。
MindSemantixは、脳の活動から派生した視覚情報と意味情報に深く根ざした高品質なキャプションを生成する。
論文 参考訳（メタデータ） (2024-05-29T06:55:03Z) - BrainODE: Dynamic Brain Signal Analysis via Graph-Aided Neural Ordinary Differential Equations [67.79256149583108]
本稿では,脳波を連続的にモデル化するBrainODEというモデルを提案する。
遅延初期値とニューラルODE関数を不規則な時系列から学習することにより、BrainODEは任意の時点の脳信号を効果的に再構築する。
論文 参考訳（メタデータ） (2024-04-30T10:53:30Z) - MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。
現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。
我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
論文 参考訳（メタデータ） (2024-04-11T15:46:42Z) - fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for
Multi-Subject Brain Activity Decoding [54.17776744076334]
本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。
我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。
コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
論文 参考訳（メタデータ） (2023-11-01T07:24:22Z) - UniBrain: Universal Brain MRI Diagnosis with Hierarchical
Knowledge-enhanced Pre-training [66.16134293168535]
我々はUniBrainと呼ばれるユニバーサル脳MRI診断のための階層的知識強化事前訓練フレームワークを提案する。
具体的には、UniBrainは、定期的な診断から24,770のイメージレポートペアの大規模なデータセットを活用する。
論文 参考訳（メタデータ） (2023-09-13T09:22:49Z) - BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP
for Generic Natural Visual Stimulus Decoding [51.911473457195555]
BrainCLIPはタスクに依存しないfMRIベースの脳復号モデルである。
脳の活動、画像、およびテキストの間のモダリティギャップを埋める。
BrainCLIPは、高い意味的忠実度で視覚刺激を再構築することができる。
論文 参考訳（メタデータ） (2023-02-25T03:28:54Z) - MindBigData 2022 A Large Dataset of Brain Signals [0.0]
MindBigDataは、多様な人間の活動に関連する脳信号の包括的かつ更新されたデータセットを提供することを目指している。
各サブデータセットのデータ収集手順と,それらを取得するために使用するヘッドセットについて述べる。
また、何十億もの生命に影響を及ぼす可能性のある脳コンピュータインタフェース(BCI)の分野での応用の可能性についても報告する。
論文 参考訳（メタデータ） (2022-12-27T21:15:13Z) - Decoding Visual Neural Representations by Multimodal Learning of
Brain-Visual-Linguistic Features [9.783560855840602]
本稿では,脳-視覚-言語的特徴の多モーダル学習を用いたBraVLと呼ばれる汎用的ニューラルデコーディング手法を提案する。
マルチモーダル深部生成モデルを用いて,脳,視覚,言語的特徴の関係をモデル化することに注力する。
特に、BraVLモデルは、様々な半教師付きシナリオの下でトレーニングでき、余分なカテゴリから得られる視覚的特徴とテキスト的特徴を組み込むことができる。
論文 参考訳（メタデータ） (2022-10-13T05:49:33Z) - Explainable fMRI-based Brain Decoding via Spatial Temporal-pyramid Graph
Convolutional Network [0.8399688944263843]
既存のfMRIベースの脳デコードのための機械学習手法は、分類性能が低いか、説明性が悪いかのいずれかに悩まされている。
本稿では,機能的脳活動の時空間グラフ表現を捉えるために,生物学的にインスパイアされたアーキテクチャである時空間ピラミドグラフ畳み込みネットワーク(STpGCN)を提案する。
我々は,Human Connectome Project (HCP) S1200から23の認知タスク下でのfMRIデータに関する広範な実験を行った。
論文 参考訳（メタデータ） (2022-10-08T12:14:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。