論文の概要: Toward Generalizing Visual Brain Decoding to Unseen Subjects
- arxiv url: http://arxiv.org/abs/2410.14445v2
- Date: Mon, 21 Oct 2024 01:45:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-22 13:20:40.898252
- Title: Toward Generalizing Visual Brain Decoding to Unseen Subjects
- Title（参考訳）: 見えない被験者への視覚的脳内デコーディングの一般化に向けて
- Authors: Xiangtao Kong, Kexin Huang, Ping Li, Lei Zhang,
- Abstract要約: 我々はまず,Human Connectome Project(HCP)の映画視聴課題において,刺激像とfMRI応答対からなる画像-fMRIデータセットを統合する。
次に,従来の手法のように個人に異なるネットワークヘッドやトークン化器を使わずに,すべての被験者に一様処理を適用する学習パラダイムを提案する。
本研究は,脳活動の個体間における特徴的類似性を明らかにするものである。
- 参考スコア（独自算出の注目度）: 20.897856078151506
- License:
- Abstract: Visual brain decoding aims to decode visual information from human brain activities. Despite the great progress, one critical limitation of current brain decoding research lies in the lack of generalization capability to unseen subjects. Prior works typically focus on decoding brain activity of individuals based on the observation that different subjects exhibit different brain activities, while it remains unclear whether brain decoding can be generalized to unseen subjects. This study aims to answer this question. We first consolidate an image-fMRI dataset consisting of stimulus-image and fMRI-response pairs, involving 177 subjects in the movie-viewing task of the Human Connectome Project (HCP). This dataset allows us to investigate the brain decoding performance with the increase of participants. We then present a learning paradigm that applies uniform processing across all subjects, instead of employing different network heads or tokenizers for individuals as in previous methods, which can accommodate a large number of subjects to explore the generalization capability across different subjects. A series of experiments are conducted and we have the following findings. First, the network exhibits clear generalization capabilities with the increase of training subjects. Second, the generalization capability is common to popular network architectures (MLP, CNN and Transformer). Third, the generalization performance is affected by the similarity between subjects. Our findings reveal the inherent similarities in brain activities across individuals. With the emerging of larger and more comprehensive datasets, it is possible to train a brain decoding foundation model in the future. Codes and models can be found at https://github.com/Xiangtaokong/TGBD.
- Abstract（参考訳）: 視覚脳復号は、人間の脳の活動から視覚情報を復号することを目的としている。
大きな進歩にもかかわらず、現在の脳の復号化研究における重要な制限の一つは、目に見えない被験者への一般化能力の欠如にある。
従来の研究は、異なる被験者が異なる脳活動を示すという観察に基づいて、個人の脳活動の復号化に焦点を当てていたが、脳の復号化が見えない被験者に一般化できるかどうかは不明である。
この研究はこの問題に答えることを目的としている。
我々はまず,Human Connectome Project (HCP) の映画視聴課題において,刺激像とfMRI応答対からなる画像-fMRIデータセットを統合する。
このデータセットにより、参加者の増加とともに脳の復号性能を調べることができる。
次に,従来の手法のように個人ごとに異なるネットワークヘッドやトークン化器を使わずに,全対象に対して一様処理を適用する学習パラダイムを提案する。
一連の実験を行い,以下の知見を得た。
まず、ネットワークは、トレーニング対象の増加とともに、明確な一般化能力を示す。
第二に、一般化機能は一般的なネットワークアーキテクチャ(MLP、CNN、Transformer)に共通している。
第3に、一般化性能は被験者間の類似性に影響される。
本研究は,脳活動の個体間における特徴的類似性を明らかにするものである。
より大規模で包括的なデータセットの出現により、将来的には脳のデコード基盤モデルをトレーニングすることが可能になった。
コードとモデルはhttps://github.com/Xiangtaokong/TGBDで見ることができる。
関連論文リスト
- Brain-like Functional Organization within Large Language Models [58.93629121400745]
人間の脳は長い間人工知能(AI)の追求にインスピレーションを与えてきた
最近のニューロイメージング研究は、人工ニューラルネットワーク(ANN)の計算的表現と、人間の脳の刺激に対する神経反応との整合性の説得力のある証拠を提供する。
本研究では、人工ニューロンのサブグループと機能的脳ネットワーク(FBN)を直接結合することで、このギャップを埋める。
このフレームワークはANサブグループをFBNにリンクし、大きな言語モデル(LLM)内で脳に似た機能的組織を記述できる。
論文 参考訳（メタデータ） (2024-10-25T13:15:17Z) - Knowledge-Guided Prompt Learning for Lifespan Brain MR Image Segmentation [53.70131202548981]
本稿では,脳MRIにKGPL(Knowledge-Guided Prompt Learning)を用いた2段階のセグメンテーションフレームワークを提案する。
具体的には,大規模データセットと準最適ラベルを用いたトレーニング前セグメンテーションモデルについて述べる。
知識的プロンプトの導入は、解剖学的多様性と生物学的プロセスの間の意味的関係を捉えている。
論文 参考訳（メタデータ） (2024-07-31T04:32:43Z) - The Wisdom of a Crowd of Brains: A Universal Brain Encoder [10.127005930959823]
我々は,様々な主題/データセット/マシンのデータに基づいて,共同で学習できるユニバーサル脳エンコーダを提案する。
各画像における各脳軸の反応を予測するための訓練は,脳軸の埋め込みと多段階の深部画像特徴の相互注意を直接計算することで行う。
このボクセル中心のアーキテクチャにより、各脳のボクセルの機能的役割は、自然にボクセル・イメージのクロスアテンションから生じる。
論文 参考訳（メタデータ） (2024-06-18T01:17:07Z) - BRACTIVE: A Brain Activation Approach to Human Visual Brain Learning [11.517021103782229]
本稿では,脳活動ネットワーク(BRACTIVE)について紹介する。
BRACTIVEの主な目的は、被験者の視覚的特徴をfMRI信号を介して対応する脳表現と整合させることである。
実験の結果, BRACTIVEは顔や身体選択領域など, 個人特有の関心領域を効果的に識別できることがわかった。
論文 参考訳（メタデータ） (2024-05-29T06:50:13Z) - Wills Aligner: A Robust Multi-Subject Brain Representation Learner [19.538200208523467]
本稿では,頑健な多目的脳表現学習者であるWills Alignerを紹介する。
ウィルズ・アリグナーは最初、解剖学的レベルで異なる被験者の脳を調整した。
個々の認知パターンを学習するために、脳の専門家が混在している。
論文 参考訳（メタデータ） (2024-04-20T06:01:09Z) - MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。
現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。
我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
論文 参考訳（メタデータ） (2024-04-11T15:46:42Z) - Aligning brain functions boosts the decoding of visual semantics in
novel subjects [3.226564454654026]
脳の反応をビデオや静止画像に合わせることで脳の復号化を促進することを提案する。
提案手法はオブジェクト外デコード性能を最大75%向上させる。
また、テスト対象者に対して100分未満のデータが得られる場合、古典的な単一オブジェクトアプローチよりも優れています。
論文 参考訳（メタデータ） (2023-12-11T15:55:20Z) - Brain Decodes Deep Nets [9.302098067235507]
我々は、脳にマッピングすることで、大きな訓練済み視覚モデルの可視化と解析を行うツールを開発した。
私たちのイノベーションは、画像に反応して脳のfMRI測定を予測する脳エンコーディングの驚くべき利用から生まれます。
論文 参考訳（メタデータ） (2023-12-03T04:36:04Z) - Affect Analysis in-the-wild: Valence-Arousal, Expressions, Action Units
and a Unified Framework [83.21732533130846]
Aff-Wild と Aff-Wild2 の2つである。
これは、これらのデータベースで訓練された深層ニューラルネットワークの2つのクラスの設計を示す。
インパクト認識を共同で学び、効果的に一般化し、実行することができる新しいマルチタスクおよび全体主義のフレームワークが提示されます。
論文 参考訳（メタデータ） (2021-03-29T17:36:20Z) - What Can You Learn from Your Muscles? Learning Visual Representation
from Human Interactions [50.435861435121915]
視覚のみの表現よりも優れた表現を学べるかどうかを調べるために,人間のインタラクションとアテンション・キューを用いている。
実験の結果,我々の「音楽監督型」表現は,視覚のみの最先端手法であるMoCoよりも優れていた。
論文 参考訳（メタデータ） (2020-10-16T17:46:53Z) - Interpretation of 3D CNNs for Brain MRI Data Classification [56.895060189929055]
T1脳MRIにおける拡散テンソル画像の男女差について,これまでの知見を拡張した。
ボクセルの3次元CNN解釈を3つの解釈法の結果と比較する。
論文 参考訳（メタデータ） (2020-06-20T17:56:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。