論文の概要: Aligning brain functions boosts the decoding of visual semantics in
novel subjects
- arxiv url: http://arxiv.org/abs/2312.06467v1
- Date: Mon, 11 Dec 2023 15:55:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-12 15:08:41.093575
- Title: Aligning brain functions boosts the decoding of visual semantics in
novel subjects
- Title(参考訳): 脳機能の協調は視覚セマンティクスのデコードを促進する
- Authors: Alexis Thual, Yohann Benchetrit, Felix Geilert, J\'er\'emy Rapin,
Iurii Makarov, Hubert Banville, Jean-R\'emi King
- Abstract要約: 脳の反応をビデオや静止画像に合わせることで脳の復号化を促進することを提案する。
提案手法はオブジェクト外デコード性能を最大75%向上させる。
また、テスト対象者に対して100分未満のデータが得られる場合、古典的な単一オブジェクトアプローチよりも優れています。
- 参考スコア(独自算出の注目度): 3.226564454654026
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep learning is leading to major advances in the realm of brain decoding
from functional Magnetic Resonance Imaging (fMRI). However, the large
inter-subject variability in brain characteristics has limited most studies to
train models on one subject at a time. Consequently, this approach hampers the
training of deep learning models, which typically requires very large datasets.
Here, we propose to boost brain decoding by aligning brain responses to videos
and static images across subjects. Compared to the anatomically-aligned
baseline, our method improves out-of-subject decoding performance by up to 75%.
Moreover, it also outperforms classical single-subject approaches when fewer
than 100 minutes of data is available for the tested subject. Furthermore, we
propose a new multi-subject alignment method, which obtains comparable results
to that of classical single-subject approaches while improving out-of-subject
generalization. Finally, we show that this method aligns neural representations
in accordance with brain anatomy. Overall, this study lays the foundations for
leveraging extensive neuroimaging datasets and enhancing the decoding of
individuals with a limited amount of brain recordings.
- Abstract(参考訳): 深層学習は、機能的磁気共鳴イメージング(fMRI)から脳のデコード領域における大きな進歩につながっている。
しかし、脳特性のサブジェクト間変動が大きいため、ほとんどの研究は一度に一つの被験者でモデルを訓練することに限られている。
その結果、このアプローチは、通常非常に大きなデータセットを必要とするディープラーニングモデルのトレーニングを妨げます。
本稿では,被験者の脳の反応をビデオや静止画像に合わせることで脳の復号化を促進することを提案する。
解剖学的に整合したベースラインと比較して,本手法はオブジェクト外デコード性能を最大75%向上させる。
さらに、テスト対象に100分以下のデータがある場合、従来のシングルサブジェクトアプローチよりも優れています。
さらに,従来の単目的手法に匹敵する結果を得るとともに,対象外一般化を改善した新しい多目的アライメント手法を提案する。
最後に,本手法は,脳解剖学に従って神経表現を整列することを示す。
本研究は、広範にわたる脳画像データセットの活用と、限られた量の脳記録を持つ個体の復号化の促進の基礎を築いた。
関連論文リスト
- Brain-ID: Learning Contrast-agnostic Anatomical Representations for
Brain Imaging [11.06907516321673]
脳画像のための解剖学的表現学習モデルであるBrain-IDを導入する。
提案された"Mild-to-Severe"イントラオブジェクト生成により、Brain-IDは被験者固有の脳解剖に対して堅牢である。
本稿では,物体内および物体間ロバスト性を評価するための新しい指標を提案し,その性能を4つの下流アプリケーションで評価する。
論文 参考訳(メタデータ) (2023-11-28T16:16:10Z) - UniBrain: Universal Brain MRI Diagnosis with Hierarchical
Knowledge-enhanced Pre-training [66.16134293168535]
我々はUniBrainと呼ばれるユニバーサル脳MRI診断のための階層的知識強化事前訓練フレームワークを提案する。
具体的には、UniBrainは、定期的な診断から24,770のイメージレポートペアの大規模なデータセットを活用する。
論文 参考訳(メタデータ) (2023-09-13T09:22:49Z) - Through their eyes: multi-subject Brain Decoding with simple alignment
techniques [0.13812010983144798]
クロスオブジェクトの脳の復号化は可能で、総データの約10%、または982の共通画像を使っても実現可能である。
これにより、より効率的な実験や、この分野のさらなる進歩の道が開ける可能性がある。
論文 参考訳(メタデータ) (2023-08-01T16:07:22Z) - Neural Language Models are not Born Equal to Fit Brain Data, but
Training Helps [75.84770193489639]
音声ブックを聴く被験者の機能的磁気共鳴イメージングの時間軸予測に及ぼすテスト損失,トレーニングコーパス,モデルアーキテクチャの影響について検討した。
各モデルの訓練されていないバージョンは、同じ単語をまたいだ脳反応の類似性を捉えることで、脳内のかなりの量のシグナルをすでに説明していることがわかりました。
ニューラル言語モデルを用いたヒューマン・ランゲージ・システムの説明を目的とした今後の研究の実践を提案する。
論文 参考訳(メタデータ) (2022-07-07T15:37:17Z) - Cross-Modality Deep Feature Learning for Brain Tumor Segmentation [158.8192041981564]
本稿では, マルチモーダルMRIデータから脳腫瘍を抽出するクロスモーダルディープ・フィーチャーラーニング・フレームワークを提案する。
中心となる考え方は、不十分なデータスケールを補うために、マルチモダリティデータにまたがる豊富なパターンをマイニングすることだ。
on the BraTS benchmarks, this proposed cross-modality deep feature learning framework could effective improve the brain tumor segmentation performance。
論文 参考訳(メタデータ) (2022-01-07T07:46:01Z) - Synthetic magnetic resonance images for domain adaptation: Application
to fetal brain tissue segmentation [0.0]
FaBiANを用いて、胎児の脳の様々な現実的な磁気共鳴画像と、そのクラスラベルをシミュレートする。
本研究では,これらの合成アノテートデータを低コストで生成し,さらにターゲット超解像法を用いて再構成することにより,深層学習手法のドメイン適応に成功できることを実証する。
全体として、特に皮質灰白質、白質、小脳、深い灰白質、脳幹において、セグメンテーションの精度が著しく向上する。
論文 参考訳(メタデータ) (2021-11-08T13:22:14Z) - Model-based analysis of brain activity reveals the hierarchy of language
in 305 subjects [82.81964713263483]
言語の神経基盤を分解する一般的なアプローチは、個人間で異なる刺激に対する脳の反応を関連付けている。
そこで本研究では,自然刺激に曝露された被験者に対して,モデルに基づくアプローチが等価な結果が得られることを示す。
論文 参考訳(メタデータ) (2021-10-12T15:30:21Z) - Triplet Contrastive Learning for Brain Tumor Classification [99.07846518148494]
本稿では,脳腫瘍の深層埋め込みを直接学習する手法を提案する。
本手法は,27種類の腫瘍群からなる広範囲な脳腫瘍データセットを用いて評価し,そのうち13種は稀である。
論文 参考訳(メタデータ) (2021-08-08T11:26:34Z) - Deep Recurrent Encoder: A scalable end-to-end network to model brain
signals [122.1055193683784]
複数の被験者の脳応答を一度に予測するために訓練されたエンドツーエンドのディープラーニングアーキテクチャを提案する。
1時間の読解作業で得られた大脳磁図(meg)記録を用いて,このアプローチを検証した。
論文 参考訳(メタデータ) (2021-03-03T11:39:17Z) - Towards a predictive spatio-temporal representation of brain data [0.2580765958706854]
fMRIデータセットは複雑でヘテロジニアスな時系列で構成されていることを示す。
深層学習と幾何学的深層学習の様々なモデリング手法を比較し,今後の研究の道を開く。
私たちは、私たちの方法論の進歩が最終的に、健康と病気の脳のダイナミクスをより微妙に理解することで、臨床的および計算学的に関連があることを期待しています。
論文 参考訳(メタデータ) (2020-02-29T18:49:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。