論文の概要: MindEye2: Shared-Subject Models Enable fMRI-To-Image With 1 Hour of Data
- arxiv url: http://arxiv.org/abs/2403.11207v1
- Date: Sun, 17 Mar 2024 13:15:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-19 17:56:21.662379
- Title: MindEye2: Shared-Subject Models Enable fMRI-To-Image With 1 Hour of Data
- Title（参考訳）: MindEye2:1時間のデータでfMRIと画像を共有できるオブジェクトモデル
- Authors: Paul S. Scotti, Mihir Tripathy, Cesar Kadir Torrico Villanueva, Reese Kneeland, Tong Chen, Ashutosh Narang, Charan Santhirasegaran, Jonathan Xu, Thomas Naselaris, Kenneth A. Norman, Tanishq Mathew Abraham,
- Abstract要約: この研究は、1時間分のfMRIトレーニングデータを使用して高品質な再構成を行う。
MindEye2は、MRI施設への単一の訪問から、いかに正確に知覚の再構築が可能かを実証する。
- 参考スコア（独自算出の注目度）: 3.4519044254894515
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reconstructions of visual perception from brain activity have improved tremendously, but the practical utility of such methods has been limited. This is because such models are trained independently per subject where each subject requires dozens of hours of expensive fMRI training data to attain high-quality results. The present work showcases high-quality reconstructions using only 1 hour of fMRI training data. We pretrain our model across 7 subjects and then fine-tune on minimal data from a new subject. Our novel functional alignment procedure linearly maps all brain data to a shared-subject latent space, followed by a shared non-linear mapping to CLIP image space. We then map from CLIP space to pixel space by fine-tuning Stable Diffusion XL to accept CLIP latents as inputs instead of text. This approach improves out-of-subject generalization with limited training data and also attains state-of-the-art image retrieval and reconstruction metrics compared to single-subject approaches. MindEye2 demonstrates how accurate reconstructions of perception are possible from a single visit to the MRI facility. All code is available on GitHub.
- Abstract（参考訳）: 脳活動からの視覚的知覚の再構築は著しく改善されているが、そのような手法の実用性は限られている。
これは、高品質な結果を得るためには、被験者ごとに何十時間もの高価なfMRIトレーニングデータを必要とするためである。
本研究は1時間 fMRI トレーニングデータを用いて高品質な再構成を行う。
7つの被験者にまたがってモデルを事前トレーニングし、新しい被験者から最小限のデータに基づいて微調整します。
新規な機能的アライメント法では、すべての脳データを共有オブジェクト潜在空間に線形にマッピングし、CLIP画像空間への共有非線形マッピングを行った。
次に、CLIP空間からピクセル空間へ、安定拡散XLを微調整してマッピングし、テキストの代わりにCLIPラテントを入力として受け入れます。
このアプローチは、限られた訓練データを用いてオブジェクト外一般化を改善し、また、単一のオブジェクトアプローチと比較して、最先端の画像検索と再構築のメトリクスを得る。
MindEye2は、MRI施設への単一の訪問から、いかに正確に知覚の再構築が可能かを実証する。
すべてのコードはGitHubで入手できる。
関連論文リスト
- Unlocking the Power of Spatial and Temporal Information in Medical Multimodal Pre-training [99.2891802841936]
我々は,空間的・時間的微粒なモデリングのためのMed-STフレームワークを提案する。
空間モデリングでは、Med-STはMixture of View Expert (MoVE)アーキテクチャを使用して、正面と横の両方のビューから異なる視覚的特徴を統合する。
時間的モデリングのために,フォワードマッピング分類 (FMC) とリバースマッピング回帰 (RMR) による新たな双方向サイクル整合性目標を提案する。
論文 参考訳（メタデータ） (2024-05-30T03:15:09Z) - See Through Their Minds: Learning Transferable Neural Representation from Cross-Subject fMRI [32.40827290083577]
機能的磁気共鳴イメージング(fMRI)からの視覚内容の解読は、人間の視覚系を照らすのに役立つ。
従来のアプローチは主に、トレーニングサンプルサイズに敏感な、主題固有のモデルを採用していた。
本稿では,fMRIデータを統合表現にマッピングするための,サブジェクト固有の浅層アダプタを提案する。
トレーニング中,マルチモーダル脳復号における視覚的・テキスト的監督の両面を活用する。
論文 参考訳（メタデータ） (2024-03-11T01:18:49Z) - Learning Multimodal Volumetric Features for Large-Scale Neuron Tracing [72.45257414889478]
オーバーセグメントニューロン間の接続を予測し,人間の作業量を削減することを目的としている。
最初はFlyTracingという名前のデータセットを構築しました。
本稿では,高密度なボリュームEM画像の埋め込みを生成するための,新しい接続性を考慮したコントラスト学習手法を提案する。
論文 参考訳（メタデータ） (2024-01-05T19:45:12Z) - CMRxRecon: An open cardiac MRI dataset for the competition of
accelerated image reconstruction [62.61209705638161]
ディープラーニングベースのCMRイメージングアルゴリズムへの関心が高まっている。
ディープラーニング手法は大規模なトレーニングデータセットを必要とする。
このデータセットには300人の被験者のマルチコントラスト、マルチビュー、マルチスライス、マルチコイルCMRイメージングデータが含まれている。
論文 参考訳（メタデータ） (2023-09-19T15:14:42Z) - Through their eyes: multi-subject Brain Decoding with simple alignment
techniques [0.13812010983144798]
クロスオブジェクトの脳の復号化は可能で、総データの約10%、または982の共通画像を使っても実現可能である。
これにより、より効率的な実験や、この分野のさらなる進歩の道が開ける可能性がある。
論文 参考訳（メタデータ） (2023-08-01T16:07:22Z) - LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical
Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。
55の公開データセットから約13万の医療画像を収集しました。
LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文 参考訳（メタデータ） (2023-06-20T22:21:34Z) - Dual-Domain Self-Supervised Learning for Accelerated Non-Cartesian MRI
Reconstruction [14.754843942604472]
非カルテシアンMRIの再生を高速化するための完全自己教師型アプローチを提案する。
トレーニングでは、アンダーサンプリングされたデータは、非結合のk空間ドメイン分割に分割される。
画像レベルの自己スーパービジョンでは、元のアンサンプデータから得られる外観整合性を強制する。
論文 参考訳（メタデータ） (2023-02-18T06:11:49Z) - Mind Reader: Reconstructing complex images from brain activities [16.78619734818198]
我々はfMRI(機能的磁気共鳴画像)信号から複雑な画像刺激を再構成することに集中する。
単一の物体や単純な形状で画像を再構成する従来の研究とは異なり、本研究は意味論に富んだイメージ刺激を再構成することを目的としている。
脳の信号を直接画像に翻訳するよりも、追加のテキストモダリティを組み込むことは、再建問題にとって有益である。
論文 参考訳（メタデータ） (2022-09-30T06:32:46Z) - Attentive Symmetric Autoencoder for Brain MRI Segmentation [56.02577247523737]
視覚変換器(ViT)をベースとした3次元脳MRIセグメンテーションタスクのための新しいアテンテーティブシンメトリオートエンコーダを提案する。
事前学習の段階では、提案するオートエンコーダがより注意を払って、勾配測定値に従って情報パッチを再構築する。
実験の結果,提案手法は最先端の自己教師付き学習法や医用画像分割モデルよりも優れていた。
論文 参考訳（メタデータ） (2022-09-19T09:43:19Z) - Zero-Shot Self-Supervised Learning for MRI Reconstruction [4.542616945567623]
そこで本研究では,ゼロショット型自己教師型学習手法を提案する。
提案手法は、単一のスキャンから利用可能な測定値を3つの解離集合に分割する。
画像特性の異なるデータベース上に事前学習されたモデルが存在する場合,提案手法は変換学習と組み合わせることで,より高速な収束時間と計算複雑性の低減を実現することができることを示す。
論文 参考訳（メタデータ） (2021-02-15T18:34:38Z) - Fed-Sim: Federated Simulation for Medical Imaging [131.56325440976207]
本稿では、2つの学習可能なニューラルモジュールからなる物理駆動型生成手法を提案する。
データ合成フレームワークは、複数のデータセットの下流セグメンテーション性能を改善する。
論文 参考訳（メタデータ） (2020-09-01T19:17:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。