論文の概要: Scaling laws for decoding images from brain activity
- arxiv url: http://arxiv.org/abs/2501.15322v2
- Date: Tue, 28 Jan 2025 11:46:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-29 13:21:33.377501
- Title: Scaling laws for decoding images from brain activity
- Title（参考訳）: 脳活動からのデコード画像のスケーリング法則
- Authors: Hubert Banville, Yohann Benchetrit, Stéphane d'Ascoli, Jérémy Rapin, Jean-Rémi King,
- Abstract要約: ジェネレーティブAIは先日、脳活動からのイメージの復号を推進した。
これらのアプローチは、ニューラル記録の量と種類によってどのようにスケールするか?
ここでは,4種類の非侵襲デバイスからの画像復号を体系的に比較する。
- 参考スコア（独自算出の注目度）: 7.864304771129752
- License:
- Abstract: Generative AI has recently propelled the decoding of images from brain activity. How do these approaches scale with the amount and type of neural recordings? Here, we systematically compare image decoding from four types of non-invasive devices: electroencephalography (EEG), magnetoencephalography (MEG), high-field functional Magnetic Resonance Imaging (3T fMRI) and ultra-high field (7T) fMRI. For this, we evaluate decoding models on the largest benchmark to date, encompassing 8 public datasets, 84 volunteers, 498 hours of brain recording and 2.3 million brain responses to natural images. Unlike previous work, we focus on single-trial decoding performance to simulate real-time settings. This systematic comparison reveals three main findings. First, the most precise neuroimaging devices tend to yield the best decoding performances, when the size of the training sets are similar. However, the gain enabled by deep learning - in comparison to linear models - is obtained with the noisiest devices. Second, we do not observe any plateau of decoding performance as the amount of training data increases. Rather, decoding performance scales log-linearly with the amount of brain recording. Third, this scaling law primarily depends on the amount of data per subject. However, little decoding gain is observed by increasing the number of subjects. Overall, these findings delineate the path most suitable to scale the decoding of images from non-invasive brain recordings.
- Abstract（参考訳）: ジェネレーティブAIは先日、脳活動からのイメージの復号を推進した。
これらのアプローチは、ニューラル記録の量と種類によってどのようにスケールするか?
本稿では脳波(EEG)、脳磁図(MEG)、高磁場機能MRI(3T fMRI)、超高磁場(7T) fMRIの4種類の非侵襲デバイスからの画像デコーディングを系統的に比較する。
このために、これまでで最大のベンチマークでデコードモデルを評価し、8つの公開データセット、84人のボランティア、498時間の脳記録、そして230万の脳画像に対する反応を含む。
従来の作業とは異なり、リアルタイム設定をシミュレートするために、単項復号性能に重点を置いている。
この系統的な比較は3つの主要な発見を示す。
まず、最も正確なニューロイメージング装置は、トレーニングセットのサイズが類似している場合、最高の復号性能が得られる傾向にある。
しかし、線形モデルと比較してディープラーニングによって実現される利得は、最もノイズの多いデバイスで得られる。
第二に、トレーニングデータの量が増加するにつれて、復号性能の高低は観測されない。
むしろ、デコードのパフォーマンスは脳の記録量と対数的にスケールする。
第3に、このスケーリング法則は、主に被験者毎のデータ量に依存する。
しかし、被写体数を増やすことにより、復号ゲインはほとんど得られない。
これらの知見は、非侵襲的な脳記録からの画像のデコードに最も適した経路を記述している。
関連論文リスト
- Brain3D: Generating 3D Objects from fMRI [76.41771117405973]
被験者のfMRIデータを入力として利用する新しい3Dオブジェクト表現学習手法であるBrain3Dを設計する。
我々は,人間の視覚系の各領域の異なる機能的特徴を,我々のモデルが捉えていることを示す。
予備評価は、Brain3Dがシミュレーションシナリオで障害した脳領域を正常に識別できることを示唆している。
論文 参考訳（メタデータ） (2024-05-24T06:06:11Z) - Brain-aligning of semantic vectors improves neural decoding of visual stimuli [2.4891396531775563]
本稿では,意味ベクトルの頭脳適応という表現学習フレームワークを提案する。
我々は,150の視覚刺激カテゴリーを表すfMRIデータを用いて,このモデルを訓練した。
1)fMRI, 2)脳磁図(MEG), 3)脳波(ECoG)データを用いてゼロショット脳復号を行った。
論文 参考訳（メタデータ） (2024-03-22T13:01:10Z) - Learning Multimodal Volumetric Features for Large-Scale Neuron Tracing [72.45257414889478]
オーバーセグメントニューロン間の接続を予測し,人間の作業量を削減することを目的としている。
最初はFlyTracingという名前のデータセットを構築しました。
本稿では,高密度なボリュームEM画像の埋め込みを生成するための,新しい接続性を考慮したコントラスト学習手法を提案する。
論文 参考訳（メタデータ） (2024-01-05T19:45:12Z) - Aligning brain functions boosts the decoding of visual semantics in
novel subjects [3.226564454654026]
脳の反応をビデオや静止画像に合わせることで脳の復号化を促進することを提案する。
提案手法はオブジェクト外デコード性能を最大75%向上させる。
また、テスト対象者に対して100分未満のデータが得られる場合、古典的な単一オブジェクトアプローチよりも優れています。
論文 参考訳（メタデータ） (2023-12-11T15:55:20Z) - Brain decoding: toward real-time reconstruction of visual perception [1.3654846342364308]
過去5年間で、生成的および基礎的AIシステムの使用は、脳活動の復号化を大幅に改善した。
視覚知覚は、機能的磁気共鳴イメージング(fMRI)から顕著な忠実さでデコードできる。
本稿では、高時間分解能で脳活動を測定する神経イメージング装置である脳磁図(MEG)に基づく別のアプローチを提案する。
論文 参考訳（メタデータ） (2023-10-18T09:51:38Z) - Contrast, Attend and Diffuse to Decode High-Resolution Images from Brain
Activities [31.448924808940284]
2相fMRI表現学習フレームワークを提案する。
第1フェーズでは、double-contrastive Mask Auto-encoderを提案してfMRI機能学習者を事前訓練し、識別表現を学習する。
第2フェーズでは、イメージオートエンコーダからのガイダンスで視覚的再構成に最も有用な神経活性化パターンに参加するように、特徴学習者に調整する。
論文 参考訳（メタデータ） (2023-05-26T19:16:23Z) - DeepBrainPrint: A Novel Contrastive Framework for Brain MRI
Re-Identification [2.5855676778881334]
我々はDeepBrainPrintというAIベースのフレームワークを提案し、同じ患者の脳MRIスキャンを検索する。
当社のフレームワークは,3つの主要なイノベーションを伴う,半自己指導型のコントラスト型ディープラーニングアプローチです。
DeepBrainPrintをアルツハイマー病脳画像イニシアチブ(ADNI)のT1強調脳MRIの大規模なデータセットでテストした。
論文 参考訳（メタデータ） (2023-02-25T11:03:16Z) - Video4MRI: An Empirical Study on Brain Magnetic Resonance Image
Analytics with CNN-based Video Classification Frameworks [60.42012344842292]
3次元CNNモデルが磁気共鳴画像(MRI)解析の分野を支配している。
本稿では,アルツハイマー病とパーキンソン病の認識の4つのデータセットを実験に利用した。
効率の面では、ビデオフレームワークは3D-CNNモデルよりも5%から11%、トレーニング可能なパラメータは50%から66%少ない。
論文 参考訳（メタデータ） (2023-02-24T15:26:31Z) - Attentive Symmetric Autoencoder for Brain MRI Segmentation [56.02577247523737]
視覚変換器(ViT)をベースとした3次元脳MRIセグメンテーションタスクのための新しいアテンテーティブシンメトリオートエンコーダを提案する。
事前学習の段階では、提案するオートエンコーダがより注意を払って、勾配測定値に従って情報パッチを再構築する。
実験の結果,提案手法は最先端の自己教師付き学習法や医用画像分割モデルよりも優れていた。
論文 参考訳（メタデータ） (2022-09-19T09:43:19Z) - Decoding speech perception from non-invasive brain recordings [48.46819575538446]
非侵襲的な記録から知覚音声の自己教師付き表現をデコードするために、コントラスト学習で訓練されたモデルを導入する。
我々のモデルでは、3秒のMEG信号から、1,000以上の異なる可能性から最大41%の精度で対応する音声セグメントを識別できる。
論文 参考訳（メタデータ） (2022-08-25T10:01:43Z) - Fed-Sim: Federated Simulation for Medical Imaging [131.56325440976207]
本稿では、2つの学習可能なニューラルモジュールからなる物理駆動型生成手法を提案する。
データ合成フレームワークは、複数のデータセットの下流セグメンテーション性能を改善する。
論文 参考訳（メタデータ） (2020-09-01T19:17:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。