論文の概要: Boosting Brain-to-Image Decoding with TRIBE v2 Data Augmentation

• arxiv url: http://arxiv.org/abs/2606.06345v1
• Date: Thu, 04 Jun 2026 16:18:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.944273
• Title: Boosting Brain-to-Image Decoding with TRIBE v2 Data Augmentation
• Title（参考訳）: TRIBE v2データ拡張による脳と画像の復号化
• Authors: Yohann Benchetrit, Marlène Careil, Simon Dahan, Hubert Banville, Stéphane d'Ascoli, Jean-Rémi King,
• Abstract要約: 我々は,fMRIデータセットを合成データで拡張することにより,脳の復号化を促進できるかどうかを検討した。 我々は、ビデオ、オーディオ、言語に対する1000時間以上のfMRI応答で事前訓練された大規模な符号化モデルTRIBE v2を使用する。 実データのみをトレーニングしたデコーダと比較して,トップ10画像検索精度は最大68%向上した。
• 参考スコア（独自算出の注目度）: 9.825779133835566
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Brain decoding is limited by the availability of labeled neural data, and remains challenging in low-data regimes. To address this issue, we investigate whether and when brain decoding can be boosted by augmenting small fMRI datasets with synthetic data generated by a pretrained model of fMRI responses to stimuli. We use TRIBE v2, a large encoding model pretrained on more than 1000 hours of fMRI responses to video, audio and language. For each dataset, we evaluate systematic grids that show how the performance of image decoders varies with the amount of synthetic data used for training. Our results, based on two datasets (the 7T fMRI Natural Scenes Dataset and 3T fMRI BOLD5000), show up to 68% improvement in Top-10 image-retrieval accuracy compared to decoders trained only on real data. Importantly, the proportion of augmented data required to reach a given image decoding performance needs to be adjusted depending on the data source. Surprisingly, image decoders trained exclusively on synthetic fMRI can perform above chance in some settings, suggesting that TRIBE v2 can support zero-shot brain-to-image decoding. Together, these results show how large-scale models of the fMRI responses to sight, sound and language may provide a foundation to improve the data efficiency for image decoding.
• Abstract（参考訳）: 脳の復号化はラベル付きニューラルネットワークの可用性によって制限されており、低データのレシエーションでは依然として困難である。 この課題に対処するために,fMRI応答の事前学習モデルにより生成された合成データを用いて,小さなfMRIデータセットを増強することにより,脳のデコーディングを促進できるかどうかを検討する。 我々は、ビデオ、オーディオ、言語に対する1000時間以上のfMRI応答で事前訓練された大規模な符号化モデルTRIBE v2を使用する。 各データセットに対して、画像デコーダの性能がトレーニングに使用される合成データの量とどのように異なるかを示す系統的グリッドを評価する。 2つのデータセット(7T fMRI Natural Scenes Datasetと3T fMRI BOLD5000)に基づいて、実データのみにトレーニングされたデコーダと比較して、トップ10画像検索精度が最大68%向上した。 重要なことは、与えられた画像復号性能に到達するために必要な拡張データの比率は、データソースに応じて調整する必要がある。 意外なことに、合成fMRIに特化して訓練された画像デコーダは、いくつかの設定で偶然以上の性能を発揮でき、TRIBE v2はゼロショット脳画像デコーダをサポートできる。 これらの結果は, 視覚, 音, 言語に対する fMRI 応答の大規模モデルが, 画像復号化におけるデータ効率向上の基礎となる可能性を示唆している。

関連論文リスト

• Adapting HFMCA to Graph Data: Self-Supervised Learning for Generalizable fMRI Representations [57.054499278843856]
  機能的磁気共鳴画像(fMRI)解析は、データセットのサイズが限られ、研究間でのドメインの変動が原因で大きな課題に直面している。 コンピュータビジョンにインスパイアされた従来の自己教師付き学習手法は、正と負のサンプルペアに依存することが多い。 本稿では,最近開発された階層関数最大相関アルゴリズム(HFMCA)をグラフ構造fMRIデータに適用することを提案する。
  論文  参考訳（メタデータ） (2025-10-05T12:35:01Z)
• MRI Image Generation Based on Text Prompts [0.0]
  本研究では,実際のMRIデータセットを取得する際の課題を解決するために,安定拡散(SD)モデルを用いたテキストプロンプトMRI画像生成について検討する。 SDモデルは3Tの高速MRIデータセットと0.3TのM4Rawデータセットを用いて微調整された。 Fr'echet Inception Distance (FID) やMulti-Scale Structure similarity (MS-SSIM) などの測定値を用いて微調整モデルの性能を評価した。
  論文  参考訳（メタデータ） (2025-05-23T03:01:22Z)
• Scaling laws for decoding images from brain activity [7.864304771129752]
  ジェネレーティブAIは先日、脳活動からのイメージの復号を推進した。 これらのアプローチは、ニューラル記録の量と種類によってどのようにスケールするか? ここでは,4種類の非侵襲デバイスからの画像復号を体系的に比較する。
  論文  参考訳（メタデータ） (2025-01-25T20:38:36Z)
• MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
  本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。 このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。 実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
  論文  参考訳（メタデータ） (2024-05-28T00:36:25Z)
• Lite-Mind: Towards Efficient and Robust Brain Representation Network [23.132310312815967]
  Lite-Mindは離散周波数変換(DFT)に基づく軽量で効率的で堅牢な脳表現学習パラダイムである 我々は、Lite-Mindが被写体1のNSDデータセットに対して94.6%のfMRI-to-image検索精度を実現し、MindEyeよりも98.7%少ないパラメータを持つことを示した。 Lite-Mindはまた、より小さなfMRIデータセットに移行できることが証明されており、GODデータセット上でゼロショット分類のための新しい最先端技術を確立している。
  論文  参考訳（メタデータ） (2023-12-06T09:39:38Z)
• Leveraging Neural Radiance Fields for Uncertainty-Aware Visual Localization [56.95046107046027]
  我々は,Neural Radiance Fields (NeRF) を用いてシーン座標回帰のためのトレーニングサンプルを生成することを提案する。 レンダリングにおけるNeRFの効率にもかかわらず、レンダリングされたデータの多くはアーティファクトによって汚染されるか、最小限の情報ゲインしか含まない。
  論文  参考訳（メタデータ） (2023-10-10T20:11:13Z)
• CMRxRecon: An open cardiac MRI dataset for the competition of accelerated image reconstruction [62.61209705638161]
  ディープラーニングベースのCMRイメージングアルゴリズムへの関心が高まっている。 ディープラーニング手法は大規模なトレーニングデータセットを必要とする。 このデータセットには300人の被験者のマルチコントラスト、マルチビュー、マルチスライス、マルチコイルCMRイメージングデータが含まれている。
  論文  参考訳（メタデータ） (2023-09-19T15:14:42Z)
• Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
  我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。 本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
  論文  参考訳（メタデータ） (2023-03-26T14:14:58Z)
• Adversarial Distortion Learning for Medical Image Denoising [43.53912137735094]
  本稿では,2次元および3次元(2D/3D)のバイオメディカル画像データから,新たな逆歪み学習法を提案する。 提案されたADLは2つの自動エンコーダで構成されている。 デノイザとディスクリミネータはどちらも、Efficient-Unetと呼ばれる自動エンコーダをベースとしている。
  論文  参考訳（メタデータ） (2022-04-29T13:47:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。