論文の概要: Meta-learning In-Context Enables Training-Free Cross Subject Brain Decoding
- arxiv url: http://arxiv.org/abs/2604.08537v1
- Date: Thu, 09 Apr 2026 17:59:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-10 18:34:06.074333
- Title: Meta-learning In-Context Enables Training-Free Cross Subject Brain Decoding
- Title(参考訳): メタラーニングのインコンテキストは、トレーニングなしのクロスパーソナリティ脳復号を可能にする
- Authors: Mu Nan, Muquan Yu, Weijian Mai, Jacob S. Prince, Hossein Adeli, Rui Zhang, Jiahang Cao, Benjamin Becker, John A. Pyles, Margaret M. Henderson, Chunfeng Song, Nikolaus Kriegeskorte, Michael J. Tarr, Xiaoqing Hu, Andrew F. Luo,
- Abstract要約: 本稿では,fMRIによる意味的視覚的デコードのためのメタ最適化手法を提案する。
我々のアプローチは、新しい主題の符号化モデルのコンテキスト内学習に明示的に最適化されている。
様々な視覚的バックボーンにまたがる強力なクロスオブジェクトとクロススキャナの一般化を,リトレーニングや微調整を伴わずに示す。
- 参考スコア(独自算出の注目度): 19.258438045449846
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Visual decoding from brain signals is a key challenge at the intersection of computer vision and neuroscience, requiring methods that bridge neural representations and computational models of vision. A field-wide goal is to achieve generalizable, cross-subject models. A major obstacle towards this goal is the substantial variability in neural representations across individuals, which has so far required training bespoke models or fine-tuning separately for each subject. To address this challenge, we introduce a meta-optimized approach for semantic visual decoding from fMRI that generalizes to novel subjects without any fine-tuning. By simply conditioning on a small set of image-brain activation examples from the new individual, our model rapidly infers their unique neural encoding patterns to facilitate robust and efficient visual decoding. Our approach is explicitly optimized for in-context learning of the new subject's encoding model and performs decoding by hierarchical inference, inverting the encoder. First, for multiple brain regions, we estimate the per-voxel visual response encoder parameters by constructing a context over multiple stimuli and responses. Second, we construct a context consisting of encoder parameters and response values over multiple voxels to perform aggregated functional inversion. We demonstrate strong cross-subject and cross-scanner generalization across diverse visual backbones without retraining or fine-tuning. Moreover, our approach requires neither anatomical alignment nor stimulus overlap. This work is a critical step towards a generalizable foundation model for non-invasive brain decoding.
- Abstract(参考訳): 脳信号からの視覚復号は、コンピュータビジョンと神経科学の交差において重要な課題であり、神経表現と視覚の計算モデルを橋渡しする手法を必要とする。
フィールドワイドの目標は、一般化可能なクロスオブジェクトモデルを達成することである。
この目標に対する大きな障害は、個人間での神経表現の相当な変動である。
この課題に対処するために、我々はfMRIからメタ最適化された視覚的デコーディングを導入し、微調整なしで新規対象に一般化する。
画像脳活性化の小さな例を新しい個人から簡単に条件付けすることで、我々のモデルは、頑健で効率的な視覚的デコーディングを容易にするために、彼らのユニークなニューラルエンコーディングパターンを迅速に推論する。
提案手法は,新しい主題の符号化モデルのコンテキスト内学習に最適化され,階層的推論による復号化を行い,エンコーダを反転させる。
まず、複数の脳領域に対して、複数の刺激と応答にまたがってコンテキストを構築することにより、語彙ごとの視覚応答エンコーダパラメータを推定する。
第二に、複数のボクセル上でエンコーダパラメータと応答値からなるコンテキストを構築し、集約された機能反転を実行する。
様々な視覚的バックボーンにまたがる強力なクロスオブジェクトとクロススキャナの一般化を,リトレーニングや微調整を伴わずに示す。
また,本手法では解剖学的アライメントも刺激の重なりも必要としない。
この研究は、非侵襲的脳復号のための一般化可能な基礎モデルに向けた重要なステップである。
関連論文リスト
- Meta-Learning an In-Context Transformer Model of Human Higher Visual Cortex [5.283925904540581]
BraInCoRLは、いくつかの例からボクセルワイドな神経応答を予測するために、コンテキスト内学習を使用している。
我々は、BraInCoRLが、既存のボクセルワイドエンコーダ設計を低データ方式で一貫して上回っていることを示す。
BraInCoRLは、意味的に関連する刺激に参加することによって、高次視覚野における神経信号のより良い解釈性を促進する。
論文 参考訳(メタデータ) (2025-05-21T17:59:41Z) - DecoFuse: Decomposing and Fusing the "What", "Where", and "How" for Brain-Inspired fMRI-to-Video Decoding [82.91021399231184]
既存のfMRI-to-video法は、しばしば空間情報や動き情報を見下ろしながら意味的内容に焦点を当てる。
そこで我々は,fMRI信号から映像をデコードするための,脳にインスパイアされた新しいフレームワークであるDecoFuseを提案する。
まず、ビデオはセマンティック、空間、動きの3つのコンポーネントに分解し、次に各コンポーネントを別々にデコードしてから、ビデオを再構成する。
論文 参考訳(メタデータ) (2025-04-01T05:28:37Z) - MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。
このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。
実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
論文 参考訳(メタデータ) (2024-05-28T00:36:25Z) - Neuro-Vision to Language: Enhancing Brain Recording-based Visual Reconstruction and Language Interaction [8.63068449082585]
非侵襲的な脳記録の復号化は、人間の認知の理解を深める鍵となる。
本研究では,視覚変換器を用いた3次元脳構造と視覚的意味論を統合した。
マルチモーダル大モデル開発を支援するために,fMRI画像関連テキストデータを用いたfMRIデータセットを改良した。
論文 参考訳(メタデータ) (2024-04-30T10:41:23Z) - MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。
現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。
我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
論文 参考訳(メタデータ) (2024-04-11T15:46:42Z) - Vision Transformers: From Semantic Segmentation to Dense Prediction [139.15562023284187]
視覚的予測のための視覚変換器(ViT)のグローバルな文脈学習の可能性について検討する。
我々のモチベーションは、グローバルコンテキストを全受容界層で学習することで、ViTがより強力な長距離依存性情報を取得することである。
階層型ローカル・グローバル・トランスフォーマー (HLG) のファミリを定式化し, 窓内部の局所的な注意と, ピラミッド建築における窓全体のグローバルアテンションを特徴とする。
論文 参考訳(メタデータ) (2022-07-19T15:49:35Z) - A Flexible Framework for Designing Trainable Priors with Adaptive
Smoothing and Game Encoding [57.1077544780653]
我々は、前方通過を非滑らかな凸最適化問題として解釈できるニューラルネットワーク層の設計とトレーニングのための一般的なフレームワークを紹介する。
グラフのノードに代表されるローカルエージェントによって解決され、正規化関数を介して相互作用する凸ゲームに焦点を当てる。
このアプローチは、訓練可能なエンドツーエンドのディープモデル内で、古典的な画像の事前使用を可能にするため、画像の問題を解決するために魅力的である。
論文 参考訳(メタデータ) (2020-06-26T08:34:54Z) - MetaSDF: Meta-learning Signed Distance Functions [85.81290552559817]
ニューラルな暗示表現で形状を一般化することは、各関数空間上の学習先行値に比例する。
形状空間の学習をメタラーニング問題として定式化し、勾配に基づくメタラーニングアルゴリズムを利用してこの課題を解決する。
論文 参考訳(メタデータ) (2020-06-17T05:14:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。