論文の概要: Meta-learning In-Context Enables Training-Free Cross Subject Brain Decoding
- arxiv url: http://arxiv.org/abs/2604.08537v1
- Date: Thu, 09 Apr 2026 17:59:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-10 18:34:06.074333
- Title: Meta-learning In-Context Enables Training-Free Cross Subject Brain Decoding
- Title(参考訳): メタラーニングのインコンテキストは、トレーニングなしのクロスパーソナリティ脳復号を可能にする
- Abstract要約: 本稿では,fMRIによる意味的視覚的デコードのためのメタ最適化手法を提案する。
我々のアプローチは、新しい主題の符号化モデルのコンテキスト内学習に明示的に最適化されている。
様々な視覚的バックボーンにまたがる強力なクロスオブジェクトとクロススキャナの一般化を,リトレーニングや微調整を伴わずに示す。
- 参考スコア(独自算出の注目度): 19.258438045449846
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Visual decoding from brain signals is a key challenge at the intersection of computer vision and neuroscience, requiring methods that bridge neural representations and computational models of vision. A field-wide goal is to achieve generalizable, cross-subject models. A major obstacle towards this goal is the substantial variability in neural representations across individuals, which has so far required training bespoke models or fine-tuning separately for each subject. To address this challenge, we introduce a meta-optimized approach for semantic visual decoding from fMRI that generalizes to novel subjects without any fine-tuning. By simply conditioning on a small set of image-brain activation examples from the new individual, our model rapidly infers their unique neural encoding patterns to facilitate robust and efficient visual decoding. Our approach is explicitly optimized for in-context learning of the new subject's encoding model and performs decoding by hierarchical inference, inverting the encoder. First, for multiple brain regions, we estimate the per-voxel visual response encoder parameters by constructing a context over multiple stimuli and responses. Second, we construct a context consisting of encoder parameters and response values over multiple voxels to perform aggregated functional inversion. We demonstrate strong cross-subject and cross-scanner generalization across diverse visual backbones without retraining or fine-tuning. Moreover, our approach requires neither anatomical alignment nor stimulus overlap. This work is a critical step towards a generalizable foundation model for non-invasive brain decoding.
- Abstract(参考訳): 脳信号からの視覚復号は、コンピュータビジョンと神経科学の交差において重要な課題であり、神経表現と視覚の計算モデルを橋渡しする手法を必要とする。
フィールドワイドの目標は、一般化可能なクロスオブジェクトモデルを達成することである。
この目標に対する大きな障害は、個人間での神経表現の相当な変動である。
この課題に対処するために、我々はfMRIからメタ最適化された視覚的デコーディングを導入し、微調整なしで新規対象に一般化する。
画像脳活性化の小さな例を新しい個人から簡単に条件付けすることで、我々のモデルは、頑健で効率的な視覚的デコーディングを容易にするために、彼らのユニークなニューラルエンコーディングパターンを迅速に推論する。
提案手法は,新しい主題の符号化モデルのコンテキスト内学習に最適化され,階層的推論による復号化を行い,エンコーダを反転させる。
まず、複数の脳領域に対して、複数の刺激と応答にまたがってコンテキストを構築することにより、語彙ごとの視覚応答エンコーダパラメータを推定する。
第二に、複数のボクセル上でエンコーダパラメータと応答値からなるコンテキストを構築し、集約された機能反転を実行する。
様々な視覚的バックボーンにまたがる強力なクロスオブジェクトとクロススキャナの一般化を,リトレーニングや微調整を伴わずに示す。
また,本手法では解剖学的アライメントも刺激の重なりも必要としない。
この研究は、非侵襲的脳復号のための一般化可能な基礎モデルに向けた重要なステップである。
関連論文リスト
- MIRAGE: Adaptive Multimodal Gating for Whole-Brain fMRI Encoding [6.746244420038093]
MIRAGEは脳全体のfMRI応答を自然な聴覚刺激に予測するための脳符号化フレームワークである。
その結果、ネイティブなマルチモーダルな特徴は、独立なユニモーダルな特徴のポストホックアグリゲーションよりも一貫して優れていた。
論文 参考訳(メタデータ) (2026-05-28T12:30:51Z) - Simple Models, Rich Representations: Visual Decoding from Primate Intracortical Neural Signals [0.0]
霊長類の高密度皮質内記録から視覚情報を復号する問題に対処する。
我々は,低分解能遅延再構成と意味的条件付き拡散を組み合わせたモジュラー生成復号パイプラインを開発した。
このフレームワークは、ブレイン・コンピュータ・インタフェースとセマンティック・ニューラル・デコーディングの原則を提供する。
論文 参考訳(メタデータ) (2026-01-16T09:10:31Z) - VQRAE: Representation Quantization Autoencoders for Multimodal Understanding, Generation and Reconstruction [83.50898344094153]
VQRAEは、イメージ理解のための連続的セマンティック機能と、統一トークン化器内での視覚生成のためのトークンを生成する。
デザインは、多モーダル理解、離散トークンの能力を維持するために、無視可能な意味情報を可能にする。
VQRAEは、視覚的理解、生成、再構築のベンチマークで競合性能を示す。
論文 参考訳(メタデータ) (2025-11-28T17:26:34Z) - Transformer brain encoders explain human high-level visual responses [0.0]
本研究では,高次視覚処理において,レチノトピックな視覚特徴をカテゴリー選択領域に動的にルーティングする方法について検討する。
この計算モチーフは、自然界の観察において脳活動を予測する他の方法よりもはるかに強力であることを示す。
論文 参考訳(メタデータ) (2025-05-22T22:48:15Z) - Meta-Learning an In-Context Transformer Model of Human Higher Visual Cortex [5.283925904540581]
BraInCoRLは、いくつかの例からボクセルワイドな神経応答を予測するために、コンテキスト内学習を使用している。
我々は、BraInCoRLが、既存のボクセルワイドエンコーダ設計を低データ方式で一貫して上回っていることを示す。
BraInCoRLは、意味的に関連する刺激に参加することによって、高次視覚野における神経信号のより良い解釈性を促進する。
論文 参考訳(メタデータ) (2025-05-21T17:59:41Z) - DecoFuse: Decomposing and Fusing the "What", "Where", and "How" for Brain-Inspired fMRI-to-Video Decoding [82.91021399231184]
既存のfMRI-to-video法は、しばしば空間情報や動き情報を見下ろしながら意味的内容に焦点を当てる。
そこで我々は,fMRI信号から映像をデコードするための,脳にインスパイアされた新しいフレームワークであるDecoFuseを提案する。
まず、ビデオはセマンティック、空間、動きの3つのコンポーネントに分解し、次に各コンポーネントを別々にデコードしてから、ビデオを再構成する。
論文 参考訳(メタデータ) (2025-04-01T05:28:37Z) - MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。
このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。
実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
論文 参考訳(メタデータ) (2024-05-28T00:36:25Z) - Neuro-Vision to Language: Enhancing Brain Recording-based Visual Reconstruction and Language Interaction [8.63068449082585]
非侵襲的な脳記録の復号化は、人間の認知の理解を深める鍵となる。
本研究では,視覚変換器を用いた3次元脳構造と視覚的意味論を統合した。
マルチモーダル大モデル開発を支援するために,fMRI画像関連テキストデータを用いたfMRIデータセットを改良した。
論文 参考訳(メタデータ) (2024-04-30T10:41:23Z) - MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。
現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。
我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
論文 参考訳(メタデータ) (2024-04-11T15:46:42Z) - Vision Transformers: From Semantic Segmentation to Dense Prediction [139.15562023284187]
視覚的予測のための視覚変換器(ViT)のグローバルな文脈学習の可能性について検討する。
我々のモチベーションは、グローバルコンテキストを全受容界層で学習することで、ViTがより強力な長距離依存性情報を取得することである。
階層型ローカル・グローバル・トランスフォーマー (HLG) のファミリを定式化し, 窓内部の局所的な注意と, ピラミッド建築における窓全体のグローバルアテンションを特徴とする。
論文 参考訳(メタデータ) (2022-07-19T15:49:35Z) - Deep Recurrent Encoder: A scalable end-to-end network to model brain
signals [122.1055193683784]
複数の被験者の脳応答を一度に予測するために訓練されたエンドツーエンドのディープラーニングアーキテクチャを提案する。
1時間の読解作業で得られた大脳磁図(meg)記録を用いて,このアプローチを検証した。
論文 参考訳(メタデータ) (2021-03-03T11:39:17Z) - A Flexible Framework for Designing Trainable Priors with Adaptive
Smoothing and Game Encoding [57.1077544780653]
我々は、前方通過を非滑らかな凸最適化問題として解釈できるニューラルネットワーク層の設計とトレーニングのための一般的なフレームワークを紹介する。
グラフのノードに代表されるローカルエージェントによって解決され、正規化関数を介して相互作用する凸ゲームに焦点を当てる。
このアプローチは、訓練可能なエンドツーエンドのディープモデル内で、古典的な画像の事前使用を可能にするため、画像の問題を解決するために魅力的である。
論文 参考訳(メタデータ) (2020-06-26T08:34:54Z) - MetaSDF: Meta-learning Signed Distance Functions [85.81290552559817]
ニューラルな暗示表現で形状を一般化することは、各関数空間上の学習先行値に比例する。
形状空間の学習をメタラーニング問題として定式化し、勾配に基づくメタラーニングアルゴリズムを利用してこの課題を解決する。
論文 参考訳(メタデータ) (2020-06-17T05:14:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。