論文の概要: Meta-Learning an In-Context Transformer Model of Human Higher Visual Cortex

• arxiv url: http://arxiv.org/abs/2505.15813v1
• Date: Wed, 21 May 2025 17:59:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.829687
• Title: Meta-Learning an In-Context Transformer Model of Human Higher Visual Cortex
• Title（参考訳）: ヒト高次視覚野の文脈変換モデルを用いたメタラーニング
• Authors: Muquan Yu, Mu Nan, Hossein Adeli, Jacob S. Prince, John A. Pyles, Leila Wehbe, Margaret M. Henderson, Michael J. Tarr, Andrew F. Luo,
• Abstract要約: BraInCoRLは、いくつかの例からボクセルワイドな神経応答を予測するために、コンテキスト内学習を使用している。 我々は、BraInCoRLが、既存のボクセルワイドエンコーダ設計を低データ方式で一貫して上回っていることを示す。 BraInCoRLは、意味的に関連する刺激に参加することによって、高次視覚野における神経信号のより良い解釈性を促進する。
• 参考スコア（独自算出の注目度）: 5.283925904540581
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding functional representations within higher visual cortex is a fundamental question in computational neuroscience. While artificial neural networks pretrained on large-scale datasets exhibit striking representational alignment with human neural responses, learning image-computable models of visual cortex relies on individual-level, large-scale fMRI datasets. The necessity for expensive, time-intensive, and often impractical data acquisition limits the generalizability of encoders to new subjects and stimuli. BraInCoRL uses in-context learning to predict voxelwise neural responses from few-shot examples without any additional finetuning for novel subjects and stimuli. We leverage a transformer architecture that can flexibly condition on a variable number of in-context image stimuli, learning an inductive bias over multiple subjects. During training, we explicitly optimize the model for in-context learning. By jointly conditioning on image features and voxel activations, our model learns to directly generate better performing voxelwise models of higher visual cortex. We demonstrate that BraInCoRL consistently outperforms existing voxelwise encoder designs in a low-data regime when evaluated on entirely novel images, while also exhibiting strong test-time scaling behavior. The model also generalizes to an entirely new visual fMRI dataset, which uses different subjects and fMRI data acquisition parameters. Further, BraInCoRL facilitates better interpretability of neural signals in higher visual cortex by attending to semantically relevant stimuli. Finally, we show that our framework enables interpretable mappings from natural language queries to voxel selectivity.
• Abstract（参考訳）: 高次視覚野における機能的表現を理解することは、計算神経科学の基本的な問題である。 大規模なデータセットで事前訓練された人工ニューラルネットワークは、人間のニューラルレスポンスと顕著な対応を示す一方で、視覚野のイメージ計算可能なモデルを学ぶには、個々のレベルの大規模fMRIデータセットに依存する。 高価で時間集約的で、しばしば非現実的なデータ取得の必要性は、エンコーダの新たな主題や刺激への一般化性を制限している。 BraInCoRLは、コンテキスト内学習を使用して、新規の被験者や刺激に対する追加の微調整なしで、少数の例からボクセルワイズな神経反応を予測する。 我々は,複数の被験者に対する帰納的バイアスを学習し,コンテクスト内画像刺激の変動数に柔軟に条件付けできるトランスフォーマーアーキテクチャを活用する。 トレーニング中は、コンテキスト内学習のためのモデルを明示的に最適化する。 画像の特徴とボクセルの活性化を共同で条件付けすることで、我々のモデルは高次視覚野のボクセルワイドモデルを直接生成することを学ぶ。 我々はBraInCoRLが、全く新しい画像上で評価した場合、既存のボクセルワイドエンコーダの設計よりも常に優れており、また、強力なテスト時間スケーリング挙動を示すことを示した。 モデルはまた、異なる主題とfMRIデータ取得パラメータを使用する全く新しい視覚的fMRIデータセットに一般化する。 さらに、BraInCoRLは、意味的に関連する刺激に参加することによって、高次視覚野における神経信号のより良い解釈性を促進する。 最後に,本フレームワークは,自然言語クエリからボクセル選択性への解釈可能なマッピングを可能にする。

関連論文リスト

• See Through Their Minds: Learning Transferable Neural Representation from Cross-Subject fMRI [32.40827290083577]
  機能的磁気共鳴イメージング(fMRI)からの視覚内容の解読は、人間の視覚系を照らすのに役立つ。 従来のアプローチは主に、トレーニングサンプルサイズに敏感な、主題固有のモデルを採用していた。 本稿では,fMRIデータを統合表現にマッピングするための,サブジェクト固有の浅層アダプタを提案する。 トレーニング中,マルチモーダル脳復号における視覚的・テキスト的監督の両面を活用する。
  論文  参考訳（メタデータ） (2024-03-11T01:18:49Z)
• WaLiN-GUI: a graphical and auditory tool for neuron-based encoding [73.88751967207419]
  ニューロモルフィックコンピューティングはスパイクベースのエネルギー効率の高い通信に依存している。 本研究では, スパイクトレインへのサンプルベースデータの符号化に適した構成を同定するツールを開発した。 WaLiN-GUIはオープンソースとドキュメントが提供されている。
  論文  参考訳（メタデータ） (2023-10-25T20:34:08Z)
• Unidirectional brain-computer interface: Artificial neural network encoding natural images to fMRI response in the visual cortex [12.1427193917406]
  本稿では,人間の脳を模倣する人工ニューラルネットワークVISIONを提案する。 VISIONは、人間の血行動態の反応をfMRIボクセル値として、最先端の性能を超える精度で45%の精度で予測することに成功した。
  論文  参考訳（メタデータ） (2023-09-26T15:38:26Z)
• On the Trade-off Between Efficiency and Precision of Neural Abstraction [62.046646433536104]
  ニューラル抽象化は、最近、複雑な非線形力学モデルの形式近似として導入されている。 我々は形式的帰納的合成法を用いて、これらのセマンティクスを用いた動的モデルをもたらすニューラル抽象化を生成する。
  論文  参考訳（メタデータ） (2023-07-28T13:22:32Z)
• Top-down inference in an early visual cortex inspired hierarchical Variational Autoencoder [0.0]
  我々は変分オートエンコーダの進歩を利用して、自然画像に基づいて訓練された疎い符号化階層型VAEを用いて、初期視覚野を調査する。 一次および二次視覚皮質に見られるものと類似した表現は、軽度の誘導バイアスの下で自然に現れる。 生成モデルを用いた2つの計算のシグネチャに対して,ニューロサイエンスに着想を得た認識モデルの選択が重要であることを示す。
  論文  参考訳（メタデータ） (2022-06-01T12:21:58Z)
• Evaluating deep transfer learning for whole-brain cognitive decoding [11.898286908882561]
  転送学習(TL)は、少数のサンプルを持つデータセットにおける深層学習(DL)モデルの性能向上に適している。 本稿では,全脳機能型磁気共鳴画像(fMRI)データから認識状態の復号化にDLモデルを適用するためのTLを評価した。
  論文  参考訳（メタデータ） (2021-11-01T15:44:49Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Modeling Shared Responses in Neuroimaging Studies through MultiView ICA [94.31804763196116]
  被験者の大規模なコホートを含むグループ研究は、脳機能組織に関する一般的な結論を引き出す上で重要である。 グループ研究のための新しい多視点独立成分分析モデルを提案し、各被験者のデータを共有独立音源と雑音の線形結合としてモデル化する。 まず、fMRIデータを用いて、被験者間の共通音源の同定における感度の向上を示す。
  論文  参考訳（メタデータ） (2020-06-11T17:29:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。