論文の概要: A foundation model of vision, audition, and language for in-silico neuroscience
- arxiv url: http://arxiv.org/abs/2605.04326v1
- Date: Tue, 05 May 2026 22:13:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-07 18:41:07.559491
- Title: A foundation model of vision, audition, and language for in-silico neuroscience
- Title（参考訳）: シリコン内神経科学のための視覚・オーディション・言語の基礎モデル
- Authors: Stéphane d'Ascoli, Jérémy Rapin, Yohann Benchetrit, Teon Brooks, Katelyn Begany, Joséphine Raugel, Hubert Banville, Jean-Rémi King,
- Abstract要約: 本稿では,様々な自然条件および実験条件下でのヒト脳活動を予測することができる3モーダル基礎モデルTRIBE v2を紹介する。
本モデルは,新しい刺激,課題,課題に対する高分解能脳反応を正確に予測し,精度を数倍改善することを示した。
- 参考スコア（独自算出の注目度）: 6.879219950889638
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cognitive neuroscience is fragmented into specialized models, each tailored to specific experimental paradigms, hence preventing a unified model of cognition in the human brain. Here, we introduce TRIBE v2, a tri-modal (video, audio and language) foundation model capable of predicting human brain activity in a variety of naturalistic and experimental conditions. Leveraging a unified dataset of over 1,000 hours of fMRI across 720 subjects, we demonstrate that our model accurately predicts high-resolution brain responses for novel stimuli, tasks and subjects, superseding traditional linear encoding models, delivering several-fold improvements in accuracy. Critically, TRIBE v2 enables in silico experimentation: tested on seminal visual and neuro-linguistic paradigms, it recovers a variety of results established by decades of empirical research. Finally, by extracting interpretable latent features, TRIBE v2 reveals the fine-grained topography of multisensory integration. These results establish artificial intelligence as a unifying framework for exploring the functional organization of the human brain.
- Abstract（参考訳）: 認知神経科学は、それぞれ特定の実験パラダイムに合わせて特別なモデルに断片化され、それによって人間の脳における認知の統一モデルが防止される。
本稿では,様々な自然条件および実験条件下での人間の脳活動を予測することができるトリモーダル(ビデオ,音声,言語)基盤モデルTRIBE v2を紹介する。
720人の被験者を対象に1000時間以上のfMRIの統一データセットを用いて、我々のモデルは、新しい刺激、タスク、課題に対する高分解能脳反応を正確に予測し、従来の線形符号化モデルに取って代わり、精度を数倍改善することを示した。
重要なことに、TRIBE v2はサイリコ実験で可能であり、視覚的および神経言語学的パラダイムでテストされ、数十年にわたる経験的研究によって確立された様々な結果を回復する。
最後に、解釈可能な潜在特徴を抽出することにより、TRIBE v2は多重感覚積分の微細なトポグラフィーを明らかにする。
これらの結果は、人間の脳の機能的組織を探索するための統一的な枠組みとして、人工知能を確立している。
関連論文リスト
- NOBLE -- Neural Operator with Biologically-informed Latent Embeddings to Capture Experimental Variability in Biological Neuron Models [63.592664795493725]
NOBLEは、解釈可能なニューロンの特徴を連続周波数変調した埋め込みから電流注入によって誘導されるソマティック電圧応答へのマッピングを学ぶ神経オペレーターフレームワークである。
内在的な実験変数を考慮したニューラルダイナミクスの分布を予測する。
NOBLEは、その一般化を実際の実験データで検証する最初の大規模ディープラーニングフレームワークである。
論文 参考訳（メタデータ） (2025-06-05T01:01:18Z) - Neural Dynamics Model of Visual Decision-Making: Learning from Human Experts [28.340344705437758]
視覚入力から行動出力まで,包括的な視覚的意思決定モデルを実装した。
我々のモデルは人間の行動と密接に一致し、霊長類の神経活動を反映する。
ニューロイメージング・インフォームド・ファインチューニング手法を導入し、モデルに適用し、性能改善を実現した。
論文 参考訳（メタデータ） (2024-09-04T02:38:52Z) - BrainSegFounder: Towards 3D Foundation Models for Neuroimage Segmentation [6.5388528484686885]
本研究は,医療基盤モデルの創出に向けた新しいアプローチを紹介する。
本稿では,視覚変換器を用いた2段階事前学習手法を提案する。
BrainFounderは、これまでの勝利ソリューションの成果を上回る、大幅なパフォーマンス向上を実演している。
論文 参考訳（メタデータ） (2024-06-14T19:49:45Z) - MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。
現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。
我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
論文 参考訳（メタデータ） (2024-04-11T15:46:42Z) - Multimodal foundation models are better simulators of the human brain [65.10501322822881]
1500万の画像テキストペアを事前訓練した,新たに設計されたマルチモーダル基礎モデルを提案する。
視覚的エンコーダも言語的エンコーダもマルチモーダルで訓練され,脳に近いことが判明した。
論文 参考訳（メタデータ） (2022-08-17T12:36:26Z) - Neural Language Models are not Born Equal to Fit Brain Data, but
Training Helps [75.84770193489639]
音声ブックを聴く被験者の機能的磁気共鳴イメージングの時間軸予測に及ぼすテスト損失,トレーニングコーパス,モデルアーキテクチャの影響について検討した。
各モデルの訓練されていないバージョンは、同じ単語をまたいだ脳反応の類似性を捉えることで、脳内のかなりの量のシグナルをすでに説明していることがわかりました。
ニューラル言語モデルを用いたヒューマン・ランゲージ・システムの説明を目的とした今後の研究の実践を提案する。
論文 参考訳（メタデータ） (2022-07-07T15:37:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。