論文の概要: The Platonic brain bridge hypothesis: human brain networks as an architectural prior for multimodal large language models
- arxiv url: http://arxiv.org/abs/2609.10947v2
- Date: Mon, 14 Sep 2026 15:48:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:04.886076
- Title: The Platonic brain bridge hypothesis: human brain networks as an architectural prior for multimodal large language models
- Title（参考訳）: プラトン脳ブリッジ仮説--多モーダル大言語モデルにおける建築的前提としての人間の脳ネットワーク
- Abstract要約: マルチモーダルな大言語モデルは脳の活動を予測するが、脳のアライメントは設計ツールではない。
ビデオ,音声,テキストを共同で処理するマルチモーダル大言語モデルであるオムニモデル(Omni model, multimodal large language model)は,両方向に利用可能な脳に似た表現に収束する。
- 参考スコア（独自算出の注目度）: 21.598558170037048
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal large language models predict brain activity, but brain alignment has been a measurement, not a design tool. We propose the Platonic brain bridge hypothesis: omni models, multimodal large language models that process video, audio and text jointly, converge on brain-like representations usable in both directions. From model to brain, brain-likeness of seven omni models is stable across participants, rises with every input channel in three bases, and our encoders lead the Algonauts 2025 out-of-distribution leaderboard. From brain to model, Brain-MoE fixes the expert partition of a frozen base to the seven networks of human cortex, trains experts on network-labelled Brain-AVQA questions, raises held-out accuracy in all 15 model-benchmark pairs by 6.42 percentage points on average and exceeds capacity-matched random experts in 14. Brain-Scope localizes the correspondence to sparse features whose removal weakens brain prediction. Human brain organization is therefore a usable architectural prior for multimodal large language models.
- Abstract（参考訳）: マルチモーダルな大言語モデルは脳の活動を予測するが、脳のアライメントは設計ツールではない。
ビデオ,音声,テキストを共同で処理するマルチモーダル大言語モデルであるオムニモデル(Omni model, multimodal large language model)は,両方向に利用可能な脳に似た表現に収束する。
モデルから脳まで、7つのOmniモデルの脳性は、参加者間で安定しており、3つのベースで全ての入力チャネルで上昇し、私たちのエンコーダは、Algonauts 2025のアウト・オブ・ディストリビューションリーダーボードをリードします。
脳からモデルにかけて、Brain-MoEは凍結した基盤のエキスパート分割を、人間の皮質の7つのネットワークに修正し、ネットワークを組み込んだBrain-AVQA質問の専門家を訓練し、平均6.42ポイントの15のモデルベンチマークペアのホールトアウト精度を高め、14のキャパシティ適合したランダムエキスパートを超えた。
Brain-Scopeは、除去が脳の予測を弱めるスパース特徴との対応をローカライズする。
したがって、人間の脳の組織は、マルチモーダルな大規模言語モデルに先立つ、使用可能なアーキテクチャである。
関連論文リスト
- BrainJanus: A Unified Model for Understanding and Generation across Brain, Vision, and Language [65.1211456110319]
BrainJanusは、脳、視覚、言語を単一のフレームワークに統合する最初の統合脳モデルである。
本フレームワークは, 汎用脳モデリングパラダイムとしての可能性を強調し, ゼロショットの一般化と生物学的トポグラフィーの解釈を行う。
論文 参考訳（メタデータ） (2026-06-29T14:02:15Z) - A Unified Geometric Space Bridging AI Models and the Human Brain [24.54324712609098]
現代の人工ニューラルネットワークは、言語、知覚、推論において人間と競合している。
これらの人工システムが脳のように情報を整理するかどうかは、いまだに不明である。
ここでは、Brain-like Spaceという画期的な概念を紹介します。
論文 参考訳（メタデータ） (2025-10-28T12:09:23Z) - Brain-tuning Improves Generalizability and Efficiency of Brain Alignment in Speech Models [9.911908326274581]
複数の参加者からのfMRI応答を協調的に予測するために,事前学習した言語モデルを微調整する。
提案手法は,1)新しい参加者からの脳データ予測に必要なfMRIデータの量は5倍に減少し,2)脳全体のアライメントは50%増加し,3)新しい未知のデータセットへの強力な一般化をもたらす。
論文 参考訳（メタデータ） (2025-10-24T14:42:19Z) - Disentangling the Factors of Convergence between Brains and Computer Vision Models [11.560007214914465]
我々は、人間中心の画像で訓練された最大のDINOv3モデルが、最も高い脳相似性に達することを示した。
これらの発見は、人工ニューラルネットワークが世界をどのように人間として見るかという、アーキテクチャと経験の間の相互作用を歪めている。
論文 参考訳（メタデータ） (2025-08-25T17:23:27Z) - TRIBE: TRImodal Brain Encoder for whole-brain fMRI response prediction [7.864304771129752]
TRIBEは、複数のモードにわたる刺激に対する脳反応を予測するために訓練された最初のディープニューラルネットワークである。
我々のモデルはビデオに対する空間的および時間的fMRI応答を正確にモデル化することができる。
我々のアプローチは、人間の脳における表現の積分モデルを構築するための道を開く。
論文 参考訳（メタデータ） (2025-07-29T20:52:31Z) - Voxel-Level Brain States Prediction Using Swin Transformer [65.9194533414066]
本稿では, 4D Shifted Window (Swin) Transformer をエンコーダとして用い, 時間的情報を効率よく学習し, 畳み込みデコーダを用いて入力fMRIデータと同じ空間的, 時間的解像度で脳状態の予測を可能にするアーキテクチャを提案する。
前回の23.04s fMRI時系列に基づいて7.2sの安静時脳活動を予測すると,高い精度が得られた。
これは、人間の脳の時間的構造が高解像度でSwin Transformerモデルによって学習できることを示す有望な証拠である。
論文 参考訳（メタデータ） (2025-06-13T04:14:38Z) - EgoBrain: Synergizing Minds and Eyes For Human Action Understanding [50.54007364637855]
EgoBrainは、長期にわたって人間の脳の自我中心の視覚と脳波を同期させる、世界初の大規模な、時間的に整列したマルチモーダルデータセットである。
このデータセットは、毎日29種類の活動に携わる40人の参加者から、同期された32チャンネル脳波記録と1対1のビデオの61時間からなる。
すべてのデータ、ツール、取得プロトコルはオープンに共有され、認知コンピューティングにおけるオープンサイエンスを育む。
論文 参考訳（メタデータ） (2025-06-02T06:14:02Z) - Decoding the Multimodal Mind: Generalizable Brain-to-Text Translation via Multimodal Alignment and Adaptive Routing [36.47424671683706]
本稿では,脳信号とテキスト,画像,音声を含む共有意味空間を連携させる統合フレームワークを提案する。
ルータモジュールは、各刺激の特性に応じて、モダリティ固有の脳の特徴を動的に選択、融合する。
テキスト、視覚、聴覚刺激を含む様々なfMRIデータセットの実験では、最先端のパフォーマンスを示し、最も一般的に使用されるベンチマークでは8.48%の改善が達成されている。
論文 参考訳（メタデータ） (2025-05-15T14:46:45Z) - Retinotopy Inspired Brain Encoding Model and the All-for-One Training
Recipe [14.943061215875655]
3つの画像モダリティにまたがる5つの公開データセットから100万以上のデータポイントを用いて、脳エンコーディングモデルを事前訓練した。
本稿では、一般的に使用される視覚バックボーンモデルのドロップイン置換として、事前学習モデルの有効性を示す。
論文 参考訳（メタデータ） (2023-07-26T08:06:40Z) - Brain Diffuser: An End-to-End Brain Image to Brain Network Pipeline [54.93591298333767]
脳ディフューザー(Brain diffuser)は、拡散に基づくエンド・ツー・エンドの脳ネットワーク生成モデルである。
被験者間の構造的脳ネットワークの差異を分析することで、より構造的接続性や疾患関連情報を利用する。
アルツハイマー病の場合、提案モデルは、アルツハイマー病神経画像イニシアチブデータベース上の既存のツールキットの結果より優れている。
論文 参考訳（メタデータ） (2023-03-11T14:04:58Z) - Multimodal foundation models are better simulators of the human brain [65.10501322822881]
1500万の画像テキストペアを事前訓練した,新たに設計されたマルチモーダル基礎モデルを提案する。
視覚的エンコーダも言語的エンコーダもマルチモーダルで訓練され,脳に近いことが判明した。
論文 参考訳（メタデータ） (2022-08-17T12:36:26Z) - Neural Language Models are not Born Equal to Fit Brain Data, but
Training Helps [75.84770193489639]
音声ブックを聴く被験者の機能的磁気共鳴イメージングの時間軸予測に及ぼすテスト損失,トレーニングコーパス,モデルアーキテクチャの影響について検討した。
各モデルの訓練されていないバージョンは、同じ単語をまたいだ脳反応の類似性を捉えることで、脳内のかなりの量のシグナルをすでに説明していることがわかりました。
ニューラル言語モデルを用いたヒューマン・ランゲージ・システムの説明を目的とした今後の研究の実践を提案する。
論文 参考訳（メタデータ） (2022-07-07T15:37:17Z) - Model-based analysis of brain activity reveals the hierarchy of language
in 305 subjects [82.81964713263483]
言語の神経基盤を分解する一般的なアプローチは、個人間で異なる刺激に対する脳の反応を関連付けている。
そこで本研究では,自然刺激に曝露された被験者に対して,モデルに基づくアプローチが等価な結果が得られることを示す。
論文 参考訳（メタデータ） (2021-10-12T15:30:21Z) - Towards a Neural Model for Serial Order in Frontal Cortex: a Brain
Theory from Memory Development to Higher-Level Cognition [53.816853325427424]
そこで本研究では,未熟な前頭前野 (PFC) が側頭葉信号の階層的パターンを検出する主要な機能を利用していることを提案する。
我々の仮説では、PFCは順序パターンの形で時間的配列の階層構造を検出し、それらを脳の異なる部分で階層的に情報をインデックスするために利用する。
これにより、抽象的な知識を操作し、時間的に順序付けられた情報を計画するための言語対応の脳にツールを提供する。
論文 参考訳（メタデータ） (2020-05-22T14:29:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。