論文の概要: BrainJanus: A Unified Model for Understanding and Generation across Brain, Vision, and Language
- arxiv url: http://arxiv.org/abs/2606.30319v1
- Date: Mon, 29 Jun 2026 14:02:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:16.2571
- Title: BrainJanus: A Unified Model for Understanding and Generation across Brain, Vision, and Language
- Title（参考訳）: BrainJanus: 脳、視覚、言語を越えた理解と生成のための統一モデル
- Abstract要約: BrainJanusは、脳、視覚、言語を単一のフレームワークに統合する最初の統合脳モデルである。
本フレームワークは, 汎用脳モデリングパラダイムとしての可能性を強調し, ゼロショットの一般化と生物学的トポグラフィーの解釈を行う。
- 参考スコア（独自算出の注目度）: 65.1211456110319
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modeling the bidirectional correspondence between external sensory stimuli and internal neural activity has emerged as a critical frontier in neuroscience. However, existing approaches predominantly treat brain encoding and decoding as isolated tasks, relying heavily on unimodal alignment and external priors while overlooking the brain's intrinsic nature as a multimodal integration system. To address these limitations, we propose BrainJanus, the first unified brain model that integrates brain, vision, and language within a single framework. Specifically, we introduce a Unified Brain Tokenizer to quantize continuous neural dynamics into discrete tokens aligned with visual and linguistic representations in a shared Omni space. Building on this, we utilize an All-in-One autoregressive architecture that leverages next-token prediction to enable seamless any-to-any generation, which encompasses image-to-brain and text-to-brain encoding, and brain-to-image and brain-to-text decoding. Extensive experiments demonstrate that BrainJanus achieves superior performance across diverse benchmarks. Furthermore, our framework exhibits zero-shot generalization and preserves interpretable biological topography, highlighting its potential as a general-purpose brain modeling paradigm. The code is available at \href{https://github.com/HaitaoWuTJU/BrainJanus}{GitHub}.
- Abstract（参考訳）: 外部感覚刺激と神経活動の双方向対応をモデル化することは、神経科学における重要なフロンティアとして現れている。
しかし、既存のアプローチは、主に脳のエンコーディングとデコーディングを独立したタスクとして扱い、脳の本質的な性質をマルチモーダル統合システムとして見越しながら、一過性のアライメントと外部の先行に大きく依存している。
これらの制限に対処するために、脳、視覚、言語を単一のフレームワークに統合する最初の統合脳モデルであるBrainJanusを提案する。
具体的には、連続的なニューラルダイナミクスを、共有オムニ空間における視覚的および言語的表現と整合した離散トークンに量子化する統一脳トケナイザを導入する。
この上に構築したオールインワンの自己回帰型アーキテクチャは,イメージ・ツー・ブレイン・テキスト・ブレイン・エンコーディング,ブレイン・ツー・イメージ・ブレイン・トゥ・ブレイン・トゥ・ブレイン・エンコーディング,ブレイン・ツー・ブレイン・トゥ・ブレイン・トゥ・ブレイン・ブレイン・トゥ・ブレイン・エンコーディングを含む,シームレスな任意の生成を可能にする。
大規模な実験により、BrainJanusはさまざまなベンチマークで優れたパフォーマンスを実現している。
さらに,本フレームワークは,ゼロショットの一般化を図り,解釈可能な生物学的トポグラフィを保存し,汎用脳モデリングパラダイムとしての可能性を強調した。
コードは \href{https://github.com/HaitaoWuTJU/BrainJanus}{GitHub} で公開されている。
関連論文リスト
- Mind-Omni: A Unified Multi-Task Framework for Brain-Vision-Language Modeling via Discrete Diffusion [20.46826223980239]
Mind-Omniは7つの異なるエンコーディングとデコードタスクを統一する汎用フレームワークである。
中心となるのは、不均一で連続した脳信号を標準化された離散トークンに変換する新しいブレイン・トケナイザーだ。
私たちの研究は、ニューラルモデリングのための強力な新しいパラダイムを提供し、ニューラルアクティビティの基礎モデルの道を開く。
論文 参考訳（メタデータ） (2026-05-28T08:33:43Z) - Mind Meets Space: Rethinking Agentic Spatial Intelligence from a Neuroscience-inspired Perspective [53.556348738917166]
エージェントAIの最近の進歩は、自律的なタスク実行と言語に基づく推論が可能なシステムにつながっている。
人間の空間知能は、統合された多感覚知覚、空間記憶、認知マップに根ざし、非構造環境における柔軟でコンテキスト対応の意思決定を可能にする。
論文 参考訳（メタデータ） (2025-09-11T05:23:22Z) - BrainFLORA: Uncovering Brain Concept Representation via Multimodal Neural Embeddings [19.761793010311614]
我々は、相互モーダルなニューロイメージングデータを統合する統合フレームワークBrainFLORAを導入し、共有されたニューラル表現を構築する。
提案手法では,マルチモーダル大規模言語モデル (MLLM) に適応型アダプタとタスクデコーダを付加し,共同オブジェクト視覚検索における最先端性能を実現する。
BrainFLORAは認知神経科学と脳-コンピュータインターフェース(BCI)に新しい意味を与える
論文 参考訳（メタデータ） (2025-07-13T18:56:17Z) - Decoding the Multimodal Mind: Generalizable Brain-to-Text Translation via Multimodal Alignment and Adaptive Routing [36.47424671683706]
本稿では,脳信号とテキスト,画像,音声を含む共有意味空間を連携させる統合フレームワークを提案する。
ルータモジュールは、各刺激の特性に応じて、モダリティ固有の脳の特徴を動的に選択、融合する。
テキスト、視覚、聴覚刺激を含む様々なfMRIデータセットの実験では、最先端のパフォーマンスを示し、最も一般的に使用されるベンチマークでは8.48%の改善が達成されている。
論文 参考訳（メタデータ） (2025-05-15T14:46:45Z) - Neural Brain: A Neuroscience-inspired Framework for Embodied Agents [78.61382193420914]
大規模な言語モデルのような現在のAIシステムは、いまだに解体され続けており、物理的に世界と関わりが持てない。
この課題の核心は、人間のような適応性を持つエンボディエージェントを駆動するために設計された中枢知能システムであるNeural Brain(ニューラル・ブレイン)の概念である。
本稿では,2つの基本的な課題に対処する,エンボディエージェントのニューラルブレインの統一的枠組みを提案する。
論文 参考訳（メタデータ） (2025-05-12T15:05:34Z) - MindAligner: Explicit Brain Functional Alignment for Cross-Subject Visual Decoding from Limited fMRI Data [64.92867794764247]
MindAlignerは、限られたfMRIデータからのクロスオブジェクト脳デコーディングのためのフレームワークである。
脳伝達マトリックス(BTM)は、任意の新しい被験者の脳信号を既知の被験者の1人に投射する。
脳機能アライメントモジュールは、異なる視覚刺激下で軟質なクロスオブジェクト脳アライメントを実行するために提案されている。
論文 参考訳（メタデータ） (2025-02-07T16:01:59Z) - MindSemantix: Deciphering Brain Visual Experiences with a Brain-Language Model [45.18716166499859]
fMRIで捉えた脳の活動を通して人間の視覚体験を解読することは、魅力的で最先端の課題である。
我々は、LLMが視覚的に誘発される脳活動のセマンティックな内容を理解することができる新しいマルチモーダルフレームワークであるMindSemantixを紹介した。
MindSemantixは、脳の活動から派生した視覚情報と意味情報に深く根ざした高品質なキャプションを生成する。
論文 参考訳（メタデータ） (2024-05-29T06:55:03Z) - MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。
現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。
我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
論文 参考訳（メタデータ） (2024-04-11T15:46:42Z) - Deep Neural Networks and Brain Alignment: Brain Encoding and Decoding (Survey) [9.14580723964253]
人工知能は人間の脳の秘密を解き放つことができるのか?
脳記録のパワーをタップすることでAIを強化することは可能か?
本調査は,ヒト脳記録研究と最先端認知神経科学データセットに焦点を当てた。
論文 参考訳（メタデータ） (2023-07-17T06:54:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。