論文の概要: Brain-language fusion enables interactive neural readout and in-silico experimentation

• arxiv url: http://arxiv.org/abs/2509.23941v1
• Date: Sun, 28 Sep 2025 15:35:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.545847
• Title: Brain-language fusion enables interactive neural readout and in-silico experimentation
• Title（参考訳）: 脳-言語融合は対話型ニューラルリードアウトとシリコン内実験を可能にする
• Authors: Victoria Bosch, Daniel Anthes, Adrien Doerig, Sushrut Thorat, Peter König, Tim Christian Kietzmann,
• Abstract要約: CorTextは、大きな言語モデルの潜在空間に直接神経活動を統合するフレームワークである。 正確な画像キャプションを生成し、神経データのみにアクセスしながら、コントロールよりも詳細な質問に答えることができる。 これらの進歩は、受動的復号化から、脳の活動と言語の間の生成的で柔軟なインターフェースへの移行を示す。
• 参考スコア（独自算出の注目度）: 0.8805057433368938
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have revolutionized human-machine interaction, and have been extended by embedding diverse modalities such as images into a shared language space. Yet, neural decoding has remained constrained by static, non-interactive methods. We introduce CorText, a framework that integrates neural activity directly into the latent space of an LLM, enabling open-ended, natural language interaction with brain data. Trained on fMRI data recorded during viewing of natural scenes, CorText generates accurate image captions and can answer more detailed questions better than controls, while having access to neural data only. We showcase that CorText achieves zero-shot generalization beyond semantic categories seen during training. Furthermore, we present a counterfactual analysis that emulates in-silico cortical microstimulation. These advances mark a shift from passive decoding toward generative, flexible interfaces between brain activity and language.
• Abstract（参考訳）: 大規模言語モデル(LLM)は人間と機械の相互作用に革命をもたらし、画像などの様々なモダリティを共通の言語空間に埋め込むことによって拡張されている。 しかし、ニューラルデコーディングは静的で非インタラクティブな方法によって制約され続けている。 我々は、LLMの潜在空間に直接神経活動を統合するフレームワークであるCorTextを導入し、オープンエンドの自然言語と脳データとの対話を可能にする。 CorTextは、自然のシーンを見るときに記録されたfMRIデータに基づいて、正確な画像キャプションを生成し、ニューラルデータのみにアクセスしながら、コントロールよりも詳細な質問に答える。 CorTextは、トレーニング中に見られるセマンティックカテゴリを超えて、ゼロショットの一般化を実現していることを示す。 さらに,シリコン内皮質微小刺激をエミュレートする反事実解析を行った。 これらの進歩は、受動的復号化から、脳の活動と言語の間の生成的で柔軟なインターフェースへの移行を示す。

関連論文リスト

• Decoding the Multimodal Mind: Generalizable Brain-to-Text Translation via Multimodal Alignment and Adaptive Routing [36.47424671683706]
  本稿では,脳信号とテキスト,画像,音声を含む共有意味空間を連携させる統合フレームワークを提案する。 ルータモジュールは、各刺激の特性に応じて、モダリティ固有の脳の特徴を動的に選択、融合する。 テキスト、視覚、聴覚刺激を含む様々なfMRIデータセットの実験では、最先端のパフォーマンスを示し、最も一般的に使用されるベンチマークでは8.48%の改善が達成されている。
  論文  参考訳（メタデータ） (2025-05-15T14:46:45Z)
• sEEG-based Encoding for Sentence Retrieval: A Contrastive Learning Approach to Brain-Language Alignment [8.466223794246261]
  本稿では,凍結したCLIPモデルの文埋め込み空間に単射ステレオ脳波信号(sEEG)を投影するコントラスト学習フレームワークであるSSENSEを提案する。 本手法は,自然主義映画視聴データセットから,時系列のsEEGと音声の書き起こしについて評価する。
  論文  参考訳（メタデータ） (2025-04-20T03:01:42Z)
• BrainChat: Decoding Semantic Information from fMRI using Vision-language Pretrained Models [0.0]
  本稿では,脳活動からのセマンティック情報デコーディングタスクの高速化を目的とした生成フレームワークであるBrainChatを提案する。 BrainChatはfMRI質問応答とfMRIキャプションを実装している。 BrainChatは非常にフレキシブルで、画像データなしで高いパフォーマンスを実現できます。
  論文  参考訳（メタデータ） (2024-06-10T12:06:15Z)
• Decoding Continuous Character-based Language from Non-invasive Brain Recordings [33.11373366800627]
  本研究では,単心的非侵襲的fMRI記録から連続言語を復号する手法を提案する。 文字ベースのデコーダは、固有の文字構造を特徴とする連続言語の意味的再構成のために設計されている。 被験者間での単一の試行から連続言語を復号化できることは、非侵襲的な言語脳-コンピュータインタフェースの有望な応用を実証している。
  論文  参考訳（メタデータ） (2024-03-17T12:12:33Z)
• Language Generation from Brain Recordings [68.97414452707103]
  本稿では,大言語モデルと意味脳デコーダの容量を利用した生成言語BCIを提案する。 提案モデルでは,視覚的・聴覚的言語刺激のセマンティック内容に整合したコヒーレントな言語系列を生成することができる。 本研究は,直接言語生成におけるBCIの活用の可能性と可能性を示すものである。
  論文  参考訳（メタデータ） (2023-11-16T13:37:21Z)
• Toward a realistic model of speech processing in the brain with self-supervised learning [67.7130239674153]
  生波形で訓練された自己教師型アルゴリズムは有望な候補である。 We show that Wav2Vec 2.0 learns brain-like representations with little as 600 hours of unlabelled speech。
  論文  参考訳（メタデータ） (2022-06-03T17:01:46Z)
• Open Vocabulary Electroencephalography-To-Text Decoding and Zero-shot Sentiment Classification [78.120927891455]
  最先端のブレイン・トゥ・テキストシステムは、ニューラルネットワークを使用して脳信号から直接言語を復号することに成功した。 本稿では,自然読解課題における語彙的脳波(EEG)-テキスト列列列復号化とゼロショット文感性分類に問題を拡張する。 脳波-テキストデコーディングで40.1%のBLEU-1スコア、ゼロショット脳波に基づく3次感情分類で55.6%のF1スコアを達成し、教師付きベースラインを著しく上回る結果となった。
  論文  参考訳（メタデータ） (2021-12-05T21:57:22Z)
• Low-Dimensional Structure in the Space of Language Representations is Reflected in Brain Responses [62.197912623223964]
  言語モデルと翻訳モデルは,単語の埋め込み,構文的・意味的タスク,将来的な単語埋め込みとの間を円滑に介在する低次元構造を示す。 この表現埋め込みは、各特徴空間が、fMRIを用いて記録された自然言語刺激に対する人間の脳反応にどれだけうまく対応しているかを予測することができる。 これは、埋め込みが脳の自然言語表現構造の一部を捉えていることを示唆している。
  論文  参考訳（メタデータ） (2021-06-09T22:59:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。