Fugu-MT 論文翻訳(概要): Multimodal LLMs Can Learn to Read Brain Signals: A Vision--Language Model for Unified Multi-Task EEG Decoding

論文の概要: Multimodal LLMs Can Learn to Read Brain Signals: A Vision--Language Model for Unified Multi-Task EEG Decoding

arxiv url: http://arxiv.org/abs/2610.09355v1
Date: Wed, 07 Oct 2026 03:13:03 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-08 21:58:22.691591
Title: Multimodal LLMs Can Learn to Read Brain Signals: A Vision--Language Model for Unified Multi-Task EEG Decoding
Title（参考訳）: マルチモーダルLEMは脳信号を読むことができる:統合マルチタスク脳波デコーディングのための視覚言語モデル
Abstract要約: マルチチャネル脳波信号を構造化画像として符号化する視覚言語フレームワークBraVistaを紹介する。睡眠段階、感情認識、認知作業負荷分類、異常脳波検出の4つのデータセットでBraVistaを評価する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Learning EEG representations that generalize across cognitive tasks, subjects, and recording conditions remains a key challenge in electroencephalography (EEG) decoding. Recent advances in foundation models have improved EEG decoding performance, yet a fundamental open question remains: how to effectively interface neural signals with these models to enable multi-task learning across datasets. To investigate this question, we introduce BraVista, a visual-language framework that encodes multichannel EEG signals as structured images and enables multi-task learning through instruction-conditioned vision-language models (VLMs). Our approach relies on continued post-training of a general-domain VLM, leveraging its visual and linguistic priors to adapt to neural signals without a separate large-scale EEG-specific pretraining stage. We evaluate BraVista on four datasets spanning sleep staging, emotion recognition, cognitive workload classification, and abnormal EEG detection, showing strong performance across these tasks. Further analyses show that the choice of EEG-to-image representation is critical to performance. Moreover, through controlled perturbations of the EEG signal, we observe a gradual performance degradation under increasing noise, suggesting that the model relies on EEG-relevant information rather than superficial visual patterns. Together, these findings establish structured visual representations as an effective and scalable interface between neural signals and general-domain foundation models for unified multi-task EEG decoding.
Abstract（参考訳）: 脳波(EEG)デコーディングにおいて、認知タスク、主題、記録条件をまたいで一般化する脳波表現の学習は重要な課題である。基礎モデルの最近の進歩により、EEGデコードのパフォーマンスは向上しているが、基本的なオープンな疑問が残る: データセット間でマルチタスク学習を可能にするために、ニューラルネットワークをこれらのモデルと効果的にインターフェースする方法。そこで本研究では,マルチチャネル脳波信号を構造化画像として符号化し,命令条件付き視覚言語モデル(VLM)によるマルチタスク学習を可能にする視覚言語フレームワークBraVistaを紹介する。我々のアプローチは、視覚的および言語的先行性を利用して、大規模な脳波特異的事前訓練段階を別々に行うことなく、神経信号に適応する一般ドメインVLMの継続的な後訓練に依存している。睡眠ステージ、感情認識、認知作業負荷分類、異常脳波検出の4つのデータセット上でBraVistaを評価し、これらのタスク間で高いパフォーマンスを示した。さらに分析した結果,脳波から画像への表現の選択がパフォーマンスに重要であることが示唆された。さらに、脳波信号の制御摂動により、ノイズの増加による段階的な性能劣化が観測され、表面的な視覚パターンよりも脳波関連情報に依存することが示唆された。これらの知見は、構造化された視覚表現を、ニューラルネットワークと統合マルチタスク脳波デコーディングのための汎用ドメイン基盤モデルの間の有効かつスケーラブルなインターフェースとして確立する。

関連論文リスト

Neuroscience-inspired Staged Representation Learning with Disentangled Coarse- and Fine-Grained Semantics for EEG Visual Decoding [20.814486415153404]
既存の脳波の視覚的復号法は主に、クロスモーダルアライメントのための単一のグローバル脳波埋め込みを学習することに焦点を当てている。本稿では,脳波の視覚的復号化をステージ固有の表現分解問題として再定義する,神経科学にインスパイアされた段階的表現学習フレームワークを提案する。提案フレームワークは,脳波表現学習を,低レベル視覚表現学習,高レベル意味表現学習,統合情報融合という3つの相補的なフェーズに編成する。
論文参考訳（メタデータ） (2026-05-16T10:30:33Z)
RAICL: Retrieval-Augmented In-Context Learning for Vision-Language-Model Based EEG Seizure Detection [12.189806103703887]
本稿では,大規模な視覚言語モデル(VLM)を用いて脳波の波形プロットを解析することにより,従来の信号ベースデコーディングからパラダイムシフトを提案する。本稿では,脳波信号の非定常性に対処するため,Retrieval-Augmented In-Context Learning (RAICL)アプローチを提案する。
論文参考訳（メタデータ） (2026-01-25T13:58:31Z)
E^2-LLM: Bridging Neural Signals and Interpretable Affective Analysis [54.763420895859035]
脳波からの感情分析のための最初のMLLMフレームワークであるELLM2-EEG-to-Emotion Large Language Modelを提案する。 ELLMは学習可能なプロジェクション層を通じて、トレーニング済みのEEGエンコーダとQベースのLLMを統合し、マルチステージのトレーニングパイプラインを使用する。 7つの感情カテゴリーにまたがるデータセット実験により, ELLM2-EEG-to-Emotion Large Language Modelは感情分類において優れた性能を発揮することが示された。
論文参考訳（メタデータ） (2026-01-11T13:21:20Z)
EEG-VLM: A Hierarchical Vision-Language Model with Multi-Level Feature Alignment and Visually Enhanced Language-Guided Reasoning for EEG Image-Based Sleep Stage Prediction [17.251077744298808]
脳波に基づく睡眠ステージ分類のための多段階特徴アライメントと言語誘導推論を統合した階層型視覚言語フレームワークであるEEG-VLMを提案する。実験により,脳波を用いた睡眠段階分類において,VLMの精度と解釈性の両方が有意に向上することが確認された。
論文参考訳（メタデータ） (2025-11-24T14:23:42Z)
Spatial-Functional awareness Transformer-based graph archetype contrastive learning for Decoding Visual Neural Representations from EEG [3.661246946935037]
本稿では,脳波に基づく視覚的デコーディングを強化するために,空間認識変換器を用いたグラフアーチタイプコントラスト学習(SFTG)フレームワークを提案する。具体的には、空間的脳の接続性と時間的神経力学を同時に符号化する新しいグラフベースのニューラルアーキテクチャであるEEG Graph Transformer(EGT)を紹介する。高い対象内変動を緩和するために,特徴の整合性とクラス分離性を改善するために,主観固有の脳波グラフアーチタイプを学習するグラフアーチタイプコントラスト学習(GAC)を提案する。
論文参考訳（メタデータ） (2025-09-29T13:27:55Z)
WaveMind: Towards a Conversational EEG Foundation Model Aligned to Textual and Visual Modalities [55.00677513249723]
脳波信号は認知過程と固有の神経状態の両方を同時に符号化する。我々は、EEG信号とその対応するモダリティを統一意味空間にマッピングし、一般化された解釈を実現する。結果として得られたモデルは、柔軟でオープンな会話をサポートしながら、堅牢な分類精度を示す。
論文参考訳（メタデータ） (2025-09-26T06:21:51Z)
CRIA: A Cross-View Interaction and Instance-Adapted Pre-training Framework for Generalizable EEG Representations [52.251569042852815]
CRIAは、可変長および可変チャネルコーディングを使用して、異なるデータセット間でEEGデータの統一表現を実現する適応フレームワークである。このモデルでは、時間的、スペクトル的、空間的特徴を効果的に融合させるクロスアテンション機構を採用している。テンプル大学脳波コーパスとCHB-MITデータセットによる実験結果から、CRIAは既存の方法よりも、同じ事前学習条件で優れていることが示された。
論文参考訳（メタデータ） (2025-06-19T06:31:08Z)
CognitionCapturer: Decoding Visual Stimuli From Human EEG Signal With Multimodal Information [61.1904164368732]
脳波信号の表現にマルチモーダルデータを完全に活用する統合フレームワークであるCognitionCapturerを提案する。具体的には、CognitionCapturerは、各モダリティに対してモダリティエキスパートを訓練し、EEGモダリティからモダリティ情報を抽出する。このフレームワークは生成モデルの微調整を一切必要とせず、より多くのモダリティを組み込むように拡張することができる。
論文参考訳（メタデータ） (2024-12-13T16:27:54Z)
A Knowledge-Driven Cross-view Contrastive Learning for EEG Representation [48.85731427874065]
本稿では,限られたラベルを持つ脳波から効果的な表現を抽出する知識駆動型クロスビューコントラスト学習フレームワーク(KDC2)を提案する。 KDC2法は脳波信号の頭皮と神経のビューを生成し、脳活動の内部および外部の表現をシミュレートする。ニューラル情報整合性理論に基づく事前のニューラル知識をモデル化することにより、提案手法は不変かつ相補的なニューラル知識を抽出し、複合表現を生成する。
論文参考訳（メタデータ） (2023-09-21T08:53:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。