論文の概要: OneEEG: A Unified Signal-Visual Multimodal Language Model with Task-Aware Mixture of Projectors for Multi-Task EEG Understanding
- arxiv url: http://arxiv.org/abs/2610.35355v1
- Date: Mon, 26 Oct 2026 12:46:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.93044
- Title: OneEEG: A Unified Signal-Visual Multimodal Language Model with Task-Aware Mixture of Projectors for Multi-Task EEG Understanding
- Title(参考訳): OneEEG:マルチタスク脳波理解のためのプロジェクタのタスク認識混合を用いた統合信号・視覚マルチモーダル言語モデル
- Abstract要約: マルチタスク脳波理解のための統合脳波MLLMフレームワークであるOneEEGを提案する。
既存のMLLMは脳波入力を解釈する能力が限られているのに対し、OneEEGはより強力な性能を実現していることを示す。
- 参考スコア(独自算出の注目度): 41.70273468611352
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Electroencephalography (EEG) is widely used in clinical assessment, brain-computer interfaces, and cognitive-state analysis, yet EEG modeling remains fragmented across task paradigms. Recent multimodal large language models (MLLMs) provide a promising interface for flexible multimodal reasoning, but their ability to understand EEG inputs remains limited. In this work, we propose OneEEG, a unified EEG-MLLM framework for multi-task EEG understanding. By training on our curated OneEEG-Instruct, a multi-task EEG instruction-tuning dataset, OneEEG jointly models numerical EEG representations and visual EEG representations, and introduces a task-aware Mixture of Projectors (MoP) to align heterogeneous EEG features across different task families with the LLM embedding space. We further establish OneEEG-Bench, a benchmark for evaluating current MLLMs and our method on multi-task EEG understanding. Experiments show that existing MLLMs have limited ability to interpret EEG inputs, while OneEEG achieves stronger performance by integrating numerical and visual EEG representations with task-aware EEG-to-LLM projection. Extensive ablations and analyses further reveal the effects of visual EEG renderings, MoP variants, router behavior, and feature dispersion across EEG tasks.
- Abstract(参考訳): 脳波(EEG)は臨床評価、脳-コンピュータインタフェース、認知状態分析に広く用いられているが、脳波モデリングはタスクパラダイム全体にわたって断片化されている。
最近のマルチモーダル大言語モデル(MLLM)は、柔軟なマルチモーダル推論のための有望なインターフェースを提供するが、脳波入力を理解する能力は限られている。
本研究では,マルチタスク脳波理解のための統合型脳波MLLMフレームワークであるOneEEGを提案する。
マルチタスクの脳波学習データセットであるOneEEG-Instructをトレーニングすることにより、数値的な脳波表現と視覚的な脳波表現を共同でモデル化し、異なるタスクファミリ間での不均一な脳波特徴をLLM埋め込み空間と整合させるタスク認識プロジェクタの混合(MoP)を導入する。
さらに,現在のMLLMを評価するためのベンチマークであるOneEEG-Benchとマルチタスク脳波理解のための手法を構築した。
実験により,既存のMLLMは脳波入力を解釈する能力に制限があること,一方OneEEGは脳波表現とタスク認識脳波からLLMプロジェクションを統合することで,より強力な性能を実現することが示された。
広範囲にわたる改善と分析により、視覚的なEEGレンダリング、MoP変種、ルータの挙動、EEGタスク間の機能分散の影響がさらに明らかになった。
関連論文リスト
- Towards Unified Multi-task EEG Analysis with Low-Rank Adaptation [21.90561109126969]
タスク固有の低ランク適応モジュールを組み込んだマルチタスクEEG分析フレームワークであるMTEEGを提案する。
MTEEGはマルチタスク脳波解析の可能性を示し、汎用脳-コンピュータインタフェースの開発を促進する。
論文 参考訳(メタデータ) (2026-04-28T02:09:07Z) - E^2-LLM: Bridging Neural Signals and Interpretable Affective Analysis [54.763420895859035]
脳波からの感情分析のための最初のMLLMフレームワークであるELLM2-EEG-to-Emotion Large Language Modelを提案する。
ELLMは学習可能なプロジェクション層を通じて、トレーニング済みのEEGエンコーダとQベースのLLMを統合し、マルチステージのトレーニングパイプラインを使用する。
7つの感情カテゴリーにまたがるデータセット実験により, ELLM2-EEG-to-Emotion Large Language Modelは感情分類において優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2026-01-11T13:21:20Z) - EEGAgent: A Unified Framework for Automated EEG Analysis Using Large Language Models [21.01911300951173]
EEGAgentは、大規模な言語モデル(LLM)を活用して、複数のツールをスケジュールし、計画し、EEG関連のタスクを自動的に完了させる汎用フレームワークである。
EEGAgentは、EEG基本的な情報認識、EEG探索、EEGイベント検出、ユーザとのインタラクション、EEGレポート生成といった重要な機能を実行することができる。
これらの機能はパブリックデータセットで評価され、私たちのEEGAgentは柔軟で解釈可能なEEG分析をサポートできます。
論文 参考訳(メタデータ) (2025-11-13T04:27:06Z) - WaveMind: Towards a Conversational EEG Foundation Model Aligned to Textual and Visual Modalities [55.00677513249723]
脳波信号は認知過程と固有の神経状態の両方を同時に符号化する。
我々は、EEG信号とその対応するモダリティを統一意味空間にマッピングし、一般化された解釈を実現する。
結果として得られたモデルは、柔軟でオープンな会話をサポートしながら、堅牢な分類精度を示す。
論文 参考訳(メタデータ) (2025-09-26T06:21:51Z) - EEGDM: Learning EEG Representation with Latent Diffusion Model [26.237067291138246]
潜在拡散モデルに基づく新しい自己教師型脳波表現学習法であるEEGDMを提案する。
EEGDMは、EEG信号を蒸留するEEGエンコーダと、そのチャネル拡張をコンパクトな表現に組み込む。
実験結果から,EEGDMは高品質な脳波信号を再構成し,ロバストな表現を効果的に学習し,適度な事前学習データサイズで競合性能を得ることができた。
論文 参考訳(メタデータ) (2025-08-28T12:23:28Z) - EEGMamba: Bidirectional State Space Model with Mixture of Experts for EEG Multi-task Classification [1.4004287903552533]
脳波アプリケーションのためのマルチタスク学習を真に実装した最初のユニバーサル脳波分類ネットワークであるEEGMambaを紹介する。
EEGMambaは、Spatio-Temporal-Adaptive (ST-Adaptive)モジュール、双方向のMamba、Mixture of Experts (MoE)をシームレスに統合したフレームワークに統合する。
本研究では,8つの公用EEGデータセットを用いてモデルの評価を行い,その性能を4種類のタスクで実証した。
論文 参考訳(メタデータ) (2024-07-20T11:15:47Z) - Enhancing EEG-to-Text Decoding through Transferable Representations from Pre-trained Contrastive EEG-Text Masked Autoencoder [69.7813498468116]
コントラスト型脳波テキストマスケード自動エンコーダ(CET-MAE)を提案する。
また、E2T-PTR(Pretrained Transferable Representationsを用いたEEG-to-Text decoding)と呼ばれるフレームワークを開発し、EEGシーケンスからテキストをデコードする。
論文 参考訳(メタデータ) (2024-02-27T11:45:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。