論文の概要: Uncertainty-Aware Cross-Modal Knowledge Distillation with Prototype Learning for Multimodal Brain-Computer Interfaces

• arxiv url: http://arxiv.org/abs/2507.13092v1
• Date: Thu, 17 Jul 2025 13:03:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-18 20:10:24.50418
• Title: Uncertainty-Aware Cross-Modal Knowledge Distillation with Prototype Learning for Multimodal Brain-Computer Interfaces
• Title（参考訳）: マルチモーダル脳-コンピュータインタフェースのためのプロトタイプ学習による不確実性を考慮したクロスモーダル知識蒸留
• Authors: Hyo-Jeong Jang, Hye-Bin Shin, Seong-Whan Lee,
• Abstract要約: マルチモーダル知識蒸留(KD)は視覚モデルから脳波モデルへ知識を伝達するために研究されている。 本稿では、あいまいな特徴と弱い定義されたラベルによって引き起こされる意味的不確実性に対処する。 本稿では,モダリティとラベルの不整合を緩和する新しいクロスモーダルな知識蒸留フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 26.585985828583304
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Electroencephalography (EEG) is a fundamental modality for cognitive state monitoring in brain-computer interfaces (BCIs). However, it is highly susceptible to intrinsic signal errors and human-induced labeling errors, which lead to label noise and ultimately degrade model performance. To enhance EEG learning, multimodal knowledge distillation (KD) has been explored to transfer knowledge from visual models with rich representations to EEG-based models. Nevertheless, KD faces two key challenges: modality gap and soft label misalignment. The former arises from the heterogeneous nature of EEG and visual feature spaces, while the latter stems from label inconsistencies that create discrepancies between ground truth labels and distillation targets. This paper addresses semantic uncertainty caused by ambiguous features and weakly defined labels. We propose a novel cross-modal knowledge distillation framework that mitigates both modality and label inconsistencies. It aligns feature semantics through a prototype-based similarity module and introduces a task-specific distillation head to resolve label-induced inconsistency in supervision. Experimental results demonstrate that our approach improves EEG-based emotion regression and classification performance, outperforming both unimodal and multimodal baselines on a public multimodal dataset. These findings highlight the potential of our framework for BCI applications.
• Abstract（参考訳）: 脳波(EEG)は脳-コンピュータインタフェース(BCI)における認知状態モニタリングの基本的なモダリティである。 しかし、本質的な信号誤りや人為的なラベル付け誤りの影響を受けやすいため、ラベルノイズが発生し、最終的にモデル性能が低下する。 脳波学習を強化するため、多モード知識蒸留(KD)は、豊かな表現を持つ視覚モデルから脳波に基づくモデルへ知識を伝達するために研究されている。 それでもKDは、モダリティギャップとソフトラベルのミスアライメントという、2つの大きな課題に直面している。 前者は脳波と視覚的特徴空間の不均一性に起因するが、後者は基底の真理ラベルと蒸留目標との相違を生み出すラベルの不整合に由来する。 本稿では、あいまいな特徴と弱い定義されたラベルによって引き起こされる意味的不確実性に対処する。 本稿では,モダリティとラベルの不整合を緩和する新しいクロスモーダルな知識蒸留フレームワークを提案する。 プロトタイプベースの類似モジュールを通じて特徴セマンティクスを整合させ、ラベルによる監視の不整合を解決するためにタスク固有の蒸留ヘッドを導入する。 実験の結果,脳波に基づく感情の回帰と分類性能が向上し,公的なマルチモーダルデータセット上での非モーダルベースラインとマルチモーダルベースラインの両方を上回ることがわかった。 これらの結果は,BCIアプリケーションのためのフレームワークの可能性を強調している。

関連論文リスト

• CognitionCapturer: Decoding Visual Stimuli From Human EEG Signal With Multimodal Information [61.1904164368732]
  脳波信号の表現にマルチモーダルデータを完全に活用する統合フレームワークであるCognitionCapturerを提案する。 具体的には、CognitionCapturerは、各モダリティに対してモダリティエキスパートを訓練し、EEGモダリティからモダリティ情報を抽出する。 このフレームワークは生成モデルの微調整を一切必要とせず、より多くのモダリティを組み込むように拡張することができる。
  論文  参考訳（メタデータ） (2024-12-13T16:27:54Z)
• PL-DCP: A Pairwise Learning framework with Domain and Class Prototypes for EEG emotion recognition under unseen target conditions [27.769583873372518]
  未確認対象条件下での脳波感情認識のためのドメインとカテゴリーのプロトタイプを用いたペアワイズ学習フレームワークを提案する。 PL-DCPモデルは、ソースデータとターゲットデータの両方を必要とするディープトランスファー学習法よりも若干性能が向上する。 この研究は感情認識のための効果的で堅牢な潜在的ソリューションを提供する。
  論文  参考訳（メタデータ） (2024-11-27T00:56:43Z)
• A Supervised Information Enhanced Multi-Granularity Contrastive Learning Framework for EEG Based Emotion Recognition [14.199298112101802]
  本研究では,脳波に基づく感情認識(SICLEER, Supervised Info-enhanced Contrastive Learning)のための新しいコントラスト学習フレームワークを提案する。 自己教師付きコントラスト学習損失と教師付き分類損失を組み合わせた共同学習モデルを提案する。
  論文  参考訳（メタデータ） (2024-05-12T11:51:00Z)
• Graph Convolutional Network with Connectivity Uncertainty for EEG-based Emotion Recognition [20.655367200006076]
  本研究では,脳波信号の空間依存性と時間スペクトルの相対性を表す分布に基づく不確実性手法を提案する。 グラフ混合手法は、遅延接続エッジを強化し、ノイズラベル問題を緩和するために用いられる。 感情認識タスクにおいて、SEEDとSEEDIVという2つの広く使われているデータセットに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2023-10-22T03:47:11Z)
• Semi-Supervised Dual-Stream Self-Attentive Adversarial Graph Contrastive Learning for Cross-Subject EEG-based Emotion Recognition [19.578050094283313]
  DS-AGCフレームワークは、クロスオブジェクト脳波に基づく感情認識において、限定ラベル付きデータの課題に取り組むために提案されている。 提案手法は,不完全ラベル条件の異なる既存手法よりも優れている。
  論文  参考訳（メタデータ） (2023-08-13T23:54:40Z)
• Cross-Attention is Not Enough: Incongruity-Aware Dynamic Hierarchical Fusion for Multimodal Affect Recognition [69.32305810128994]
  モダリティ間の同調性は、特に認知に影響を及ぼすマルチモーダル融合の課題となる。 本稿では,動的モダリティゲーティング(HCT-DMG)を用いた階層型クロスモーダルトランスを提案する。 HCT-DMG: 1) 従来のマルチモーダルモデルを約0.8Mパラメータで上回り、2) 不整合が認識に影響を及ぼすハードサンプルを認識し、3) 潜在レベルの非整合性をクロスモーダルアテンションで緩和する。
  論文  参考訳（メタデータ） (2023-05-23T01:24:15Z)
• Uncertain Facial Expression Recognition via Multi-task Assisted Correction [43.02119884581332]
  MTACと呼ばれる不確実な表情認識に対処するためのマルチタスク支援補正法を提案する。 具体的には、信頼度推定ブロックと重み付け正則化モジュールを用いて、固体試料をハイライトし、バッチ毎に不確かさサンプルを抑圧する。 RAF-DB、AffectNet、AffWild2データセットの実験は、MTACが合成および実際の不確実性に直面した際のベースラインよりも大幅に改善されていることを示した。
  論文  参考訳（メタデータ） (2022-12-14T10:28:08Z)
• Exploiting Completeness and Uncertainty of Pseudo Labels for Weakly Supervised Video Anomaly Detection [149.23913018423022]
  弱教師付きビデオ異常検出は、ビデオレベルのラベルのみを用いて、ビデオ内の異常事象を特定することを目的としている。 2段階の自己学習法は擬似ラベルの自己生成によって著しく改善されている。 本稿では,自己学習のための完全性と不確実性を利用した強化フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-08T05:53:53Z)
• The Overlooked Classifier in Human-Object Interaction Recognition [82.20671129356037]
  クラス間の意味的相関を分類ヘッドにエンコードし,重みをHOIの言語埋め込みで初期化する。 我々は,LSE-Sign という新しい損失を,長い尾を持つデータセット上でのマルチラベル学習を強化するために提案する。 我々は,物体検出と人間のポーズを明確なマージンで求める最先端技術よりも優れた,検出不要なHOI分類を可能にする。
  論文  参考訳（メタデータ） (2022-03-10T23:35:00Z)
• MEmoBERT: Pre-training Model with Prompt-based Learning for Multimodal Emotion Recognition [118.73025093045652]
  マルチモーダル感情認識のための事前学習モデル textbfMEmoBERT を提案する。 従来の「訓練前、微妙な」パラダイムとは異なり、下流の感情分類タスクをマスク付きテキスト予測として再構成するプロンプトベースの手法を提案する。 提案するMEMOBERTは感情認識性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-10-27T09:57:00Z)
• Uncovering the structure of clinical EEG signals with self-supervised learning [64.4754948595556]
  教師付き学習パラダイムは、しばしば利用可能なラベル付きデータの量によって制限される。 この現象は脳波(EEG)などの臨床関連データに特に問題となる。 ラベルのないデータから情報を抽出することで、ディープニューラルネットワークとの競合性能に到達することができるかもしれない。
  論文  参考訳（メタデータ） (2020-07-31T14:34:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。