論文の概要: Subject-Invariant Cross-Modal Decoding of Perceived Speech from Brain Recordings

• arxiv url: http://arxiv.org/abs/2609.30832v1
• Date: Fri, 25 Sep 2026 05:22:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.235005
• Title: Subject-Invariant Cross-Modal Decoding of Perceived Speech from Brain Recordings
• Title（参考訳）: 脳記録からの知覚音声の主観的不変なクロスモーダルデコーディング
• Abstract要約: 近年,非侵襲的脳-コンピュータインタフェース(BCI)信号に基づく知覚音声の研究が盛んに行われている。 この分野での研究は主に2つの課題に直面している。 機能的磁気共鳴画像(fMRI)と脳磁図(MEG)を統合したSICMD法を提案する。
• 参考スコア（独自算出の注目度）: 4.667137396768115
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Perceived speech decoding based on non-invasive brain-computer interface (BCI) signals has been extensively studied in recent years. Research in this field primarily faces two challenges: extracting neural representations with rich spatiotemporal information and achieving cross-subject generalization. Although separate studies have proposed methods to cope with these issues, a unified approach that simultaneously tackles both challenges remains lacking. To fill this gap, we propose the Subject-Invariant Cross-Modal Perceived Speech Decoding (SICMD) method, which integrates functional magnetic resonance imaging (fMRI) and magnetoencephalography (MEG). We conduct comprehensive analyses of the fusion method, fusion position, encoder architecture, and model inputs. Our results demonstrate that the proposed method improves Top-1, Top-10, and Rankacc by more than 10.6%, 10.1%, and 1.7%, respectively, compared to baseline methods in cross-subject perceived speech decoding tasks, while reducing training costs by 88.8% and 60.5% compared to multi-subject and intra-subject decoding settings. Further visualization experiments also confirm the effectiveness of our approach.
• Abstract（参考訳）: 近年,非侵襲的脳-コンピュータインタフェース(BCI)信号に基づく音声復号法が広く研究されている。 この分野での研究は主に2つの課題に直面している。 これらの問題に対処する方法は別々に提案されているが、両課題に同時に取り組む統一的なアプローチはいまだに不足している。 このギャップを埋めるために,機能的磁気共鳴画像(fMRI)と脳磁図(MEG)を統合したSICMD法を提案する。 本研究では, 融合法, 融合位置, エンコーダアーキテクチャ, モデル入力の包括的解析を行う。 提案手法は,マルチオブジェクト・イントラオブジェクト・デコード・セッティングに比べて,学習コストを88.8%,60.5%削減しつつ,クロスオブジェクト認識音声デコード・タスクにおけるベースライン手法と比較して,トップ1,トップ10,ランカックを10.6%,10.1%,ランカックを1.7%以上改善することを示した。 さらに可視化実験により,本手法の有効性を確認した。

関連論文リスト

• Multi-View Speech Representation Learning for Parkinson's Disease Detection Using Context-guided Cross-modal Attention [9.395262542018235]
  本稿では,パーキンソン病の自動検出のためのマルチブランチ深層学習フレームワークを提案する。 提案したアーキテクチャは91.51%の精度、F1スコアは91.24%、AUCは95.97%である。
  論文  参考訳（メタデータ） (2026-06-08T09:39:33Z)
• A Few-Shot Metric Learning Method with Dual-Channel Attention for Cross-Modal Same-Neuron Identification [1.3472715366596661]
  本稿では,デュアルチャネルアテンション機構と事前学習型視覚変換器を併用した数発のメトリクス学習手法を提案する。 2光子とfMOSTデータセットの実験では、既存の手法と比較してTop-Kの精度とリコールが優れている。
  論文  参考訳（メタデータ） (2025-04-23T08:45:23Z)
• Leveraging Persistent Homology for Differential Diagnosis of Mild Cognitive Impairment [2.474908349649168]
  軽度認知障害(MCI)は、認知機能の微妙な変化が特徴であり、しばしば脳の接続の混乱と関連している。 本研究では,6種類の被験者の脳ネットワークに関連する神経変性のトポロジカルな変化を調べるための,新しい微粒化分析法を提案する。
  論文  参考訳（メタデータ） (2024-08-28T09:01:55Z)
• Diffusion for Natural Image Matting [88.58577778234036]
  DiffMatteは、画像マッチングの課題を克服するために設計されたソリューションである。 まず、DiffMatteはデコーダを複雑な結合されたマッティングネットワーク設計から切り離し、拡散プロセスのイテレーションで1つの軽量デコーダだけを含む。 第2に、均一な時間間隔を持つ自己整合トレーニング戦略を採用し、時間領域全体にわたるトレーニングと推論の間に一貫したノイズサンプリングを確保する。
  論文  参考訳（メタデータ） (2023-12-10T15:28:56Z)
• Augmentation is AUtO-Net: Augmentation-Driven Contrastive Multiview Learning for Medical Image Segmentation [3.1002416427168304]
  この論文は網膜血管セグメンテーションの課題に焦点を当てている。 深層学習に基づく医用画像セグメンテーションアプローチの広範な文献レビューを提供する。 効率的でシンプルな多視点学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-02T06:31:08Z)
• HGT: A Hierarchical GCN-Based Transformer for Multimodal Periprosthetic Joint Infection Diagnosis Using CT Images and Text [0.0]
  補綴関節感染症(PJI)は重篤な合併症である。 現在,CT画像とPJIの数値テキストデータを組み合わせた統一診断基準が確立されていない。 本研究では,ディープラーニングとマルチモーダル技術に基づく診断手法であるHGTを紹介する。
  論文  参考訳（メタデータ） (2023-05-29T11:25:57Z)
• Cross-Modal Causal Intervention for Medical Report Generation [107.76649943399168]
  放射線医学報告生成(RRG)は, コンピュータ支援診断と薬剤指導に不可欠である。 視覚言語的バイアスによる急激な相関により、正確な病変記述の生成は依然として困難である。 我々はCrossModal Causal Representation Learning (CMCRL)という2段階のフレームワークを提案する。 IU-XrayとMIMIC-CXRの実験により、我々のCMCRLパイプラインは最先端の手法よりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2023-03-16T07:23:55Z)
• Decoding speech perception from non-invasive brain recordings [48.46819575538446]
  非侵襲的な記録から知覚音声の自己教師付き表現をデコードするために、コントラスト学習で訓練されたモデルを導入する。 我々のモデルでは、3秒のMEG信号から、1,000以上の異なる可能性から最大41%の精度で対応する音声セグメントを識別できる。
  論文  参考訳（メタデータ） (2022-08-25T10:01:43Z)
• Cross-Modality Deep Feature Learning for Brain Tumor Segmentation [158.8192041981564]
  本稿では, マルチモーダルMRIデータから脳腫瘍を抽出するクロスモーダルディープ・フィーチャーラーニング・フレームワークを提案する。 中心となる考え方は、不十分なデータスケールを補うために、マルチモダリティデータにまたがる豊富なパターンをマイニングすることだ。 on the BraTS benchmarks, this proposed cross-modality deep feature learning framework could effective improve the brain tumor segmentation performance。
  論文  参考訳（メタデータ） (2022-01-07T07:46:01Z)
• Multiple Time Series Fusion Based on LSTM An Application to CAP A Phase Classification Using EEG [56.155331323304]
  本研究では,深層学習に基づく脳波チャンネルの特徴レベル融合を行う。 チャネル選択,融合,分類手順を2つの最適化アルゴリズムで最適化した。
  論文  参考訳（メタデータ） (2021-12-18T14:17:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。