論文の概要: MoDAl: Self-Supervised Neural Modality Discovery via Decorrelation for Speech Neuroprosthesis

• arxiv url: http://arxiv.org/abs/2605.00025v1
• Date: Wed, 22 Apr 2026 03:02:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 06:56:26.41128
• Title: MoDAl: Self-Supervised Neural Modality Discovery via Decorrelation for Speech Neuroprosthesis
• Title（参考訳）: MoDAl: 音声神経補綴におけるデコレーションによる自己監督型ニューラルモダリティ発見
• Authors: Yuanhao Chen, Peter Chin,
• Abstract要約: 音声ニューロプロテーゼシステムは、可聴出力の欠如において、意図された音声を神経活動から復号する。 2つの目的の相互作用を通じて相補的なニューラルモダリティを発見するフレームワークであるMoDAlを紹介する。 Brain-to-Text Benchmark '24 では、MoDAl がワードエラー率 (WER) を26.3%から21.6%に下げている。
• 参考スコア（独自算出の注目度）: 4.486629113012585
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Speech neuroprosthesis systems decode intended speech from neural activity in the absence of audible output, offering a path to restoring communication for individuals with speech-impairing conditions. Current approaches decode predominantly from motor cortical areas, discarding others -- such as area 44, part of Broca's area -- that may encode complementary linguistic information. We introduce MoDAl (Modality Decorrelation and Alignment), a framework that discovers complementary neural modalities through the interplay of two objectives in a shared projection space. A contrastive loss aligns each of several parallel brain encoders with the text embeddings of a pretrained large language model (LLM), while a decorrelation loss prevents the encoders from coalescing to duplicative representations. We prove that these objectives are in productive tension: Contrastive alignment induces transitive modality coalescence, which decorrelation must counteract for the framework to discover diverse neurolinguistic modalities. On the Brain-to-Text Benchmark '24, MoDAl reduces word error rate (WER) from 26.3% to 21.6% compared to the previous best end-to-end method, with the gain from incorporating previously discarded area 44 signals arising entirely from the decorrelation mechanism. Analysis of the discovered modalities reveals functional specialization: Encoders receiving area 44 input capture structural and syntactic properties (sentence length, grammatical voice, wh-words), consistent with the neurolinguistic understanding of Broca's area.
• Abstract（参考訳）: 音声ニューロプロテーゼシステムは、聴覚出力がない場合に意図された音声を神経活動からデコードし、発話障害のある個人に対するコミュニケーションを回復するための経路を提供する。 現在のアプローチは、主に運動皮質領域からデコードされ、補完的な言語情報をエンコードする他の領域(例えばブロカ地域の一部)を破棄する。 MoDAl(Modality Decorrelation and Alignment)は、共有射影空間における2つの目的の相互作用を通じて相補的なニューラルモダリティを発見するフレームワークである。 対照的な損失は、複数の並列脳エンコーダのそれぞれを、事前訓練された大言語モデル(LLM)のテキスト埋め込みと整合させ、デコリレーション損失は、エンコーダの合体や重複表現を防ぐ。 コントラスト的アライメントは過渡的モダリティの合体を誘導するが、これは多種多様な神経言語学的モダリティを発見するための枠組みに逆らわなければならない。 Brain-to-Text Benchmark '24において、MoDAlは単語誤り率(WER)を26.3%から21.6%に減らし、デコリレーション機構から生じる領域44信号の廃止による利得を得る。 領域44の入力を受信するエンコーダ 構造的および統語的特性(文長、文法的音声、単語)は、ブロカの領域の神経言語学的理解と一致している。

関連論文リスト

• Coherence in the brain unfolds across separable temporal regimes [1.3874648807526748]
  言語におけるコヒーレンスには、脳が競合する2つの時間的要求を満たす必要がある。 我々は、コヒーレンスを、文脈統合の遅い解離可能なニューラルレシエーションと、イベント駆動の迅速な再構成によって実現していることを示す。
  論文  参考訳（メタデータ） (2025-12-23T16:16:42Z)
• Decoding inner speech with an end-to-end brain-to-text neural interface [33.17572163528015]
  音声脳-コンピュータインタフェース(BCI)は、神経活動をテキストに翻訳することで麻痺のある人々のコミュニケーションを回復することを目的としている。 本稿では、単一微分可能なニューラルネットワークを用いて、ニューラルネットワークをコヒーレントな文に変換する、エンドツーエンドのBrain-to-Textフレームワークを紹介する。
  論文  参考訳（メタデータ） (2025-11-21T21:25:54Z)
• Information-Restricted Neural Language Models Reveal Different Brain Regions' Sensitivity to Semantics, Syntax and Context [87.31930367845125]
  テキストコーパスを用いて語彙言語モデルGloveと超語彙言語モデルGPT-2を訓練した。 そして、これらの情報制限されたモデルが、自然主義的テキストを聴く人間のfMRI信号の時間軸を予測することができるかを評価した。 分析の結果、言語に関わるほとんどの脳領域は、構文変数と意味変数の両方に敏感であるが、これらの影響の相対的な大きさは、これらの領域で大きく異なることがわかった。
  論文  参考訳（メタデータ） (2023-02-28T08:16:18Z)
• Decoding speech perception from non-invasive brain recordings [48.46819575538446]
  非侵襲的な記録から知覚音声の自己教師付き表現をデコードするために、コントラスト学習で訓練されたモデルを導入する。 我々のモデルでは、3秒のMEG信号から、1,000以上の異なる可能性から最大41%の精度で対応する音声セグメントを識別できる。
  論文  参考訳（メタデータ） (2022-08-25T10:01:43Z)
• End-to-End Binaural Speech Synthesis [71.1869877389535]
  本稿では,低ビットレート音声システムと強力なデコーダを組み合わせたエンドツーエンド音声合成システムを提案する。 実感的な聴覚シーンを作るために必要な環境効果を捉える上で, 対人的損失がもたらす効果を実証する。
  論文  参考訳（メタデータ） (2022-07-08T05:18:36Z)
• Model-based analysis of brain activity reveals the hierarchy of language in 305 subjects [82.81964713263483]
  言語の神経基盤を分解する一般的なアプローチは、個人間で異なる刺激に対する脳の反応を関連付けている。 そこで本研究では,自然刺激に曝露された被験者に対して,モデルに基づくアプローチが等価な結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-12T15:30:21Z)
• Decomposing lexical and compositional syntax and semantics with deep language models [82.81964713263483]
  GPT2のような言語変換器の活性化は、音声理解中の脳活動に線形にマップすることが示されている。 本稿では,言語モデルの高次元アクティベーションを,語彙,構成,構文,意味表現の4つのクラスに分類する分類法を提案する。 その結果は2つの結果が浮かび上がった。 まず、構成表現は、語彙よりも広範な皮質ネットワークを募集し、両側の側頭、頭頂、前頭前皮質を包含する。
  論文  参考訳（メタデータ） (2021-03-02T10:24:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。