論文の概要: HDND: Hierarchical Dynamic Neural Decoding for Multilingual Word/Character Retrieval from Non-Invasive Brain Recordings

• arxiv url: http://arxiv.org/abs/2609.24095v2
• Date: Wed, 30 Sep 2026 04:56:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:25.289473
• Title: HDND: Hierarchical Dynamic Neural Decoding for Multilingual Word/Character Retrieval from Non-Invasive Brain Recordings
• Title（参考訳）: HDND:非侵襲脳記録からの多言語単語/文字検索のための階層的動的ニューラルネットワークデコーディング
• Abstract要約: 本稿では,階層型動的ニューラルデコーディング(Hyerarchical Dynamic Neural Decoding,HDND)を提案する。 本研究では, 英語, オランダ語, マンダリン語, カントン語にまたがる7つの脳磁図および脳磁図データセットを用いたHDNDの評価を行った。
• 参考スコア（独自算出の注目度）: 1.0589607847589773
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While deep learning has enabled language decoding from intracranial brain recordings, extending this capability to non-invasive recordings remains an unresolved challenge. Decoding individual words from non-invasive brain recordings is particularly difficult, as word-level neural evidence is weak, temporally distributed, and entangled with acoustic, lexical, and semantic structure. Existing retrieval pipelines often collapse these factors into a single representation, potentially discarding information available at intermediate temporal scales. Here, we introduce Hierarchical Dynamic Neural Decoding (HDND), a hierarchical dynamic decoding framework that treats word decoding as structured refinement rather than flat label retrieval. HDND combines intermediate neural representations, contextual semantic predictions, and, for selected reading conditions, an auxiliary character-form objective. We evaluate HDND across seven electroencephalography (EEG) and magnetoencephalography (MEG) datasets spanning English, Dutch, Mandarin, and Cantonese listening, reading, and reading-aloud conditions. Across the nine-condition word-retrieval benchmark, the proposed HDND yields a higher participant-averaged balanced Top-10 point estimate than the matched contextual word-decoding baseline in every condition and achieves the highest mean among all compared methods in eight of nine conditions. Across the same nine matched conditions, HDND also yields higher token-micro and pooled word-macro Top-10 point estimates in every setting. Sentence retrieval favors HDND in eight of nine conditions, while auditory speech-segment retrieval is mixed across the six listening conditions. These results show that hierarchical residual refinement can improve multilingual word retrieval from heterogeneous non-invasive brain recordings.
• Abstract（参考訳）: 深層学習は頭蓋内脳の記録から言語解読を可能にしているが、この能力を非侵襲的な記録に拡張することは未解決の課題である。 非侵襲的な脳記録から個々の単語を復号することは特に困難であり、単語レベルの神経証拠は弱く、時間的に分布し、音響的、語彙的、意味的な構造と絡み合っている。 既存の検索パイプラインはしばしばこれらの因子を単一の表現に分解し、中間時間スケールで利用可能な情報を破棄する可能性がある。 本稿では,階層型動的ニューラルデコーディング(Hyerarchical Dynamic Neural Decoding,HDND)を提案する。 HDNDは、中間的神経表現、文脈的意味予測、および選択された読解条件に対して補助的な文字形式目的を結合する。 本研究では, 英語, オランダ語, マンダリン語, カントン語にまたがる7つの脳磁図および脳磁図データセットを用いたHDNDの評価を行った。 9条件の単語検索ベンチマーク全体を通して,提案したHDNDは,一致した文脈の単語復号ベースラインよりも平均的トップ10点推定値が高く,9条件中8条件で比較した手法の中で最も高い平均値が得られる。 同じ9つの一致した条件の中で、HDNDは全ての設定において高いトークンマイクロとプールドワードマクロトップ10点の推定値を得る。 文検索は9つの条件のうち8つの条件でHDNDを好ましく、聴覚的音声分割検索は6つの聴取条件で混合される。 これらの結果から,階層的残差改善は異種非侵襲的脳波記録からの多言語単語検索を改善することが示唆された。

関連論文リスト

• The Semantic Bottleneck: Leveraging Semantic Representations for Non-Invasive Speech Decoding [1.6721602990895612]
  本稿では,中間的なセマンティックな埋め込み空間を通じてテキストを再構築するBrain2Semantics2Textを紹介する。 我々のモデルは文レベルのMEG応答を意味多様体にマッピングし、予測された埋め込みを自然言語に反転させる。 このセマンティックボトルネックは、単語レベルのアライメントなしで高レベルの意味の回復を可能にする。
  論文  参考訳（メタデータ） (2026-09-09T15:11:57Z)
• Decoding the decoder: Contextual sequence-to-sequence modeling for intracortical speech decoding [0.0]
  音声脳-コンピュータインタフェースは、皮質内活動から言語出力に変換するデコーダを必要とする。 文脈的シーケンス・ツー・シーケンスの復号化がサブレキシカル・ニューラル・リードアウト、ロバストネス、解釈可能性にどのような影響を及ぼすかはいまだ不明である。 我々は,6v領域の皮質内記録からの音声復号を試みるためのトランスフォーマーに基づくシーケンス・ツー・シーケンス・モデルの評価を行った。
  論文  参考訳（メタデータ） (2026-03-10T11:46:14Z)
• MEGState: Phoneme Decoding from Magnetoencephalography Signals [15.480040965084214]
  本稿では,MEG信号からの音素デコードのための新しいアーキテクチャであるMEGStateを紹介する。 MeGStateは聴覚刺激によって誘発されるきめ細かい皮質反応を捉える。 これらの知見は,MEGをベースとした音素デコーディングが,非侵襲的音声脳-コンピュータインタフェースへのスケーラブルな経路としての可能性を強調した。
  論文  参考訳（メタデータ） (2025-12-19T13:02:31Z)
• sEEG-based Encoding for Sentence Retrieval: A Contrastive Learning Approach to Brain-Language Alignment [8.466223794246261]
  本稿では,凍結したCLIPモデルの文埋め込み空間に単射ステレオ脳波信号(sEEG)を投影するコントラスト学習フレームワークであるSSENSEを提案する。 本手法は,自然主義映画視聴データセットから,時系列のsEEGと音声の書き起こしについて評価する。
  論文  参考訳（メタデータ） (2025-04-20T03:01:42Z)
• Decoding individual words from non-invasive brain recordings across 723 participants [9.9068852821927]
  非侵襲的脳波(EEG)および脳磁図(MEG)信号から個々の単語を復号する新しいディープラーニングパイプラインを導入する。 我々は、英語、フランス語、オランダ語で書かれた500万語に対して、前例のないほど多くの参加者に対して、我々のアプローチを訓練し、評価する。
  論文  参考訳（メタデータ） (2024-12-11T15:53:49Z)
• Low-Resource Named Entity Recognition with Cross-Lingual, Character-Level Neural Conditional Random Fields [68.17213992395041]
  低リソースのエンティティ認識は、まだNLPでは未解決の問題である。 そこで我々は,高リソース言語と低リソース言語の両方の名前付きエンティティを共同で予測するために,文字レベルのニューラルCRFを訓練する。
  論文  参考訳（メタデータ） (2024-04-14T23:44:49Z)
• Surrogate Gradient Spiking Neural Networks as Encoders for Large Vocabulary Continuous Speech Recognition [91.39701446828144]
  スパイクニューラルネットワークは, 代理勾配法を用いて, 通常のリカレントニューラルネットワークのように訓練可能であることを示す。 彼らは音声コマンド認識タスクについて有望な結果を示した。 繰り返し発生する非スパイキングとは対照的に、ゲートを使わずに爆発する勾配問題に対して堅牢性を示す。
  論文  参考訳（メタデータ） (2022-12-01T12:36:26Z)
• Decoding speech perception from non-invasive brain recordings [48.46819575538446]
  非侵襲的な記録から知覚音声の自己教師付き表現をデコードするために、コントラスト学習で訓練されたモデルを導入する。 我々のモデルでは、3秒のMEG信号から、1,000以上の異なる可能性から最大41%の精度で対応する音声セグメントを識別できる。
  論文  参考訳（メタデータ） (2022-08-25T10:01:43Z)
• Open Vocabulary Electroencephalography-To-Text Decoding and Zero-shot Sentiment Classification [78.120927891455]
  最先端のブレイン・トゥ・テキストシステムは、ニューラルネットワークを使用して脳信号から直接言語を復号することに成功した。 本稿では,自然読解課題における語彙的脳波(EEG)-テキスト列列列復号化とゼロショット文感性分類に問題を拡張する。 脳波-テキストデコーディングで40.1%のBLEU-1スコア、ゼロショット脳波に基づく3次感情分類で55.6%のF1スコアを達成し、教師付きベースラインを著しく上回る結果となった。
  論文  参考訳（メタデータ） (2021-12-05T21:57:22Z)
• Integrating end-to-end neural and clustering-based diarization: Getting the best of both worlds [71.36164750147827]
  クラスタリングに基づくアプローチでは、xベクトルのような話者埋め込みをクラスタリングすることで、話者ラベルを音声領域に割り当てる。 EEND(End-to-end Neural Diarization)は、ニューラルネットワークを使用してダイアリゼーションラベルを直接予測する。 重なり合う音声と、任意の数の話者を含む長い録音のために、単純だが効果的なハイブリッドダイアリゼーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-26T06:33:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。