Fugu-MT 論文翻訳(概要): The Semantic Bottleneck: Leveraging Semantic Representations for Non-Invasive Speech Decoding

論文の概要: The Semantic Bottleneck: Leveraging Semantic Representations for Non-Invasive Speech Decoding

arxiv url: http://arxiv.org/abs/2609.10296v1
Date: Wed, 09 Sep 2026 15:11:57 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-10 19:44:09.075582
Title: The Semantic Bottleneck: Leveraging Semantic Representations for Non-Invasive Speech Decoding
Title（参考訳）: 意味的ボットネック:非侵襲的音声復号のための意味的表現の活用
Abstract要約: 本稿では,中間的なセマンティックな埋め込み空間を通じてテキストを再構築するBrain2Semantics2Textを紹介する。我々のモデルは文レベルのMEG応答を意味多様体にマッピングし、予測された埋め込みを自然言語に反転させる。このセマンティックボトルネックは、単語レベルのアライメントなしで高レベルの意味の回復を可能にする。
参考スコア（独自算出の注目度）: 1.6721602990895612
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Non-invasive speech decoding remains constrained by the low signal-to-noise ratio of neural recordings, which makes fine-grained reconstruction of phonemes or individual words difficult. Motivated by neuroscientific evidence that high-level semantic representations are distributed across cortical regions and evolve over slower temporal scales, we hypothesize that semantic content may provide a more suitable target for non-invasive decoding than low-level acoustic or lexical features. We introduce Brain2Semantics2Text, a method that reconstructs text through an intermediate semantic embedding space. Our model maps sentence-level MEG responses into a semantic manifold and then inverts the predicted embeddings into natural language. This semantic bottleneck enables recovery of high-level meaning without word-level alignment. We describe the core principles of the approach, its implementation, and the strategies used to mitigate the challenges of learning a reliable neural-to-semantic mapping. Finally, we compare against prior non-invasive Brain2Text methods and show improved sentence-level results.
Abstract（参考訳）: 非侵襲的な音声復号法は、低信号対雑音比のニューラル記録によって制約され、音素や個々の単語の微細な再構成が困難になる。神経科学的証拠から, 高レベルの意味表現が皮質領域に分散し, 時間的変化が遅いことが示唆され, 低レベルの音響的特徴や語彙的特徴よりも, 意味内容が非侵襲的デコーディングの標的となる可能性が示唆された。本稿では,中間的なセマンティックな埋め込み空間を通じてテキストを再構築するBrain2Semantics2Textを紹介する。我々のモデルは文レベルのMEG応答を意味多様体にマッピングし、予測された埋め込みを自然言語に反転させる。このセマンティックボトルネックは、単語レベルのアライメントなしで高レベルの意味の回復を可能にする。このアプローチの中核となる原則、その実装、信頼性の高いニューラル・ツー・セマンティックマッピングを学習する際の課題を軽減するために使用される戦略について説明する。最後に,従来の非侵襲的なBrain2Text法と比較し,文レベルの改善を示す。

関連論文リスト

Margin-Regularized Structured Semantic Alignment for Brain-Language Correspondence [7.7737164302813895]
MD-SigLIPは、脳の埋め込みとテキストの埋め込みを共有セマンティック空間に合わせることを目的としており、検索ベースのデコードを可能にする。この定式化は、ニューラル表現と言語意味論の対応を明示的なモデリングを可能にする。実験では、全語彙とサブセット評価設定の両方で、最先端の検索性能を示す。
論文参考訳（メタデータ） (2026-08-17T14:47:15Z)
Beyond Parallel Tracking: Interactive Multi-Feature Fusion Drives Semantic Reconstruction from Non-invasive Brain Recordings [16.302171409052637]
非侵襲的なニューラル記録からの連続的意味再構成は、意味的特徴空間とニューラルコーディングパターンとの表現的ミスマッチによって制限されている。以前のセマンティックデコーダは、独立して静的語彙表現や動的文脈化表現に大きく依存していた。本研究では,非侵襲的意味再構成のための多機能融合フレームワークを提案する。
論文参考訳（メタデータ） (2026-07-13T18:44:40Z)
Cross-Subject Semantic Decoding with Shared-Space Alignment for Generalized Neural Representation Learning [80.18561652862725]
被験者全体にわたる一般化は、侵襲的なニューラル記録において難しいままである。本稿では,複数の被験者からの音声知覚に対するニューラル応答を共有潜在空間に整列させるクロスオブジェクトセマンティックデコーディングフレームワークを提案する。
論文参考訳（メタデータ） (2026-07-03T03:59:16Z)
MindAlign: Decoding Inner Speech from fMRI Signals via Multimodal Embedding Alignment under Limited Data [4.280521231404364]
我々は,fMRI信号からのオープンエンドテキスト生成を可能にする2段階の脳言語フレームワークであるMindAlignを提案する。サイレント画像記述中に収集されたfMRIデータの実験により、提案手法はfMRIのみのベースラインとランダムなベースラインを一貫して上回ることを示した。
論文参考訳（メタデータ） (2026-06-15T08:30:03Z)
SYNAPSE: Neuro-Symbolic Visual Thought-to-Text Decoding via Topological Semantic Denoising [5.012293526456192]
我々は,推論時記号正規化によるニューラルテキスト生成を安定化するニューラルシンボリックフレームワークであるSynAPSEを紹介する。脳波に基づくセマンティック候補をコモンセンスグラフ構造と潜在例を用いて浄化することにより、SynAPSEはエンド・ツー・エンドのLCM微調整なしでセマンティック安定性を向上させる。
論文参考訳（メタデータ） (2026-05-27T00:12:44Z)
Brain-CLIPLM: Decoding Compressed Semantic Representations in EEG for Language Reconstruction [20.162170862752813]
コントラスト学習と文再構成により,脳波からテキストへのデコーディングを意味的アンカー抽出に分解するフレームワークを提案する。 Brain-CLIPLMは、67.55%のトップ5と85.00%のトップ25の文章検索精度を達成し、直接デコードベースラインを著しく上回っている。脳波からテキストへのデコーディングは、全文を再構築するよりも、圧縮されたセマンティックコンテンツを復元する方がよいことが示唆された。
論文参考訳（メタデータ） (2026-03-23T11:45:51Z)
Learning Interpretable Representations Leads to Semantically Faithful EEG-to-Text Generation [52.51005875755718]
我々は脳波からテキストへの復号に焦点をあて、後部崩壊のレンズを通して幻覚の問題に対処する。脳波とテキスト間の情報容量のミスマッチを認め、デコードタスクをコア意味のセマンティックな要約として再設計する。パブリックなZuCoデータセットの実験では、GLIMが一貫して、流動的なEEG基底文を生成することが示されている。
論文参考訳（メタデータ） (2025-05-21T05:29:55Z)
Retrieving Semantics from the Deep: an RAG Solution for Gesture Synthesis [55.45253486141108]
RAG-Gestureは、意味的に豊かなジェスチャーを生成するための拡散に基づくジェスチャー生成手法である。我々は、明示的なドメイン知識を用いて、共同音声ジェスチャーのデータベースから動きを検索する。提案手法では,各検索挿入が生成したシーケンスに対して与える影響量を調整可能なガイダンス制御パラダイムを提案する。
論文参考訳（メタデータ） (2024-12-09T18:59:46Z)
Surrogate Gradient Spiking Neural Networks as Encoders for Large Vocabulary Continuous Speech Recognition [91.39701446828144]
スパイクニューラルネットワークは, 代理勾配法を用いて, 通常のリカレントニューラルネットワークのように訓練可能であることを示す。彼らは音声コマンド認識タスクについて有望な結果を示した。繰り返し発生する非スパイキングとは対照的に、ゲートを使わずに爆発する勾配問題に対して堅牢性を示す。
論文参考訳（メタデータ） (2022-12-01T12:36:26Z)
Sentence Representation Learning with Generative Objective rather than Contrastive Objective [86.01683892956144]
句再構成に基づく新たな自己教師型学習目標を提案する。我々の生成学習は、十分な性能向上を達成し、現在の最先端のコントラスト法よりも優れています。
論文参考訳（メタデータ） (2022-10-16T07:47:46Z)
Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
論文参考訳（メタデータ） (2021-10-04T03:59:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。