論文の概要: Brain-to-Language Decoding: Tasks, Signals, Methods, Evaluation, Practical Use and Beyond
- arxiv url: http://arxiv.org/abs/2609.27650v2
- Date: Thu, 24 Sep 2026 02:08:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:09.354552
- Title: Brain-to-Language Decoding: Tasks, Signals, Methods, Evaluation, Practical Use and Beyond
- Title(参考訳): 脳から言語へのデコーディング:タスク、信号、方法、評価、実践的利用、その他
- Abstract要約: 脳から言語への復号(Brain-to-Language Decoding)は、言語に関連する神経活動を言語的または表現的な出力に変換する。
言語喪失後のコミュニケーションを回復するための経路と、脳が言語をどのように表現するかを研究する手段を提供する。
このサーベイは、侵襲的および非侵襲的な測定における発達を総合的に分析する。
- 参考スコア(独自算出の注目度): 35.38839213611872
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Brain-to-language decoding translates neural activity associated with language production, internal speech and perception into linguistic or expressive outputs. It offers a route to restoring communication after speech loss and a means of studying how the brain represents language. Advances in neural recording and representation learning have expanded the field from constrained recognition and acoustic reconstruction to text generation, streaming personalised speech and facial animation. This survey synthesises these developments across invasive and non-invasive measurements, drawing on a search without a lower year limit and source-led updates through September 2026. We connect Articulated, Inner and Perceived tasks to the neural populations they engage, the representations available to decoders and the outputs those representations can support. We examine model development, public resources and the evolution of evaluation, and compare published performance and communication costs within their reported protocols. The synthesis identifies complementary routes to progress: phonetic, acoustic and semantic targets preserve different aspects of a message; shared representations support reuse across recording conditions and tasks; and online communication increasingly depends on calibration, feedback and user control alongside decoding accuracy. Shared benchmarks enable algorithmic comparisons, while longitudinal studies reveal the demands of sustained use. We discuss these developments and their remaining limitations, then outline a prospective five-level trajectory from commands and language to meaning, scenarios and bidirectional cognitive exchange
- Abstract(参考訳): 脳から言語へのデコード(Brain-to-Language Decoding)は、言語生成、内部言語、知覚に関連する神経活動を言語的または表現的な出力に変換する。
言語喪失後のコミュニケーションを回復するための経路と、脳が言語をどのように表現するかを研究する手段を提供する。
ニューラル記録と表現学習の進歩は、制約付き認識と音響再構成からテキスト生成、ストリーミングパーソナライズされた音声と顔のアニメーションまで、分野を拡大してきた。
このサーベイは、侵襲的および非侵襲的な測定によってこれらの発展を合成し、2026年9月までに、低年限の探索とソース主導の更新を行う。
私たちはArticulated、Inner、Perceivedのタスクを、彼らが関与する神経集団、デコーダで利用可能な表現、そしてそれらの表現がサポートする出力に接続します。
本稿では, モデル開発, 公開資源, 評価の進化について検討し, 報告プロトコルの公開性能と通信コストを比較した。
音声、音響、意味的なターゲットはメッセージの異なる側面を保存し、共有表現は記録条件とタスクをまたいだ再利用をサポートし、オンラインコミュニケーションは、復号精度とともに校正、フィードバック、ユーザー制御に依存する。
共有ベンチマークはアルゴリズムによる比較を可能にし、縦断的研究は持続的な使用の要求を明らかにする。
これらの発展とその残余の限界について議論し、コマンドと言語から意味、シナリオ、双方向認知交換への先進的な5段階の軌跡を概説する。
関連論文リスト
- Towards Developmentally Plausible Rewards: Communicative Success as a Learning Signal for Interactive Language Models [49.22720751953838]
本研究では,子どもの言語習得に触発された対話型環境で言語モデルを訓練する手法を提案する。
この設定では、話者は1ターンの対話でリスナーに何らかの情報を伝達しようと試み、コミュニケーションの成功が達成されれば報酬を受け取る。
論文 参考訳(メタデータ) (2025-05-09T11:48:36Z) - Towards Dynamic Neural Communication and Speech Neuroprosthesis Based on Viseme Decoding [25.555303640695577]
テキスト、音声、あるいは人間の神経信号から画像を復号することは、患者の神経補綴や革新的なコミュニケーションツールとして有望な可能性を秘めている。
音声関連非侵襲脳信号から視覚音声意図を復号する拡散モデルに基づくフレームワークを開発した。
脳信号と動的視覚インターフェースのギャップを効果的に埋め、コヒーレントな唇運動の再構築に成功した。
論文 参考訳(メタデータ) (2025-01-09T04:47:27Z) - CLARA: Multilingual Contrastive Learning for Audio Representation
Acquisition [5.520654376217889]
CLARAはラベル付きデータへの依存を最小限に抑え、言語間の一般化を強化する。
我々のアプローチは、主観的評価問題を克服し、音声における感情的ニュアンスを十分に捉えている。
低リソース言語に適応し、多言語音声表現学習の進歩を示す。
論文 参考訳(メタデータ) (2023-10-18T09:31:56Z) - Emergence of Shared Sensory-motor Graphical Language from Visual Input [22.23299485364174]
本稿では、話者が視覚的参照オブジェクトを名付けるために、グラフィカルな発話を生成しなければならないグラフィカル・リファレンシャル・ゲーム(GREG)を紹介した。
発声は、ダイナミックモータプリミティブとスケッチライブラリを組み合わせた描画画像である。
提案手法は,構成特性を持つ共有グラフィカル言語の出現を可能にする。
論文 参考訳(メタデータ) (2022-10-03T17:11:18Z) - Decoding speech perception from non-invasive brain recordings [48.46819575538446]
非侵襲的な記録から知覚音声の自己教師付き表現をデコードするために、コントラスト学習で訓練されたモデルを導入する。
我々のモデルでは、3秒のMEG信号から、1,000以上の異なる可能性から最大41%の精度で対応する音声セグメントを識別できる。
論文 参考訳(メタデータ) (2022-08-25T10:01:43Z) - Toward a realistic model of speech processing in the brain with
self-supervised learning [67.7130239674153]
生波形で訓練された自己教師型アルゴリズムは有望な候補である。
We show that Wav2Vec 2.0 learns brain-like representations with little as 600 hours of unlabelled speech。
論文 参考訳(メタデータ) (2022-06-03T17:01:46Z) - Self-Supervised Speech Representation Learning: A Review [105.1545308184483]
自己教師付き表現学習法は、幅広いタスクやドメインに利益をもたらす単一の普遍的モデルを約束する。
音声表現学習は、生成的、コントラスト的、予測的という3つの主要なカテゴリで同様の進歩を経験している。
本稿では,自己指導型音声表現学習のアプローチと,他の研究領域との関係について述べる。
論文 参考訳(メタデータ) (2022-05-21T16:52:57Z) - Can phones, syllables, and words emerge as side-products of
cross-situational audiovisual learning? -- A computational investigation [2.28438857884398]
いわゆる潜在言語仮説(LLH)について検討する。
LLHは言語表現学習を、知覚のモダリティ内および横断的な一般的な予測処理に結びつける。
我々は、様々なニューラルネットワークモデルを用いた広範学習シミュレーションにおけるLLHをさらに探求する。
論文 参考訳(メタデータ) (2021-09-29T05:49:46Z) - Low-Dimensional Structure in the Space of Language Representations is
Reflected in Brain Responses [62.197912623223964]
言語モデルと翻訳モデルは,単語の埋め込み,構文的・意味的タスク,将来的な単語埋め込みとの間を円滑に介在する低次元構造を示す。
この表現埋め込みは、各特徴空間が、fMRIを用いて記録された自然言語刺激に対する人間の脳反応にどれだけうまく対応しているかを予測することができる。
これは、埋め込みが脳の自然言語表現構造の一部を捉えていることを示唆している。
論文 参考訳(メタデータ) (2021-06-09T22:59:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。