論文の概要: Phoneme- vs. Character-Level Targets and Selective State-Space Models for Intracortical Brain-to-Text
- arxiv url: http://arxiv.org/abs/2607.26751v1
- Date: Wed, 29 Jul 2026 10:46:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-30 21:06:25.628929
- Title: Phoneme- vs. Character-Level Targets and Selective State-Space Models for Intracortical Brain-to-Text
- Title（参考訳）: 脳内テキストのための音素対文字レベルターゲットと選択的状態空間モデル
- Abstract要約: 皮質内脳-テキストシステムでは、ニューラルシーケンス電話デコーダを外部言語モデルと組み合わせる。
選択的な状態空間モデル(Mamba)が繰り返しデコーダを改善するかどうか、出力ターゲットがその選択とどのように相互作用するか、という2つの設計軸がまだ探索されていない。
- 参考スコア（独自算出の注目度）: 0.5729426778193398
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: State-of-the-art intracortical brain-to-text systems pair a neural-sequence phone decoder with an external language model. Two design axes remain underexplored: whether selective state-space models (Mamba) improve on recurrent decoders, and how the output target (phonetic vs.\ character) interacts with that choice. On the public Brain-to-Text '25 benchmark, we study a controlled 2x2 grid (GRU vs.\ hybrid Mamba decoder; phonetic vs.\ character targets) trained with a CTC objective under one reproducible protocol. The recurrent baseline remains strongest: the best phonetic GRU reaches 12.62\% PER and 21.19\% WER, while the best textual GRU after LM rescoring reaches 13.39\% CER and 26.28\% WER. The Mamba hybrid is competitive but does not surpass it. Ablations isolate architectural contributions, and error analysis shows representation-dependent failures: articulatory-like phoneme confusions vs.\ lexical and word-boundary errors.
- Abstract（参考訳）: 最先端の皮質内脳-テキストシステムでは、ニューラルシーケンス電話デコーダと外部言語モデルが組み合わされている。
選択的な状態空間モデル(Mamba)が繰り返しデコーダを改善するかどうか、出力ターゲット(音声対音声対)について、2つの設計軸がまだ探索されていない。
は、その選択と相互作用する。
公開のBrain-to-Text '25ベンチマークでは、制御された2x2グリッド(GRU vs。
\ hybrid Mamba decoder; phonetic vs.
1つの再現可能なプロトコルの下で、CTCの目的で訓練された。
GRUは12.62 % PER、21.19 % WER、LM再描画後のテキストGRUは13.39 % CER、26.28 % WERである。
Mambaハイブリッドは競争力があるが、それを上回るものではない。
アブレーションはアーキテクチャ貢献を分離し、エラー解析は表現に依存した失敗を示す。
語彙と単語境界の誤り。
関連論文リスト
- Reducing the Output-Mode Gap in Speech Language Models via Joint-Output On-Policy Distillation [9.626979634291063]
インターリーブ付きテキストと音響トークンの自動回帰生成は、音声大言語モデルにおける音声応答生成に対する一般的なアプローチである。
音声-テキスト-音声モードで生成した内部テキストの回答精度は,音声-テキスト-音声(S2T)応答よりも著しく低い。
OMGを減らすために,モデルのより強力なS2T政策を融合世代に蒸留するemphJoint-Output On-Policy Distillation (JO-OPD)を提案する。
論文 参考訳（メタデータ） (2026-09-14T10:03:49Z) - Joint Text-Audio Alignment for EEG-to-Text Decoding in Chinese Speech Production and Perception [18.265569655784116]
脳波は心電図より安全で、より広く展開できる。
この課題は、数千文字の高次元出力空間を処理しなければならない中国語の文の復号化において、さらに悪化している。
既存の方法は単一の監督軸にコミットするが、文レベルの識別性の要求を同時に満たすことはできない。
本稿では,脳波を2つの軸に整合させる新しいパラメータ効率フレームワークであるEEGAlignを紹介する。
論文 参考訳（メタデータ） (2026-07-28T12:06:56Z) - Team RAS in 11th ABAW Competition: Multimodal Ambivalence Recognition Approach [52.92973028971813]
ビデオレベルのアンビバレンスとヘシタシー認識のための単一のテキスト中心マルチモーダルアプローチを提案する。
提案手法は,テキスト中心のマルチモーダル融合モデルを用いて,言語的,音響的,顔的,シーン的特徴を組み合わせたものである。
行動共生/衛生(BAH)コーパスの実験は、テキストが最強の単調なモダリティであることを確認した。
論文 参考訳（メタデータ） (2026-07-16T08:04:23Z) - Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。
8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。
FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
論文 参考訳（メタデータ） (2026-06-02T07:01:33Z) - iPhoneme: Brain-to-Text Communication for ALS Using ConformerXL Decoding [1.529342790344802]
ALS患者のための脳とテキストのコミュニケーションシステム iPhoneme について述べる。
このシステムは、深層学習音素デコーダと、視線支援音素入力インタフェースを組み合わせる。
インタラクションの面では、iPhonemeは、居住時間選択を代替するコード付きガウン+サイレント音声パラダイムを導入している。
論文 参考訳（メタデータ） (2026-04-07T05:08:27Z) - Decoding inner speech with an end-to-end brain-to-text neural interface [33.17572163528015]
音声脳-コンピュータインタフェース(BCI)は、神経活動をテキストに翻訳することで麻痺のある人々のコミュニケーションを回復することを目的としている。
本稿では、単一微分可能なニューラルネットワークを用いて、ニューラルネットワークをコヒーレントな文に変換する、エンドツーエンドのBrain-to-Textフレームワークを紹介する。
論文 参考訳（メタデータ） (2025-11-21T21:25:54Z) - Brain-to-Text Benchmark '24: Lessons Learned [30.41641771704316]
音声脳とコンピュータのインターフェイスは、人が神経活動だけで何を言おうとしているのかを解読することを目的としている。
Brain-to-Text Benchmark '24は、ニューラルアクティビティをテキストに変換するデコードアルゴリズムの進歩を促進する。
このベンチマークは、ブレイン・トゥ・テキスト・アルゴリズムの精度向上に向けたさらなる取り組みを支援するために、無期限に公開される。
論文 参考訳（メタデータ） (2024-12-23T02:44:35Z) - BrainECHO: Semantic Brain Signal Decoding through Vector-Quantized Spectrogram Reconstruction for Whisper-Enhanced Text Generation [48.20672677492805]
現在のEEG/MEG-to-textデコーディングシステムには3つの重要な制限がある。
BrainECHOは、分離された表現学習を利用する多段階フレームワークである。
BrainECHOは文、セッション、主題に依存しない条件をまたいだ堅牢性を示す。
論文 参考訳（メタデータ） (2024-10-19T04:29:03Z) - ASCIIEval: Benchmarking Models' Visual Perception in Text Strings via ASCII Art [83.95594027644124]
我々は,この問題を認識タスクとみなし,新しいベンチマークASCIIEvalを構築した。
精巧な分類木を持つ3Kサンプルに加えて、さらなる拡張のためのトレーニングセットもカバーしている。
テキスト入力が与えられた言語モデルは、ASCIIアートの概念に基づいて視覚的知覚能力を示す。
画像入力において,オープンソースのMLLMは,微細なテキスト認識と集合的視覚知覚のトレードオフに悩まされていることが明らかになった。
論文 参考訳（メタデータ） (2024-10-02T16:46:01Z) - VALL-E R: Robust and Efficient Zero-Shot Text-to-Speech Synthesis via Monotonic Alignment [101.2489492032816]
VALL-E Rは、堅牢で効率的なゼロショットテキスト音声合成システムである。
この研究は、失語症に罹患した人々のためのスピーチの作成を含む有意義なプロジェクトに適用される可能性がある。
論文 参考訳（メタデータ） (2024-06-12T04:09:44Z) - VALL-E 2: Neural Codec Language Models are Human Parity Zero-Shot Text to Speech Synthesizers [119.89284877061779]
本稿では,ゼロショット音声合成(TTS)の節目となる,ニューラルネットワークモデルの最新の進歩であるVALL-E 2を紹介する。
VALL-E 2は、その複雑さや反復句によって伝統的に困難な文であっても、高品質な音声を一貫して合成する。
この研究の利点は、失語症のある人や筋萎縮性側索硬化症を持つ人のためのスピーチを生成するなど、貴重な努力に寄与する可能性がある。
論文 参考訳（メタデータ） (2024-06-08T06:31:03Z) - SpellMapper: A non-autoregressive neural spellchecker for ASR
customization with candidate retrieval based on n-gram mappings [76.87664008338317]
文脈スペル補正モデルは、音声認識を改善するために浅い融合に代わるものである。
ミススペルn-gramマッピングに基づく候補探索のための新しいアルゴリズムを提案する。
Spoken Wikipediaの実験では、ベースラインのASRシステムに比べて21.4%のワードエラー率の改善が見られた。
論文 参考訳（メタデータ） (2023-06-04T10:00:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。