論文の概要: PhonoBridge: Error-Aware Phoneme-Mediated EMG-to-Text Reconstruction
- arxiv url: http://arxiv.org/abs/2610.27678v1
- Date: Tue, 20 Oct 2026 05:48:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.665562
- Title: PhonoBridge: Error-Aware Phoneme-Mediated EMG-to-Text Reconstruction
- Title（参考訳）: PhonoBridge:Error-Aware Phoneme-Mediated EMG-to-Text Reconstruction
- Abstract要約: 本稿では,チャネル対応のEMG-to-phonemeと,テキスト再構成のためのペア付き大言語モデル(LLM)からなる2段階フレームワークを提案する。
バックエンドは、チャネルワイドな特徴抽出、チャネル間の融合、埋め込みからなるEMG-textデータに基づいてトレーニングされる。
音素を中間表現として、EMG文字を音素テキストに変換することによってバックエンドのトレーニングデータを拡張する。
Open Vocabularyのサイレント音声データセットでは、PhonoBridgeは24.77%のWERを達成した。
- 参考スコア（独自算出の注目度）: 39.52340830599996
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Electromyography (EMG) provides a non-invasive means of decoding silently articulated speech into text, but accurate decoding remains challenging due to limited availability of paired EMG-text data. We introduce PhonoBridge, a two-stage framework comprising a channel-aware EMG-to-phoneme frontend and a large language model (LLM) backend for text reconstruction. The frontend is trained on paired EMG-text data that consists of channel-wise feature extraction, cross-channel fusion, and electrode embeddings. With phonemes as the intermediate representation, we expand the backend's training data by converting LibriSpeech transcripts into phoneme-text pairs without additional EMG recordings. To adapt the LLM to frontend noise, we introduce Error-Profile-Guided Augmentation (EPGA), which perturbs transcript-derived phoneme sequences according to error patterns estimated from frontend predictions, generating additional training pairs for the LLM. On the Open Vocabulary silent-speech dataset, PhonoBridge achieves 24.77% WER, outperforming the previously reported best of 28.27% on the same test split.
- Abstract（参考訳）: エレクトロミオグラフィー(EMG)は、黙秘音声をテキストに復号する非侵襲的な手段を提供するが、ペアのEMG-textデータが少ないため、正確な復号は難しいままである。
PhonoBridgeは、チャネル対応のEMG-to-phonemeフロントエンドと、テキスト再構築のための大規模言語モデル(LLM)バックエンドで構成される2段階のフレームワークである。
フロントエンドは、チャネルワイドの特徴抽出、チャネル間融合、電極埋め込みからなる、ペア化されたEMGテキストデータに基づいて訓練される。
音素を中間表現とし、追加のEMG記録なしでLibriSpeech文字を音素テキストペアに変換することにより、バックエンドのトレーニングデータを拡張する。
LLMをフロントエンドノイズに適応させるために, フロントエンド予測から推定される誤りパターンに従って, 転写文字由来の音素配列を摂動するError-Profile-Guided Augmentation (EPGA)を導入し, LLMのための追加のトレーニングペアを生成する。
Open Vocabularyのサイレント音声データセットでは、PhonoBridgeは24.77%のWERを達成した。
関連論文リスト
- Reducing the Output-Mode Gap in Speech Language Models via Joint-Output On-Policy Distillation [9.626979634291063]
インターリーブ付きテキストと音響トークンの自動回帰生成は、音声大言語モデルにおける音声応答生成に対する一般的なアプローチである。
音声-テキスト-音声モードで生成した内部テキストの回答精度は,音声-テキスト-音声(S2T)応答よりも著しく低い。
OMGを減らすために,モデルのより強力なS2T政策を融合世代に蒸留するemphJoint-Output On-Policy Distillation (JO-OPD)を提案する。
論文 参考訳（メタデータ） (2026-09-14T10:03:49Z) - Adapting Text LLMs to Speech via Multimodal Depth Up-Scaling [52.02344262645619]
本稿では,新しいトランス層を凍結テキストLLMに挿入し,付加層のみを音声データに基づいて訓練するマルチモーダル深さアップスケーリングを提案する。
SmolLM2-360MとSmolLM2-1.7Bによる48k時間の英語自動音声認識(ASR)データによる実験により、深度アップスケーリングは完全な微調整に匹敵するASRを実現することが示された。
さらに,テキストの劣化を75%以上低減し,トレーニング可能なパラメータを60%少なく抑えながら,大規模モデルの完全微調整に適合あるいは超越したASRを実現するために,音声認識用に設計されたアーキテクチャであるE-Branchformerを組み込むことが示される。
論文 参考訳（メタデータ） (2026-04-01T05:16:06Z) - Can LLMs Understand Unvoiced Speech? Exploring EMG-to-Text Conversion with LLMs [4.201963244739168]
無声エレクトロミオグラフィー(英語: Unvoiced Electromyography, EMG)は、音声を生成できない個人のための効果的なコミュニケーションツールである。
音声認識における大規模言語モデル(LLM)の台頭を踏まえ,無声音声の理解の可能性を探る。
本稿では,EMG の機能を LLM の入力空間にマッピングする新しい EMG 適応モジュールを提案する。
論文 参考訳（メタデータ） (2025-05-30T23:22:44Z) - SoundChoice: Grapheme-to-Phoneme Models with Semantic Disambiguation [10.016862617549991]
本稿では,単語レベルで操作するのではなく文全体を処理可能な新しいGrapheme-to-Phoneme(G2P)アーキテクチャであるSoundChoiceを提案する。
SoundChoiceは、LibriSpeechとWikipediaのデータを用いて全文の書き起こしで2.65%のPhoneme Error Rate(PER)を達成する。
論文 参考訳（メタデータ） (2022-07-27T01:14:59Z) - M-Adapter: Modality Adaptation for End-to-End Speech-to-Text Translation [66.92823764664206]
テキストに音声表現を適応させる新しいトランスフォーマーベースのモジュールであるM-Adapterを提案する。
音声シーケンスを縮小しながら、M-Adapterは音声からテキストへの翻訳に必要な機能を生成する。
実験の結果,我々のモデルは最大1BLEUで強いベースラインを達成できた。
論文 参考訳（メタデータ） (2022-07-03T04:26:53Z) - SVTS: Scalable Video-to-Speech Synthesis [105.29009019733803]
本稿では,ビデオ・トゥ・スペクトログラム予測器と事前学習したニューラルボコーダの2つのコンポーネントからなるスケーラブルなビデオ音声合成フレームワークを提案する。
私たちは、挑戦的なLSS3データセットで不可解な結果を示す最初の人です。
論文 参考訳（メタデータ） (2022-05-04T13:34:07Z) - Pre-Training Transformer Decoder for End-to-End ASR Model with Unpaired
Speech Data [145.95460945321253]
本稿では,音響単位,すなわち擬似符号を用いたエンコーダ・デコーダネットワークのための2つの事前学習タスクを提案する。
提案したSpeech2Cは,デコーダを事前学習することなく,単語誤り率(WER)を19.2%削減できる。
論文 参考訳（メタデータ） (2022-03-31T15:33:56Z) - SCaLa: Supervised Contrastive Learning for End-to-End Automatic Speech
Recognition [36.766303689895686]
本稿では、エンドツーエンドのASRシステムのための音韻情報学習を強化するために、SCaLa(Supervised Contrastive Learning)の新たなフレームワークを提案する。
具体的には、完全に教師された設定にMCPC(Masked Contrastive Predictive Coding)を導入する。
音素学習を明示的に監視するために、SCaLaは、予め訓練された音響モデルから抽出された音素の強制アライメントに対応する可変長エンコーダ特徴をまずマスキングし、コントラスト学習によりマスクされた音素を予測する。
論文 参考訳（メタデータ） (2021-10-08T15:15:38Z) - Decoupling Pronunciation and Language for End-to-end Code-switching
Automatic Speech Recognition [66.47000813920617]
本稿では,モノリンガルペアデータと未ペアテキストデータを利用するデカップリング変換器モデルを提案する。
モデルはA2P(Audio-to-phoneme)ネットワークとP2T(P2T)ネットワークの2つの部分に分けられる。
モノリンガルデータと未ペアテキストデータを使用することで、分離されたトランスフォーマーモデルは、E2Eモデルのコードスイッチングペアリングトレーニングデータへの高依存性を低減する。
論文 参考訳（メタデータ） (2020-10-28T07:46:15Z) - RECOApy: Data recording, pre-processing and phonetic transcription for
end-to-end speech-based applications [4.619541348328938]
RECOApyは、エンドツーエンドの音声ベースのアプリケーションに必要なデータ記録と前処理のステップを合理化する。
このツールは、音声記録、スペクトログラム、波形解析、発話レベルの正規化、サイレントトリミングのための使い易いインタフェースを実装している。
Grapheme-to-phoneme(G2P)コンバータは、Wiktionaryのオンラインコラボレーションリソースから抽出されたレキシコンに基づいてトレーニングされたディープニューラルネットワーク(DNN)ベースのアーキテクチャである。
論文 参考訳（メタデータ） (2020-09-11T15:26:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。