論文の概要: Myovox: Reading Speech from the Muscles of the Face
- arxiv url: http://arxiv.org/abs/2609.17548v1
- Date: Wed, 15 Jul 2026 17:00:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.551282
- Title: Myovox: Reading Speech from the Muscles of the Face
- Title(参考訳): ミオボックス:顔の筋肉から声を読む
- Abstract要約: ミオボックスは、発声時の顔の筋肉から記録された31チャンネル表面筋電図(sEMG)から英語のオープン語彙をデコードする。
51.17%のワードエラー率から18.53%までの1つのサブジェクト Emg2speech General Corpus を3つの分離可能な動作で分離して測定する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Myovox, from myo (muscle) and vox (voice), decodes open-vocabulary English text from 31-channel surface electromyography (sEMG) recorded from the muscles of the face during vocalized speech. It takes the single-subject emg2speech General Corpus from a published 51.17% word error rate to 18.53%, in three separable moves, each measured in isolation. First, I recover the open-vocabulary decode settings missing from the public release and reach a faithful 40.63% WER / 39.02% PER baseline whose phone error rate matches the published one to within 0.8 points, so the acoustic model is reproduced faithfully. Second, I replace the causal encoder with a bidirectional Conformer trained by a four-term cross-modal distillation against the parallel audio's WavLM-Large layer-9 features, reaching 26.14% WER / 22.34% PER from the electromyography alone. Third, I ensemble two acoustic models, union their multi-scale n-best lists, and rerank with a QLoRA-fine-tuned 7B language model, reaching 18.53% WER, the best result reported on this corpus, though not the best reported for sEMG-to-text on other corpora (Section 2). I then report the negative result that bounds the whole approach: reranking is exhausted at 18.5% because the binding constraint is the electromyographic acoustic phone error rate (~20.9%), not the language model. The correct words are simply absent from the acoustic posteriors, so no reranker can reach the 9.30% n-best oracle. All test numbers are on the 400-sentence held-out test set under the authors' official 8,500 / 760 / 400 sequential split; every hyperparameter is tuned once on validation and applied once to test.
- Abstract(参考訳): ミオボックス(みょうぼックス)は、音声中の顔の筋肉から記録された31チャンネル表面筋電図(sEMG)から英語のオープン語彙を解読する。
51.17%のワードエラー率から18.53%までの1つのサブジェクト Emg2speech General Corpus を3つの分離可能な動作で分離して測定する。
まず、公開リリースから欠落したオープン語彙のデコード設定を復元し、電話誤り率が0.8点以内の電話誤り率を持つ忠実な40.63% WER / 39.02%のPERベースラインに到達し、音響モデルを忠実に再現する。
第2に、パラレルオーディオのWavLM-Large層9機能に対して4段階のクロスモーダル蒸留で訓練された双方向コンバータで因果エンコーダを置き換え、筋電図だけで26.14% WER / 22.34% PERに到達した。
第3に、私は2つの音響モデルをアンサンブルし、それらのマルチスケールのn-bestリストを結合し、QLoRAで調整した7B言語モデルで再帰し、18.53% WERに達した。
拘束力の制約は、言語モデルではなく、筋電図による電話誤り率(約20.9%)であるからである。
正しい単語は単に音響後部から欠落しているため、リランカーは9.30%のn-b-オラクルに到達できない。
全てのテスト番号は、著者の公式の8,500 / 760 / 400シーケンシャルスプリットの下で400文のホールドアウトテストセットに置かれている。
関連論文リスト
- BanglaTurn: A Benchmark and Whisper-Based Model for End-of-Turn Detection in Bangla Speech [0.0]
バングラ語会話音声における終端検出のためのコーパスと、それに基づいて訓練されたモデルを提案する。
コーパスは、3〜15秒のポッドキャスト音声の35,374のサンプルを格納し、LLMパスと話者ダイアリゼーションを組み合わせたターン状態にラベル付けする。
我々は,エンコーダ層微細調整,マルチスケールプーリング,INT8量子化のそれぞれが寄与するものを報告する。
論文 参考訳(メタデータ) (2026-09-24T10:52:31Z) - From Scores to Evidence: Auditable Decisions Can Improve Speech Deepfake Detection [12.159476982130286]
音声のディープフェイクは、聞き手や自動化されたシステムを騙すのに十分な説得力のある話者の声を模倣することができる。
ほとんどの検出器は発話ごとに1点のスコアで終わるが、なぜ境界線アイテムが信頼されるべきなのか、延期されたのか、あるいはレビューされるべきなのかは、ほとんど語っていない。
この疑問に答えるには、4つの整列した手がかりを後期校正ステップに伝達する監査可能な決定記録がある。
論文 参考訳(メタデータ) (2026-09-08T15:38:57Z) - IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages [77.88427845181154]
我々はWMT 2020-2024の共有タスクの系統を、英語のリソースを拡張してインディクシーに集約する:9つの方向対に対して126,754ドルのインスタンス。
セグメントレベルのQEでは,LSMが6つ,COMETが3つ,APEでは3つのシステムをベンチマークした。
論文 参考訳(メタデータ) (2026-08-17T09:50:52Z) - Voice Memory for Agentic Speech Recognition [66.69623133635868]
エージェント音声認識のための推論専用スキームであるVoice Memoryを提案する。
同期的に、スコア付き例は、境界編集を通じてそのファイルを更新する。
10のHyPoradiseドメインにオープン修正器、Voice Memory、重み付き単語エラー率8.36%から7.52%の10のドメインがある。
論文 参考訳(メタデータ) (2026-07-29T02:42:56Z) - Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。
8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。
FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
論文 参考訳(メタデータ) (2026-06-02T07:01:33Z) - Do LLM Decoders Listen Fairly? Benchmarking How Language Model Priors Shape Bias in Speech Recognition [9.131439623985028]
事前訓練された大規模言語モデルは、音声認識におけるタスク固有のデコーダを置き換える。
彼らのテキスト由来の先行性は、認識をより公平にするか、あるいは人口統計グループに偏っているか?
我々は,3世代にわたる9つのモデルを5つの人口動態軸にわたる約43,000発の発話で評価した。
論文 参考訳(メタデータ) (2026-04-23T04:40:58Z) - Benchmarking Multilingual Speech Models on Pashto: Zero-Shot ASR, Script Failure, and Cross-Domain Evaluation [0.0]
Pashtoは、約6000~8000万人が話すが、共有公開テストセット上での多言語自動音声認識(ASR)のベンチマークは公開されていない。
本稿では,公開Pashtoデータに対する最初の再現可能なマルチモデル評価を行い,ゼロショットASR,スクリプトレベルの故障,微調整モデルのクロスドメイン評価について報告する。
論文 参考訳(メタデータ) (2026-04-06T11:23:42Z) - Decoding speech perception from non-invasive brain recordings [48.46819575538446]
非侵襲的な記録から知覚音声の自己教師付き表現をデコードするために、コントラスト学習で訓練されたモデルを導入する。
我々のモデルでは、3秒のMEG信号から、1,000以上の異なる可能性から最大41%の精度で対応する音声セグメントを識別できる。
論文 参考訳(メタデータ) (2022-08-25T10:01:43Z) - Exploiting Cross-domain And Cross-Lingual Ultrasound Tongue Imaging
Features For Elderly And Dysarthric Speech Recognition [55.25565305101314]
調音機能は音響信号歪みに不変であり、音声認識システムにうまく組み込まれている。
本稿では,A2Aモデルにおける24時間TaLコーパスの並列音声・超音波舌画像(UTI)データを利用したクロスドメインおよびクロスランガルA2Aインバージョン手法を提案する。
生成した調音機能を組み込んだ3つのタスクの実験は、ベースラインのTDNNとコンフォーマーASRシステムより一貫して優れていた。
論文 参考訳(メタデータ) (2022-06-15T07:20:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。