論文の概要: MyoCodec: A Streaming Neural Codec for Electromyography
- arxiv url: http://arxiv.org/abs/2609.36687v1
- Date: Tue, 29 Sep 2026 04:29:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.183546
- Title: MyoCodec: A Streaming Neural Codec for Electromyography
- Title(参考訳): myoCodec: 筋電図のためのストリーミングニューラルコーデック
- Abstract要約: 筋電図用低ビットレートストリーミングニューラルコーデックMyoCodec
myoCodecは連続EMG信号を、潜伏した特徴から50Hzで動作する離散トークンまで、さまざまなレベルのEMG表現にエンコードする。
ストリーミング推論では、20msのフレーム毎に0.482msの計算時間しか必要とせず、リアルタイムストリーミングを可能にしている。
- 参考スコア(独自算出の注目度): 58.98907693261496
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Neural codecs encode continuous signals into compact sequences of discrete tokens, providing an interface for efficient transmission, storage, and token-based sequence modeling. This paradigm has been widely adopted in modern speech and audio frameworks; however, the biosignal domain still lacks a neural codec designed specifically for low-bitrate streaming and generalization across diverse downstream tasks. We present MyoCodec, a streaming neural codec designed for electromyography (EMG). Inspired by recent neural audio codecs, MyoCodec combines causal Transformers with residual vector quantization to encode continuous EMG signals into different levels of EMG representations spanning from continuous latent features to discrete tokens operating at 50 Hz. Trained on twelve public EMG datasets, MyoCodec achieves favorable performance in both intrinsic codec quality and representative downstream tasks, including typing (emg2qwerty), hand-pose (emg2pose), speech decoding (emg2speech), and speech-to-EMG synthesis (speech2emg). Across these tasks, MyoCodec exhibits strong performance against prior models while providing a compact and causal EMG representation. During streaming inference, it requires compute time of only 0.482 ms for each 20 ms frame, enabling real-time streaming. Also, the discrete token representation provided by MyoCodec has the potential to support integration into language-model based approaches, creating a path toward LLM-based interactive systems, where tokenized EMG representations are directly processed into such language or speech models. Code and model weights are released.
- Abstract(参考訳): ニューラルコーデックは、連続した信号を離散トークンのコンパクトなシーケンスにエンコードし、効率的な送信、記憶、トークンベースのシーケンスモデリングのためのインターフェースを提供する。
このパラダイムは現代の音声および音声のフレームワークで広く採用されているが、バイオシグナー領域には低ビットレートストリーミング用に設計されたニューラルコーデックがいまだに欠けている。
筋電図(EMG)用に設計されたストリーミングニューラルコーデックであるMyoCodecについて述べる。
最近のニューラルオーディオコーデックにインスパイアされたMyoCodecは、因果変換器を残留ベクトル量子化と組み合わせて、連続EMG信号を50Hzで動作している連続潜時特徴から離散トークンまで、さまざまなレベルのEMG表現に符号化する。
12の公開EMGデータセットに基づいてトレーニングされたMyoCodecは、入力(emg2qwerty)、手動(emg2pose)、音声復号(emg2speech)、音声からEMG合成(speech2emg)など、固有のコーデック品質と下流タスクの両方において、良好なパフォーマンスを実現している。
これらのタスク全体で、MyoCodecは、コンパクトで因果的なEMG表現を提供しながら、以前のモデルに対して強力なパフォーマンスを示している。
ストリーミング推論では、20msのフレーム毎に0.482msの計算時間しか必要とせず、リアルタイムストリーミングを可能にしている。
また、MyoCodecが提供する離散トークン表現は、言語モデルベースのアプローチへの統合をサポートし、トークン化されたEMG表現をそのような言語や音声モデルに直接処理するLLMベースの対話システムへのパスを作成する可能性がある。
コードとモデルウェイトがリリースされている。
関連論文リスト
- MELD: Mel-Spectrogram-Based Speech Language Modeling with Discrete Latent Variables [70.49308038234274]
本稿では,エンコーダと音声モデルとを協調的に最適化する,メルスペクトル上での離散潜在変数モデルを提案する。
共同最適化は、ゼロショットテキスト音声(TTS)と音声テキスト(STT)タスクにおけるオーバーベースやその他のメルスペクトルベースのベースラインの改善をもたらすだけでなく、自動回帰メルスペクトルモデリングにおける一般的な問題を効果的に緩和する。
論文 参考訳(メタデータ) (2026-05-28T12:39:36Z) - TaDiCodec: Text-aware Diffusion Speech Tokenizer for Speech Language Modeling [13.05578634768109]
テキスト対応拡散変換器音声コーデック(TaDiCodec)について紹介する。
TaDiCodecは拡散オートエンコーダによる量子化と再構成にエンドツーエンドの最適化を採用している。
フレームレートは6.25Hzで、それに対応する圧縮は0.0875kbpsで、1層コードブックで24kHzの音声を処理できる。
論文 参考訳(メタデータ) (2025-08-22T20:45:03Z) - SecoustiCodec: Cross-Modal Aligned Streaming Single-Codecbook Speech Codec [83.61175662066364]
音声コーデックは、音声とテキスト言語モデルを統一するための重要なブリッジとして機能する。
既存の手法はセマンティックエンコーディングにおいていくつかの課題に直面している。
本稿では,クロスモーダルな低ビットレートストリーミング音声コーデックSecoustiCodecを提案する。
論文 参考訳(メタデータ) (2025-08-04T19:22:14Z) - MagiCodec: Simple Masked Gaussian-Injected Codec for High-Fidelity Reconstruction and Generation [19.998635838159217]
MagiCodecは、トランスフォーマーベースの新しいシングルレイヤー・ストリーミングオーディオである。
周波数領域におけるノイズ注入の効果を解析的に導出し,その有効性を示す。
MagiCodecは、再構築品質と下流タスクの両方において最先端のコーデックを上回っていることを示す。
論文 参考訳(メタデータ) (2025-05-31T04:31:02Z) - FocalCodec: Low-Bitrate Speech Coding via Focal Modulation Networks [33.022035588157614]
FocalCodecは、単一のバイナリコードブックを使って音声を圧縮する焦点変調に基づく効率的な低ビットレートである。
デモサンプルとコードはhttps://lucadellalib.io/kbpscodec-web/.comで公開されている。
論文 参考訳(メタデータ) (2025-02-06T19:24:50Z) - A Streamwise GAN Vocoder for Wideband Speech Coding at Very Low Bit Rate [8.312162364318235]
本稿では、1.6kbit/sで符号化されたパラメータから広帯域音声波形を生成することができるGANボコーダを提案する。
提案モデルは,フレーム単位で動作可能なStyleMelGANボコーダの改良版である。
論文 参考訳(メタデータ) (2021-08-09T14:03:07Z) - Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation [63.46694853953092]
Swin-Unetは、医用画像セグメンテーション用のUnetライクなトランスフォーマーである。
トークン化されたイメージパッチは、TransformerベースのU字型デコーダデコーダアーキテクチャに供給される。
論文 参考訳(メタデータ) (2021-05-12T09:30:26Z) - WNARS: WFST based Non-autoregressive Streaming End-to-End Speech
Recognition [59.975078145303605]
本稿では,ハイブリッドCTC-attention AEDモデルと重み付き有限状態トランスデューサを用いた新しいフレームワークWNARSを提案する。
AISHELL-1タスクでは、640msの遅延で5.22%の文字エラー率を達成し、オンラインASRの最先端のパフォーマンスである私たちの知識を最大限に活用します。
論文 参考訳(メタデータ) (2021-04-08T07:56:03Z) - Streaming automatic speech recognition with the transformer model [59.58318952000571]
本稿では,ストリーミングASRのためのトランスフォーマーに基づくエンドツーエンドASRシステムを提案する。
本研究では,エンコーダに時間制限付き自己アテンションを適用し,エンコーダ・デコーダのアテンション機構に注意を喚起する。
提案したストリーミングトランスアーキテクチャは,LibriSpeechの「クリーン」および「他の」テストデータに対して,2.8%と7.2%のWERを実現する。
論文 参考訳(メタデータ) (2020-01-08T18:58:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。