論文の概要: GigaEdge Spench: An SDK for Practical Streaming Speech Enhancement
- arxiv url: http://arxiv.org/abs/2611.13243v3
- Date: Fri, 13 Nov 2026 05:06:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.223376
- Title: GigaEdge Spench: An SDK for Practical Streaming Speech Enhancement
- Title(参考訳): GigaEdge Spench: 実用的な音声強調のためのSDK
- Abstract要約: 我々は、CPUサーバ、モバイルデバイス、ネイティブブラウザ上での音声強調をストリーミングするためのオープンソースのSDKであるGigaEdge Spenchを紹介する。
アプリケーションは、ニューラルデノイング、正規化とダイナミックスブロック、サンプルレート変換、サポート対象の音響エコーキャンセルから拡張チャネルを構築することができる。
- 参考スコア(独自算出の注目度): 38.230060216823055
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present GigaEdge Spench, an open-source SDK for streaming speech enhancement on CPU servers, mobile devices, and in browsers. Applications can build enhancement channels from neural denoising, normalization and dynamics blocks, sample-rate conversion, and acoustic echo cancellation where supported. These stages can be combined, while normalization can also run without a neural model. The release includes an 8 kHz INT8 denoiser and discriminative and hybrid 48 kHz FP32 models. A shared C++ core supports ONNX Runtime and TensorFlow Lite through native interfaces, Android and iOS SDKs, and WebAssembly integration. Independent stream contexts share model resources, and consecutive frames from one stream can be processed in a single inference call. We evaluate the released models on EARS-WHAM v2 and compare their quality and processing costs with RNNoise and DPDFNet2. All tested native and Web configurations process files faster than real time, although larger chunks require more time to collect input. We also measure how many streams a shared model can process on a CPU. Our contribution is a configurable deployment system and an experimental study of how model choice, chunk size, and execution environment affect its use. All reported SDK timing uses ONNX Runtime. Index Terms: speech enhancement, streaming inference, cross-platform deployment, temporal frame grouping, computational efficiency
- Abstract(参考訳): 我々は、CPUサーバ、モバイルデバイス、ブラウザ上での音声強調をストリーミングするためのオープンソースのSDKであるGigaEdge Spenchを紹介する。
アプリケーションは、ニューラルデノイング、正規化とダイナミックスブロック、サンプルレート変換、サポート対象の音響エコーキャンセルから拡張チャネルを構築することができる。
これらの段階は組み合わせることができるが、正規化はニューラルモデルなしでも実行できる。
リリースには8kHzのINT8デノイザと、差別的でハイブリッドな48kHz FP32モデルが含まれている。
共有C++コアは、ネイティブインターフェース、AndroidとiOS SDK、WebAssembly統合を通じて、ONNX RuntimeとTensorFlow Liteをサポートする。
独立したストリームコンテキストはモデルリソースを共有し、ひとつのストリームからの連続したフレームは単一の推論コールで処理できる。
我々は、EARS-WHAM v2でリリースされたモデルを評価し、その品質と処理コストをRNNoiseやDPDFNet2と比較した。
すべてのテスト済みのネイティブ設定とWeb設定は、ファイルの処理をリアルタイムより高速に行うが、より大きなチャンクは、入力を集めるのにより多くの時間を必要とする。
また、共有モデルがCPU上で処理できるストリーム数を計測します。
私たちの貢献は、構成可能なデプロイメントシステムと、モデル選択、チャンクサイズ、実行環境が、その利用にどのように影響するかの実験的な研究です。
SDKのタイミングはすべて、ONNX Runtimeを使用する。
指標項:音声強調、ストリーミング推論、クロスプラットフォーム展開、時間的フレームグループ化、計算効率
関連論文リスト
- An Efficient vLLM-Based Inference Pipeline for Unified Audio Understanding and Generation [63.50393485685279]
音声の理解と生成を統一する vLLM ベースの推論パイプラインを提案する。
共有直観自由誘導(CFG)のスループットを克服する。
連続バッチ内でペア条件と非条件要求を共スケジューリングすることにより、CFGの実装は、非CFGスループットの80%を維持できます。
論文 参考訳(メタデータ) (2026-07-02T12:55:11Z) - Harnessing Streaming Video in the Wild [53.23721420272668]
VLM(Vision-Language Models)は、ビデオコールアシスタント、ライブコメンタリー、エンボディロボットなどのアプリケーションでビデオストリームを処理するためにますます必要とされる。
理想的なストリーミングシステムは、アクティブなインタラクション、長期メモリ、リアルタイム処理をサポートする必要がある。
既存のVLMはオフラインのビデオ理解に優れていますが、ストリーミング機能に欠け、ストリーミングデプロイメント専用のインフラストラクチャが欠如しています。
論文 参考訳(メタデータ) (2026-06-07T13:00:19Z) - Neutone SDK: An Open Source Framework for Neural Audio Processing [0.8062120534124608]
我々は、PyTorchベースのニューラルオーディオモデルのデプロイを合理化するオープンソースのフレームワークであるNeutone SDKを紹介した。
我々は、これを実現するために必要なインターフェースの技術的な概要と、それに対応するSDKの実装を提供する。
また、オーディオエフェクトエミュレーション、音色伝達、サンプル生成などのアプリケーションにおけるSDKの汎用性を実証する。
論文 参考訳(メタデータ) (2025-08-12T17:55:08Z) - StreamDiT: Real-Time Streaming Text-to-Video Generation [40.441404889974294]
本稿では,ストリーミングビデオ生成モデルであるStreamDiTを提案する。
StreamDiTトレーニングは、移動バッファの追加によるフローマッチングに基づいている。
バッファリングフレームの異なるパーティショニング方式による混合トレーニングを設計し、コンテンツ一貫性と視覚的品質を両立させる。
我々のモデルは、ストリーミング生成、インタラクティブ生成、ビデオ・ツー・ビデオなどのリアルタイムアプリケーションを可能にする。
論文 参考訳(メタデータ) (2025-07-04T18:00:01Z) - ANIRA: An Architecture for Neural Network Inference in Real-Time Audio Applications [0.0]
Aniraは、ニューラルネットワーク推論のためのクロスプラットフォームライブラリである。
OnNX、LibTorch、Lite Liteはリアルタイムオーディオアプリケーション向けにテストされている。
論文 参考訳(メタデータ) (2025-06-14T23:55:58Z) - Streaming Video Understanding and Multi-round Interaction with Memory-enhanced Knowledge [57.01131456894516]
現在のビデオ理解モデルは、長いビデオシーケンスの処理、マルチターン対話のサポート、現実の動的シナリオへの適応に苦労している。
本稿では,ストリーミングビデオ推論と対話インタラクションのためのトレーニング不要フレームワークStreamChatを提案する。
我々のフレームワークは並列システムスケジューリング戦略を取り入れており、処理速度を向上し、レイテンシを低減し、現実世界のアプリケーションで堅牢な性能を保証する。
論文 参考訳(メタデータ) (2025-01-23T08:33:10Z) - Environmental Sound Classification on An Embedded Hardware Platform [16.919876749329273]
Raspberry Piなどのハードウェアにデプロイした場合,大規模な事前学習型オーディオニューラルネットワークの性能がどう変化するかを分析する。
我々は,CPU温度,マイクロホン品質,音声信号量が性能に与える影響を実証研究した。
論文 参考訳(メタデータ) (2023-06-15T13:02:41Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳(メタデータ) (2022-01-09T09:31:50Z) - VID-WIN: Fast Video Event Matching with Query-Aware Windowing at the
Edge for the Internet of Multimedia Things [3.222802562733787]
VID-WINは、エッジクラウドパラダイムでビデオイベント分析を加速するための適応型2段階アライメントウィンドウリングアプローチです。
VID-WINは、ビデオコンテンツと入力ノブを利用して、ノード間のビデオ推論プロセスを加速する。
論文 参考訳(メタデータ) (2021-04-27T10:08:40Z) - LightSpeech: Lightweight and Fast Text to Speech with Neural
Architecture Search [127.56834100382878]
我々は、FastSpeechに基づくより軽量で効率的なTSモデルを自動的に設計するLightSpeechを提案する。
実験の結果,提案手法により検出されたモデルは,CPU上での15倍のモデル圧縮比と6.5倍の推論高速化を実現していることがわかった。
論文 参考訳(メタデータ) (2021-02-08T07:45:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。