論文の概要: End-to-End Neural Audio Coding for Real-Time Communications

• arxiv url: http://arxiv.org/abs/2201.09429v2
• Date: Tue, 25 Jan 2022 02:14:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-26 12:14:47.077938
• Title: End-to-End Neural Audio Coding for Real-Time Communications
• Title（参考訳）: リアルタイム通信のためのエンドツーエンドニューラルオーディオ符号化
• Authors: Xue Jiang, Xiulian Peng, Chengyu Zheng, Huaying Xue, Yuan Zhang, Yan Lu
• Abstract要約: 本稿では、リアルタイム通信(RTC)のための低レイテンシでエンドツーエンドのニューラルオーディオシステムTFNetを提案する。 短期的および長期的両方の時間的依存関係をキャプチャするために,時間的フィルタリングのためのインターリーブ構造を提案する。 エンドツーエンドの最適化により、TFNetは音声強調とパケットロスの隠蔽を共同で最適化し、3つのタスクに1対1のネットワークを提供する。
• 参考スコア（独自算出の注目度）: 22.699018098484707
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep-learning based methods have shown their advantages in audio coding over traditional ones but limited attention has been paid on real-time communications (RTC). This paper proposes the TFNet, an end-to-end neural audio codec with low latency for RTC. It takes an encoder-temporal filtering-decoder paradigm that seldom being investigated in audio coding. An interleaved structure is proposed for temporal filtering to capture both short-term and long-term temporal dependencies. Furthermore, with end-to-end optimization, the TFNet is jointly optimized with speech enhancement and packet loss concealment, yielding a one-for-all network for three tasks. Both subjective and objective results demonstrate the efficiency of the proposed TFNet.
• Abstract（参考訳）: ディープラーニングに基づく手法は、従来のものよりもオーディオ符号化の優位性を示しているが、リアルタイム通信(RTC)には注意が払われている。 本稿では、RTCの低レイテンシでエンドツーエンドのニューラルオーディオコーデックであるTFNetを提案する。 オーディオ符号化ではほとんど調査されないエンコーダ-時間フィルタリング-デコーダパラダイムを採用している。 短期および長期の時間的依存関係をキャプチャするために,時間的フィルタリングのためのインターリーブ構造を提案する。 さらに、エンドツーエンドの最適化により、tfnetは音声強調とパケット損失隠蔽を共同で最適化し、3つのタスクで1対1のネットワークを実現する。 主観的および客観的な結果は、提案したTFNetの効率を示す。

関連論文リスト

• RTFS-Net: Recurrent Time-Frequency Modelling for Efficient Audio-Visual Speech Separation [18.93255531121519]
  本稿では,時間周波数領域の音声-視覚音声分離手法を提案する。 RTFS-Netはそのアルゴリズムをショートタイムフーリエ変換によって得られる複雑な時間周波数ビンに適用する。 これは、時間周波数領域の音声・視覚的音声分離法として初めて、現代の時間領域の全てを上回ります。
  論文  参考訳（メタデータ） (2023-09-29T12:38:00Z)
• HiFTNet: A Fast High-Quality Neural Vocoder with Harmonic-plus-Noise Filter and Inverse Short Time Fourier Transform [21.896817015593122]
  時間周波数領域に高調波+雑音源フィルタを組み込んだiSTFTNet(HiFTNet)の拡張を提案する。 LJSpeech の主観評価では,iSTFTNet と HiFi-GAN のどちらよりも優れていた。 私たちの研究は、効率的で高品質なニューラルボコーディングのための新しいベンチマークを設定し、リアルタイムアプリケーションへの道を開いた。
  論文  参考訳（メタデータ） (2023-09-18T05:30:15Z)
• Visually-Guided Sound Source Separation with Audio-Visual Predictive Coding [57.08832099075793]
  視覚誘導音源分離は、視覚特徴抽出、マルチモーダル特徴融合、音響信号処理の3つの部分からなる。 本稿では,この課題をパラメータ調和とより効果的な方法で解決するために,AVPC(Audio-visual predictive coding)を提案する。 さらに、同一音源の2つの音声視覚表現を共予測することにより、AVPCのための効果的な自己教師型学習戦略を開発する。
  論文  参考訳（メタデータ） (2023-06-19T03:10:57Z)
• FastFit: Towards Real-Time Iterative Neural Vocoder by Replacing U-Net Encoder With Multiple STFTs [1.8047694351309207]
  FastFitは、U-Netエンコーダを複数の短時間フーリエ変換(STFT)に置き換える新しいニューラルボコーダアーキテクチャである。 我々は,FastFitが高音質を維持しつつ,ベースラインベースボコーダの生成速度を約2倍に向上することを示す。
  論文  参考訳（メタデータ） (2023-05-18T09:05:17Z)
• Audio-Visual Efficient Conformer for Robust Speech Recognition [91.3755431537592]
  本稿では,近年提案されている高能率コンバータ接続性時間分類アーキテクチャの雑音を,音声と視覚の両方を処理して改善することを提案する。 実験の結果,音声と視覚のモダリティを用いることで,環境騒音の存在下での音声の認識が向上し,トレーニングが大幅に加速し,WERが4倍のトレーニングステップで低下することが確認された。
  論文  参考訳（メタデータ） (2023-01-04T05:36:56Z)
• NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
  本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。 所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。 ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
  論文  参考訳（メタデータ） (2022-09-29T04:06:00Z)
• Latent-Domain Predictive Neural Speech Coding [22.65761249591267]
  本稿では,VQ-VAEフレームワークに潜在ドメイン予測符号化を導入する。 本稿では,低レイテンシなニューラル音声符号化のためのTF-Codecをエンドツーエンドで提案する。 多言語音声データセットの主観的な結果から、低レイテンシでは1kbpsのTF-Codecは9kbpsよりも大幅に品質が向上することが示された。
  論文  参考訳（メタデータ） (2022-07-18T03:18:08Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Low-Fidelity End-to-End Video Encoder Pre-training for Temporal Action Localization [96.73647162960842]
  TALはビデオ理解の基本的な課題だが、難しい課題だ。 既存のtalメソッドは、アクション分類の監督を通じてビデオエンコーダを事前トレーニングする。 本稿では,ローファイダリティ・エンド・ツー・エンド(LoFi)ビデオエンコーダの事前学習手法を提案する。
  論文  参考訳（メタデータ） (2021-03-28T22:18:14Z)
• Scaling Up Online Speech Recognition Using ConvNets [33.75588539732141]
  我々は、TDS(Time-Depth Separable)畳み込みとCTC(Connectionist Temporal Classification)に基づくオンラインエンドツーエンド音声認識システムを設計する。 我々は,将来的なコンテキストを制限し,精度を維持しながらレイテンシを低減するため,コアTDSアーキテクチャを改善した。 このシステムは、よく調整されたハイブリッドASRベースラインの3倍のスループットを持ち、レイテンシも低く、単語エラー率も優れている。
  論文  参考訳（メタデータ） (2020-01-27T12:55:02Z)
• Temporal-Spatial Neural Filter: Direction Informed End-to-End Multi-channel Target Speech Separation [66.46123655365113]
  ターゲット音声分離とは、混合信号からターゲット話者の音声を抽出することを指す。 主な課題は、複雑な音響環境とリアルタイム処理の要件である。 複数話者混合から対象音声波形を直接推定する時間空間ニューラルフィルタを提案する。
  論文  参考訳（メタデータ） (2020-01-02T11:12:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。