論文の概要: Geometric Iterative Retrieval for Neural Audio Codec Resynthesis
- arxiv url: http://arxiv.org/abs/2608.19141v1
- Date: Wed, 19 Aug 2026 17:29:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-20 20:13:55.479228
- Title: Geometric Iterative Retrieval for Neural Audio Codec Resynthesis
- Title(参考訳): ニューラルオーディオコーデック再生のための幾何学的反復検索法
- Abstract要約: この二分法は不完全であり、コードブック空間における自然な反復分解としてRVQ層階層自体を用いるパラダイムである幾何反復探索を導入していると論じる。
本研究では,音声・音楽間の復元作業について評価し,シングルパストークン予測とワンステップ回帰ベースラインの改善点を示す。
- 参考スコア(独自算出の注目度): 35.61634772862795
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural audio codecs based on Residual Vector Quantization (RVQ) have become the dominant discrete representation for token-based general audio generation, yet resynthesizing high-quality audio from coarse codec tokens remains an open problem and bounds the fidelity of every system that generates them. Prior work has framed resynthesis as a choice between discrete token prediction and continuous regression. We argue that this dichotomy is incomplete and introduce geometric iterative retrieval, a paradigm that uses the RVQ layer hierarchy itself as a natural iterative decomposition in continuous codebook space. Rather than classifying over discrete vocabularies or regressing to a single target vector, our method performs contrastive retrieval in the codebook's geometric space. We evaluate our method on codec restoration tasks across speech and music, and show improvements over both single-pass token prediction and one-step regression baselines.
- Abstract(参考訳): Residual Vector Quantization (RVQ) に基づくニューラルオーディオコーデックは、トークンベースの一般的なオーディオ生成において、主要な離散表現となっているが、粗いコーデックトークンから高品質なオーディオを再合成することは、未解決の問題であり、それらを生成する全てのシステムの忠実さを束縛している。
これまでの研究は、離散トークン予測と連続回帰の選択として、再合成の枠組みを定めてきた。
この二分法は不完全であり、連続コードブック空間における自然な反復分解としてRVQ層階層自体を用いるパラダイムである幾何反復探索を導入している。
個々の語彙を分類したり、単一のターゲットベクトルに回帰する代わりに、コードブックの幾何学的空間においてコントラスト検索を行う。
我々は,音声と音楽のコーデック復元タスクの評価を行い,シングルパストークン予測とワンステップ回帰ベースラインの改善点を示す。
関連論文リスト
- CodecArena: Codec Quality Assessment via Visual Reinforcement Learning [70.59130074737446]
我々は,ビデオ符号化品質評価のための最初のビジョン言語フレームワークであるCodecArenaを提案する。
CodecArenaは、参照とその再構成の間のソース条件の比較推論として評価をキャストする。
facet-anchored rewardは、人間の顔ごとのラベルではなく、自動的に引き起こされた顔の方向を弱いアンカーとして利用する。
論文 参考訳(メタデータ) (2026-08-10T05:37:06Z) - Self-Guidance: Enhancing Neural Codecs via Decoder Manifold Alignment [15.70133983324942]
自己誘導は、量子化トークンと元の連続埋め込みの両方を処理する際にデコーダの内部特徴多様体を整列するために使用される。
これにより、最小限のトレーニングオーバーヘッドと推論時の変更が不要になる。
XCodec2に適用されたセルフガイダンスは、すべての再構築メトリクスを改善し、最先端の低ビットレートパフォーマンスを実現する。
論文 参考訳(メタデータ) (2026-06-11T06:06:02Z) - VQRAE: Representation Quantization Autoencoders for Multimodal Understanding, Generation and Reconstruction [83.50898344094153]
VQRAEは、イメージ理解のための連続的セマンティック機能と、統一トークン化器内での視覚生成のためのトークンを生成する。
デザインは、多モーダル理解、離散トークンの能力を維持するために、無視可能な意味情報を可能にする。
VQRAEは、視覚的理解、生成、再構築のベンチマークで競合性能を示す。
論文 参考訳(メタデータ) (2025-11-28T17:26:34Z) - SecoustiCodec: Cross-Modal Aligned Streaming Single-Codecbook Speech Codec [83.61175662066364]
音声コーデックは、音声とテキスト言語モデルを統一するための重要なブリッジとして機能する。
既存の手法はセマンティックエンコーディングにおいていくつかの課題に直面している。
本稿では,クロスモーダルな低ビットレートストリーミング音声コーデックSecoustiCodecを提案する。
論文 参考訳(メタデータ) (2025-08-04T19:22:14Z) - Latent Granular Resynthesis using Neural Audio Codecs [0.0]
本稿では,潜在ベクトルレベルでの粒状合成の概念を再構築することで,創造的な音声再生を実現する新しい手法を提案する。
提案手法は,ソース音声コーパスを潜在ベクトルセグメントに符号化し,ターゲット音声信号の各潜在粒度をコードブックに最も近いものとマッチングすることにより,"粒状コードブック"を作成する。
得られたハイブリッドシーケンスをデコードして、ソースの音節特性を採用しながら、ターゲットの時間構造を保存するオーディオを生成する。
論文 参考訳(メタデータ) (2025-07-25T12:14:12Z) - Quantize More, Lose Less: Autoregressive Generation from Residually Quantized Speech Representations [26.938560887095658]
既存の自己回帰的アプローチは、しばしば大きな情報損失を被るシングルコードブック表現に依存している。
我々は、新しいオーディオであるQDAC上に構築された新しいTSフレームワークであるQTTSを提案する。
実験により,提案フレームワークは,ベースラインよりも高い合成品質を実現し,表現的コンテンツを保存できることが実証された。
論文 参考訳(メタデータ) (2025-07-16T12:47:09Z) - A Closer Look at Neural Codec Resynthesis: Bridging the Gap between Codec and Waveform Generation [65.05719674893999]
トークン予測と回帰に基づく2つの戦略について検討し,Schr"odinger Bridgeに基づく新しい手法を提案する。
異なるデザイン選択が機械と人間の知覚にどのように影響するかを検討する。
論文 参考訳(メタデータ) (2024-10-29T18:29:39Z) - Latent Vector Recovery of Audio GANs [6.824692201913679]
我々は、WaveGANによって合成された音声を、ほぼ同一の再構成性能で対応する潜在空間に投影するために、ディープ残差ニューラルネットワークアーキテクチャを訓練する。
合成音声の場合、基底真実と復元された潜在ベクトルとの間の平均正方形誤差(MSE)を最小化する。
論文 参考訳(メタデータ) (2020-10-16T17:45:35Z) - Any-to-Many Voice Conversion with Location-Relative Sequence-to-Sequence
Modeling [61.351967629600594]
本稿では,非並列音声変換手法である非並列音声変換法(seq2seq)を提案する。
本手法では,ボトルネック特徴抽出器(BNE)とセック2セック合成モジュールを組み合わせる。
主観的および主観的評価は,提案手法が自然性と話者類似性の両方において優れた音声変換性能を有することを示す。
論文 参考訳(メタデータ) (2020-09-06T13:01:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。