論文の概要: LACE: Layer-Wise Compression for Dynamic Frame Rate Codecs
- arxiv url: http://arxiv.org/abs/2609.17509v1
- Date: Tue, 15 Sep 2026 17:46:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.641726
- Title: LACE: Layer-Wise Compression for Dynamic Frame Rate Codecs
- Title(参考訳): LACE:動的フレームレートコーデックのための層幅圧縮
- Abstract要約: 本稿では,各量子化層に独立した圧縮ステップを適用する動的フレームレート LACE を提案する。
LACEは、復元作業における従来の動的なフレームレート手法よりも、より優れたレート品質のトレードオフを提供する。
私たちのコードはESPnet3合成レシピの一部としてリリースされています。
- 参考スコア(独自算出の注目度): 55.497521037224054
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural audio codecs are a key component in speech language modeling. However, their high frame rates lead to long sequence lengths, increasing computational costs. Dynamic frame rate codecs mitigate this by reducing the effective frame rate using a compression step to merge multiple frames together. However, most prior methods either operate on single-codebook codecs or apply a single compression step before multi-layer quantization. This forces all quantization layers to share the same segmentation boundaries, despite the residual embeddings at different quantization layers exhibiting different rates of change over time. We propose LACE (Layer-Adaptive Codec Encoding), a dynamic frame rate codec that applies an independent compression step at each quantization layer, enabling layer-specific segmentation boundaries. To use LACE tokens in downstream text-to-speech (TTS), we further introduce union alignment and boundary anchor mechanisms to make durations consistent across layers while preserving compression benefits. Experiments on LibriTTS show that LACE offers a better rate-quality tradeoff than prior dynamic frame rate methods on the reconstruction task and improves TTS inference efficiency while maintaining competitive synthesis quality. Our code is released as part of the ESPnet3 codec recipe.
- Abstract(参考訳): ニューラルオーディオコーデックは、音声言語モデリングの鍵となるコンポーネントである。
しかし、高いフレームレートは長いシーケンスの長さをもたらし、計算コストを増大させる。
動的フレームレートコーデックは、圧縮ステップを使用して複数のフレームをマージすることで、これを緩和する。
しかし、従来のほとんどのメソッドはシングルコードブックのコーデックで動作するか、マルチ層量子化の前に単一の圧縮ステップを適用している。
これにより、異なる量子化層への残留埋め込みが時間とともに異なる変化率を示すにもかかわらず、全ての量子化層は同じセグメンテーション境界を共有せざるを得ない。
LACE(Layer-Adaptive Codec Encoding)は、動的フレームレートコーデックで、各量子化層に独立した圧縮ステップを適用し、層固有のセグメンテーション境界を実現する。
下流のテキスト音声(TTS)でLACEトークンを使用するために、圧縮の利点を保ちながら層間を一貫した持続時間を確保するために、結合アライメントとバウンダリアンカー機構を導入する。
LibriTTSの実験から,LACEは従来の動的フレームレート法よりも高いレート品質のトレードオフを提供し,競合合成品質を維持しつつ,TS推定効率を向上することが示された。
私たちのコードはESPnet3コーデックレシピの一部としてリリースされています。
関連論文リスト
- ProGIC: Progressive and Lightweight Generative Image Compression with Residual Vector Quantization [59.481950697968706]
残留ベクトル量子化(RVQ)に基づくコンパクトなプログレッシブ生成画像圧縮(ProGIC)を提案する。
RVQでは、ベクトル量子化器の列がステージごとに残余を符号化し、それぞれが独自のコードブックを持つ。
これを奥行き分離可能な畳み込みと小さな注意ブロックに基づく軽量なバックボーンと組み合わせることで、GPUとCPUのみのデバイスに実用的なデプロイを可能にします。
論文 参考訳(メタデータ) (2026-03-03T11:47:05Z) - CoPE-VideoLM: Codec Primitives For Efficient Video Language Models [56.76440182038839]
ビデオ言語モデル(Video Language Models, ビデオ言語モデル)は、ビデオの時間的ダイナミクスを理解するためのAIシステムである。
現在の方法では、マクロレベルのイベントとマイクロレベルの詳細の両方を見逃すことができるサンプリングを使用する。
多くのフレームに対して高価なフルイメージエンコーディングを必要とせず、ビデオ冗長性と疎結合性を符号化するビデオプリミティブを活用することを提案する。
論文 参考訳(メタデータ) (2026-02-13T18:57:31Z) - Compressing Many-Shots in In-Context Learning [61.231471139896506]
マルチショットプロンプトを圧縮することにより,ICL推論のメモリと計算効率を向上させる手法を提案する。
まず,既存のプロンプト圧縮手法がマルチショット圧縮には有効でないことを示す。
本稿では,レイヤワイド圧縮手法であるMemComを提案する。
論文 参考訳(メタデータ) (2025-10-17T16:57:42Z) - SecoustiCodec: Cross-Modal Aligned Streaming Single-Codecbook Speech Codec [83.61175662066364]
音声コーデックは、音声とテキスト言語モデルを統一するための重要なブリッジとして機能する。
既存の手法はセマンティックエンコーディングにおいていくつかの課題に直面している。
本稿では,クロスモーダルな低ビットレートストリーミング音声コーデックSecoustiCodecを提案する。
論文 参考訳(メタデータ) (2025-08-04T19:22:14Z) - Unlocking Temporal Flexibility: Neural Speech Codec with Variable Frame Rate [14.03590336780589]
本稿では,ニューラル音声コーデックに可変フレームレート(VFR)を初めて導入する,TFC(Temporally Flexible Coding)手法を提案する。
TFCはフレームレートをシームレスに平均化し、時間エントロピーに基づいてフレームレートを動的に割り当てる。
実験結果から,TFCを用いた神経再建は高い柔軟性で最適品質を達成し,低フレームレートでも競争性能を維持することが示された。
論文 参考訳(メタデータ) (2025-05-22T16:10:01Z) - High-Efficiency Neural Video Compression via Hierarchical Predictive Learning [27.41398149573729]
強化されたDeep Hierarchical Video Compression(DHVC 2.0)は、優れた圧縮性能と目覚ましい複雑さの効率を導入する。
階層的な予測符号化を使用して、各ビデオフレームをマルチスケール表現に変換する。
トランスミッションフレンドリーなプログレッシブデコーディングをサポートしており、パケットロスの存在下では特にネットワーク化されたビデオアプリケーションに有利である。
論文 参考訳(メタデータ) (2024-10-03T15:40:58Z) - DeepHQ: Learned Hierarchical Quantizer for Progressive Deep Image Coding [29.810993874350814]
プログレッシブ画像符号化(PIC)は、画像の様々な品質を単一のビットストリームに圧縮することを目的としている。
ニューラルネットワーク(NN)に基づくPICの研究は、その初期段階にある。
本稿では,まず,学習した量子化ステップサイズを各量子化レイヤの学習により活用するNNベースのプログレッシブコーディング手法を提案する。
論文 参考訳(メタデータ) (2024-08-22T06:32:53Z) - Conditional Entropy Coding for Efficient Video Compression [82.35389813794372]
本稿では,フレーム間の条件エントロピーをモデル化することのみに焦点を当てた,非常にシンプルで効率的なビデオ圧縮フレームワークを提案する。
まず、画像遅延符号間のエントロピーをモデル化する単純なアーキテクチャが、他のニューラルビデオ圧縮やビデオコーデックと同等の競争力を持つことを示す。
次に、このアーキテクチャの上に新しい内部学習拡張を提案し、復号速度を抑えることなく10%の節約を実現した。
論文 参考訳(メタデータ) (2020-08-20T20:01:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。