論文の概要: GS-Codec: A Gaussian-Splatting Bottleneck for Neural Audio Coding
- arxiv url: http://arxiv.org/abs/2610.04651v1
- Date: Sat, 03 Oct 2026 16:49:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-11 18:05:55.837281
- Title: GS-Codec: A Gaussian-Splatting Bottleneck for Neural Audio Coding
- Title（参考訳）: GS-Codec:ニューラルオーディオ符号化のためのガウススティングボツネック
- Abstract要約: 本稿では、量子化器ではなくパラメトリック信号分解をボトルネックとするニューラルネットワークであるGS-Codecを紹介する。
内部最適化ループは、各エンコーダセグメントを1次元ガウス原始体の重み付け和として適合する。
そしてデコーダは、描画された和から波形を再構成する。
- 参考スコア（独自算出の注目度）: 7.525883733645578
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural audio codecs compress waveforms into compact discrete tokens that underpin speech language models, real-time communication, and large-scale audio storage. Almost every dominant design, including residual vector quantization, finite scalar quantization, and single-codebook variants, follows the VQ-VAE template by partitioning the encoder latent through a learned codebook or a fixed scalar grid. We ask whether this partition is necessary. We introduce GS-Codec, a neural speech codec whose bottleneck is a parametric signal decomposition rather than a quantizer. We adapt Gaussian splatting from 3D scene reconstruction to one-dimensional latents. An inner optimization loop fits each encoder segment as a weighted sum of 1D Gaussian primitives. The decoder then reconstructs the waveform from the rendered sum. To avoid the cost of this iterative inner loop at inference time, we additionally train a lightweight GS Predictor Net that regresses the primitive parameters in a single forward pass. The encoder and decoder are trained end-to-end through the inner loop, with no quantizer anywhere in the training pipeline: the bottleneck is the decomposition itself, and scalar quantization is applied only post-training to the fitted parameters. Rather than relying on discrete codebook stages for bitrate control, our representation exposes a fine-grained rate-quality tradeoff: a single trained checkpoint supports post-training bitrate control by varying the number of primitives and the per-parameter bit depth, with no retraining required. GS-Codec matches or exceeds well-established open-source codecs such as EnCodec and DAC on speaker similarity (SIM), intelligibility (STOI), and perceptual quality (UTMOS) at comparable bitrates, while achieving comparable semantic performance (WER). Code and audio samples are available at https://ronaluf.github.io/gs-codec/
- Abstract（参考訳）: ニューラルオーディオコーデックは波形をコンパクトな離散トークンに圧縮し、音声モデル、リアルタイム通信、大規模オーディオストレージを基盤とする。
残差ベクトル量子化、有限スカラー量子化、シングルコードブックの変種を含むほとんどすべての支配的な設計は、学習されたコードブックや固定スカラーグリッドを通じてエンコーダラトを分割することでVQ-VAEテンプレートに従う。
この分割が必要かどうか尋ねる。
本稿では、量子化器ではなくパラメトリック信号分解をボトルネックとするニューラル音声コーデックであるGS-Codecを紹介する。
我々は3次元シーン再構成から1次元ラテントへのガウススプラッティングを適応する。
内部最適化ループは、各エンコーダセグメントを1次元ガウス原始体の重み付け和として適合する。
そしてデコーダは、描画された和から波形を再構成する。
推論時の反復的内部ループのコストを回避するために,プリミティブパラメータを1つのフォワードパスで回帰する軽量なGS Predictor Netをトレーニングする。
エンコーダとデコーダは、トレーニングパイプライン内のどこでも量子化器なしで、インナーループを介してエンドツーエンドにトレーニングされる。
1つのトレーニングされたチェックポイントは、プリミティブの数とパラメータあたりのビット深さを変えることで、トレーニング後のビットレート制御をサポートし、再トレーニングは不要である。
GS-Codecは、話者類似性(SIM)、知性(STOI)、知覚品質(UTMOS)において、EnCodecやDACなどの確立したオープンソースコーデックと同等か、あるいは同等のセマンティックパフォーマンス(WER)を達成する。
コードとオーディオサンプルはhttps://ronaluf.github.io/gs-codec/で公開されている。
関連論文リスト
- Self-Guidance: Enhancing Neural Codecs via Decoder Manifold Alignment [15.70133983324942]
自己誘導は、量子化トークンと元の連続埋め込みの両方を処理する際にデコーダの内部特徴多様体を整列するために使用される。
これにより、最小限のトレーニングオーバーヘッドと推論時の変更が不要になる。
XCodec2に適用されたセルフガイダンスは、すべての再構築メトリクスを改善し、最先端の低ビットレートパフォーマンスを実現する。
論文 参考訳（メタデータ） (2026-06-11T06:06:02Z) - Beyond Encoder Accumulation: Measuring Encoder Roles in Multi-Encoder VLMs [50.3757247538081]
我々は、統一パイプラインの下で、5つの共通ビジョンエンコーダの空でないサブセット31を再訓練し、評価する。
各エンコーダのコントリビューションを,容量と必要量という2つの軸に分解する。
エンコーダごとのプロジェクタ有効ランクは、残留スコアの変動を説明する。
論文 参考訳（メタデータ） (2026-06-02T16:46:42Z) - CodecSplat: Ultra-Compact Latent Coding for Feed-Forward 3D Gaussian Splatting [53.50198425973128]
フィードフォワード3Dガウススプラッティングのための超コンパクト遅延符号化フレームワークであるCodecSplatを紹介する。
CodecSplatは23.56-26.36 dB、24.76-27.05 dB、PSNRは20.00-10777、PSNRは3.37-12、PSNRは3.37-12である。
論文 参考訳（メタデータ） (2026-05-25T08:17:35Z) - OScaR: The Occam's Razor for Extreme KV Cache Quantization in LLMs and Beyond [50.440302567029654]
マルチモーダルインテリジェンスにより、Key-Valueキャッシュは効率的なデプロイメントのための主要なメモリボトルネックとなった。
本研究では、チャネルごとの量子化パラダイムの本質的な限界を再考する。
X-LLMのための高精度かつ軽量なKVキャッシュ圧縮フレームワークOScaRを提案する。
論文 参考訳（メタデータ） (2026-05-19T10:53:03Z) - MesonGS++: Post-training Compression of 3D Gaussian Splatting with Hyperparameter Searching [27.114461961869782]
3D Gaussian Splatting(3DGS)は、リアルタイムレンダリングによる高品質なノベルビューを実現するが、そのストレージコストは実用的デプロイメントでは禁止されている。
本稿では,3次元ガウス圧縮のためのサイズ対応ポストトレーニングであるMesonGSを提案する。一方,MesonGSは,共同重要度に基づくプルーニング,オクツリー幾何学,変換,高次球面高調波に対する選択ベクトル量子化,エントロピー符号化によるグループワイド混合精度量子化を併用する。
論文 参考訳（メタデータ） (2026-04-29T15:30:06Z) - Spectrogram Patch Codec: A 2D Block-Quantized VQ-VAE and HiFi-GAN for Neural Speech Coding [0.0]
本稿では, 複雑な残差ベクトル量子化スタックの必要性に対して, より単純な単一段階量子化アプローチを導入することにより, ニューラルスピーチを提案する。
本手法は,メル・スペクトログラムを直接操作し,それを2次元データとして扱い,重複しない4x4パッチを1つの共有コードブックに定量化する。
このパッチワイズ設計はアーキテクチャを単純化し、低レイテンシのストリーミングを可能にし、離散遅延グリッドを生成する。
論文 参考訳（メタデータ） (2025-09-02T12:14:41Z) - HH-Codec: High Compression High-fidelity Discrete Neural Codec for Spoken Language Modeling [6.313337261965531]
HH-Codecは、24kHzのオーディオに対して毎秒24トークンで極端な圧縮を実現するニューラルコーデックである。
提案手法では,音声言語モデリングのためのベクトル量子化空間を慎重に設計し,情報損失を最小限に抑えながら圧縮効率を最適化する。
HH-Codecは、0.3kbpsの超低帯域で音声再構成における最先端性能を実現する。
論文 参考訳（メタデータ） (2025-07-25T02:44:30Z) - The END: An Equivariant Neural Decoder for Quantum Error Correction [73.4384623973809]
データ効率のよいニューラルデコーダを導入し、この問題の対称性を活用する。
本稿では,従来のニューラルデコーダに比べて精度の高い新しい同変アーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-04-14T19:46:39Z) - High Fidelity Neural Audio Compression [92.4812002532009]
我々は、ニューラルネットワークを利用した最先端のリアルタイム、高忠実、オーディオを導入する。
ストリーミングエンコーダ-デコーダアーキテクチャと、エンドツーエンドでトレーニングされた量子化潜在空間で構成されている。
単一マルチスケール・スペクトログラム・アドバイザリーを用いて、トレーニングを簡素化し、高速化する。
論文 参考訳（メタデータ） (2022-10-24T17:52:02Z) - Dynamic Neural Representational Decoders for High-Resolution Semantic
Segmentation [98.05643473345474]
動的ニューラル表現デコーダ(NRD)と呼ばれる新しいデコーダを提案する。
エンコーダの出力上の各位置がセマンティックラベルの局所的なパッチに対応するので、この研究では、これらの局所的なパッチをコンパクトなニューラルネットワークで表現する。
このニューラル表現により、意味ラベル空間に先行する滑らかさを活用することができ、デコーダをより効率的にすることができる。
論文 参考訳（メタデータ） (2021-07-30T04:50:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。