論文の概要: SAGE: Semantic Audio Generative Encoder

• arxiv url: http://arxiv.org/abs/2609.32755v1
• Date: Sat, 26 Sep 2026 16:21:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 20:42:55.330448
• Title: SAGE: Semantic Audio Generative Encoder
• Title（参考訳）: SAGE: セマンティックオーディオ生成エンコーダ
• Abstract要約: 本稿では,SAGE, Semantic Audio Generative: a compact variational autoencoderについて紹介する。 オートエンコーダは8倍大きく4倍遅く、客観的な知覚と分布の両指標を上回りながら、聞き取りテストの質に達する。
• 参考スコア（独自算出の注目度）: 13.954815501280786
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Audio autoencoders compress waveforms into compact latent representations that serve as the interface between raw audio and downstream models. Current systems navigate a three-way trade-off between reconstruction quality, semantic structure of the latent space, and inference speed, typically favoring one or two of these at the expense of the others. This paper introduces SAGE, Semantic Audio Generative Encoder: a compact variational autoencoder, trained solely on publicly available music, that shapes its latent by distilling embeddings from a pretrained audio-text model. This 105M-parameter model runs at the inference cost of Stable Audio Open and reaches the listening-test quality of SAME-L, an autoencoder 8x larger and 4x slower, while surpassing both on objective perceptual and distributional metrics of reconstruction. Furthermore, it sets the state of the art on all nineteen probing tasks of latent semantics, in domain and out of domain. These results establish SAGE as a lightweight audio autoencoder that strikes the best balance of the three-way trade-off among those we evaluate, combining high reconstruction fidelity, state-of-the-art semantic structure, and fast inference.
• Abstract（参考訳）: オーディオオートエンコーダは波形を圧縮し、生のオーディオモデルと下流モデルのインターフェースとして機能するコンパクトな潜在表現に変換する。 現在のシステムは、復元品質、潜伏空間のセマンティック構造、推論速度の間の3方向のトレードオフをナビゲートする。 本稿では,SAGE, Semantic Audio Generative Encoderについて述べる。SAGE, Semantic Audio Generative Encoder: コンパクトな変分オートエンコーダ。 この105Mパラメータモデルは、安定オーディオオープンの推論コストで動作し、目的の知覚と分布の両指標を上回りながら、オートエンコーダの8倍と4倍の速度で、Heath-Lの聴取品質に達する。 さらに、ドメイン内およびドメイン外において、潜伏セマンティクスの19の探索タスクの全てを最先端に設定する。 これらの結果から,SAGEは評価対象の3方向トレードオフの最良のバランスを打つ軽量オーディオオートエンコーダとして確立し,高い再構成精度,最先端のセマンティック構造,高速推論を組み合わせた。

関連論文リスト

• Memory Efficient Audio Synthesis with Decoupled Temporal Depth Diffusion Transformers [11.102698205402675]
  Siri Expressive Voicesはリッチで会話型の音声をリアルタイムで合成する。 デトケナイザは、ファンデーションモデルによって出力されるセマンティックオーディオトークンを、Apple Matrix Coprocessor(AMX)の厳密な計算およびメモリ予算内で高忠実なオーディオに変換する。 Diffusion Transformer (DiT)スタイルの1つの再利用可能な深度デコーダは、すべてのRVQレベルを自動回帰的に生成し、以前のマルチデコーダアーキテクチャの専用レベルデコーダを置き換える。
  論文  参考訳（メタデータ） (2026-07-26T19:20:01Z)
• EntangleCodec: A Unified Discrete Audio Tokenizer via Semantic-Acoustic Entanglement [54.95940885045993]
  EntangleCodecは、量子化の前にキャプションに沿った意味音響表現を学習する独立したオーディオトークンである。 コンパクトなトークンストリーム内に言語内容、話者識別、感情、韻律、音響シーンをキャプチャする。 特殊なコーデックと競合する再構成品質を実現し、統合されたフレームワークでTSとTTAの生成をサポートする。
  論文  参考訳（メタデータ） (2026-06-01T18:05:18Z)
• SAME: A Semantically-Aligned Music Autoencoder [12.48765465843236]
  セマンティック・アラインド・ミュージック・オートエンコーダ(Semantically-Aligned Music autoEncoder)は、ステレオ音楽と一般的なオーディオのためのオートエンコーダである。 トランスフォーマーベースのバックボーンとセマンティックな正規化アプローチの組み合わせ,フェーズアウェアな再構成損失,識別器設計の改善によって実現した。 2つの変種(大きなITT-LとCPUデプロイ可能なITT-S)をオープンウェイト形式でリリースする。
  論文  参考訳（メタデータ） (2026-05-18T16:23:16Z)
• MOVA: Towards Scalable and Synchronized Video-Audio Generation [91.56945636522345]
  高品質で同期した映像コンテンツを生成できるオープンソースモデルMOVA(MOSS Video and Audio)を紹介する。 モデルウェイトとコードをリリースすることによって、研究を進め、クリエーターの活気あるコミュニティを育むことを目指しています。
  論文  参考訳（メタデータ） (2026-02-09T15:31:54Z)
• Representation-Regularized Convolutional Audio Transformer for Audio Understanding [53.092757178419355]
  スクラッチからのブートストラップ表現は計算に高価で、しばしば収束するために広範囲のトレーニングを必要とします。 本稿では,これらの課題に対処するための統合フレームワークであるConvolutional Audio Transformer (CAT)を提案する。
  論文  参考訳（メタデータ） (2026-01-29T12:16:19Z)
• WavLink: Compact Audio-Text Embeddings with a Global Whisper Token [4.000493292896401]
  We present WavLink, a compact audio-text embeddedding model that a augment Whisper encoder with a learnable global token。 3つのモデルサイズにわたる2段階のトレーニングレシピと、Matryoshkaスタイルの監視を組み合わせることで、スケーラビリティを改善し、パフォーマンスの低下を最小限に抑えた8倍の小さな埋め込みを可能にしました。
  論文  参考訳（メタデータ） (2026-01-21T15:55:58Z)
• Audio-Plane: Audio Factorization Plane Gaussian Splatting for Real-Time Talking Head Synthesis [56.749927786910554]
  本稿では,ガウススティングと構造化オーディオファクトリゼーションプレーン(Audio-Plane)を統合し,高品質,音声同期,リアルタイム音声ヘッド生成を実現する新しいフレームワークを提案する。 提案手法は,最先端の視覚的品質,正確なオーディオ-リップ同期,リアルタイム性能を実現し,従来の2次元および3次元のパラダイムよりも優れていた。
  論文  参考訳（メタデータ） (2025-03-28T16:50:27Z)
• High Fidelity Neural Audio Compression [92.4812002532009]
  我々は、ニューラルネットワークを利用した最先端のリアルタイム、高忠実、オーディオを導入する。 ストリーミングエンコーダ-デコーダアーキテクチャと、エンドツーエンドでトレーニングされた量子化潜在空間で構成されている。 単一マルチスケール・スペクトログラム・アドバイザリーを用いて、トレーニングを簡素化し、高速化する。
  論文  参考訳（メタデータ） (2022-10-24T17:52:02Z)
• RAVE: A variational autoencoder for fast and high-quality neural audio synthesis [2.28438857884398]
  本稿では,高速かつ高品質な音声波形合成が可能なリアルタイムオーディオ変分自動エンコーダ(RAVE)を提案する。 我々のモデルは48kHzのオーディオ信号を生成できる最初のモデルであり、同時に標準のラップトップCPU上で20倍高速に動作可能であることを示す。
  論文  参考訳（メタデータ） (2021-11-09T09:07:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。