論文の概要: Modeling Music as a Time-Frequency Image: A 2D Tokenizer for Music Generation

• arxiv url: http://arxiv.org/abs/2605.15831v1
• Date: Fri, 15 May 2026 10:35:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-18 21:22:26.254615
• Title: Modeling Music as a Time-Frequency Image: A 2D Tokenizer for Music Generation
• Title（参考訳）: 時間周波数画像としての音楽のモデリング:音楽生成のための2次元トケナイザ
• Abstract要約: BandTokは世代指向の2D Mel-spectrogramトークンであり、単一のコードブックからメル周波数のバンドトークンで各フレームを表現する。 実験により、BandTokは残余のコードブックトークンよりも改善され、データ制限設定で強い結果が得られることが示された。
• 参考スコア（独自算出の注目度）: 13.157808758544043
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autoregressive music generation depends strongly on the audio tokenizer. Existing high-fidelity codecs often use residual multi-codebook quantization, which preserves reconstruction quality but complicates language modeling after sequence flattening, as the residual hierarchy imposes strong sequential dependencies and can amplify error accumulation. We propose BandTok, a generation-oriented 2D Mel-spectrogram tokenizer that represents each frame with Mel-frequency band tokens from a single shared codebook. This design yields a physically interpretable time-frequency token grid with a more independent token structure, making it better suited for autoregressive modeling. BandTok improves reconstruction with a multi-scale PatchGAN objective and EMA codebook updates. We further introduce an autoregressive language model with 2D Rotary Position Embedding (2D RoPE) to preserve temporal and frequency-band structure during generation. Experiments show that BandTok improves over residual-codebook tokenizers and achieves strong results in a data-limited setting. The source code and generation demos for this work are publicly available.
• Abstract（参考訳）: 自動回帰音楽生成は、オーディオトークン化器に強く依存する。 既存の高忠実度コーデックでは、リコンストラクション品質を保ちながら、シーケンスフラット化後の言語モデリングを複雑化する残差マルチコードブック量子化を用いることが多い。 1つの共有コードブックからメル周波数帯トークンを用いて各フレームを表す世代指向の2次元メルスペクトルトークンであるBandTokを提案する。 この設計により、より独立したトークン構造を持つ物理的に解釈可能な時間周波数トークングリッドが得られ、自動回帰モデリングに適している。 BandTokは、マルチスケールのPatchGAN目標とEMAコードブック更新で再構築を改善している。 さらに,2次元ロータリー位置埋め込み (2D RoPE) を用いた自動回帰言語モデルを導入し,生成時の時間・周波数帯域構造を保存する。 実験により、BandTokは残余のコードブックトークンよりも改善され、データ制限設定で強い結果が得られることが示された。 この作業のソースコードと生成デモが公開されている。

関連論文リスト

• Geometric Iterative Retrieval for Neural Audio Codec Resynthesis [35.61634772862795]
  この二分法は不完全であり、コードブック空間における自然な反復分解としてRVQ層階層自体を用いるパラダイムである幾何反復探索を導入していると論じる。 本研究では,音声・音楽間の復元作業について評価し,シングルパストークン予測とワンステップ回帰ベースラインの改善点を示す。
  論文  参考訳（メタデータ） (2026-08-19T17:29:56Z)
• Temporal Contrastive Decoding: A Training-Free Method for Large Audio-Language Models [56.91801348360746]
  大規模な音声言語モデル(LALM)は、音声、音声、音楽にまたがって一般化される。 統一デコーダは 時空間のスムーズなバイアスを示します LALMの学習自由復号法であるemphTemporal Contrastive Decoding (TCD)を提案する。
  論文  参考訳（メタデータ） (2026-04-16T02:30:41Z)
• VQRAE: Representation Quantization Autoencoders for Multimodal Understanding, Generation and Reconstruction [83.50898344094153]
  VQRAEは、イメージ理解のための連続的セマンティック機能と、統一トークン化器内での視覚生成のためのトークンを生成する。 デザインは、多モーダル理解、離散トークンの能力を維持するために、無視可能な意味情報を可能にする。 VQRAEは、視覚的理解、生成、再構築のベンチマークで競合性能を示す。
  論文  参考訳（メタデータ） (2025-11-28T17:26:34Z)
• DUO-TOK: Dual-Track Semantic Music Tokenizer for Vocal-Accompaniment Generation [3.5346639529821435]
  Duo-Tokは、音声伴奏音楽のためのソース対応のデュアルコードブックトークンである。 現代歌詞合成システムにおける再構築品質と言語モデル(LM)学習性の間の緊張の高まりを目標としている。
  論文  参考訳（メタデータ） (2025-11-25T11:53:57Z)
• Next Tokens Denoising for Speech Synthesis [51.320443764269726]
  Dragon-FMは、ARとフローマッチングを統合する新しいテキスト音声(TTS)設計である。 毎秒12.5トークンのコンパクトレートで48kHzのオーディオトークンをチャンクで処理する。 ポッドキャストデータセットの実験では、高品質なゼロショットポッドキャストを効率的に生成できることが示されている。
  論文  参考訳（メタデータ） (2025-07-30T15:03:36Z)
• WavTokenizer: an Efficient Acoustic Discrete Codec Tokenizer for Audio Language Modeling [63.8735398698683]
  言語モデルの重要な構成要素は、高次元の自然信号を低次元の離散トークンに圧縮するトークン化器である。 本稿では,従来の音響領域におけるSOTA音響モデルよりもいくつかの利点があるWavTokenizerを紹介する。 WavTokenizerは、優れたUTMOSスコアを持つ最先端の再構築品質を実現し、本質的によりリッチなセマンティック情報を含んでいる。
  論文  参考訳（メタデータ） (2024-08-29T13:43:36Z)
• Music2Latent: Consistency Autoencoders for Latent Audio Compression [0.0]
  一貫性モデルを活用することで制限を克服するオーディオオートエンコーダであるMusic2Latentを紹介する。 Music2Latentは、単一エンドツーエンドのトレーニングプロセスにおいて、サンプルを圧縮された連続潜伏空間にエンコードする。 Music2Latentは、音質と再現精度において、既存の連続オーディオオートエンコーダよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-08-12T21:25:19Z)
• An Independence-promoting Loss for Music Generation with Language Models [64.95095558672996]
  音楽生成方式は音声トークンの語彙に依存しており、一般にオートエンコーダによって学習された離散潜在空間の符号として提供される。 本稿では,音楽生成のための言語モデルにおけるトークン化器として使用されるオートエンコーダを正規化するために,独立性向上の損失を導入する。
  論文  参考訳（メタデータ） (2024-06-04T13:44:39Z)
• Towards Accurate Image Coding: Improved Autoregressive Image Generation with Dynamic Vector Quantization [73.52943587514386]
  既存のベクトル量子化(VQ)ベースの自己回帰モデルは、2段階生成パラダイムに従う。 画像領域を可変長符号に符号化する動的量子化VAE(DQ-VAE)を提案する。
  論文  参考訳（メタデータ） (2023-05-19T14:56:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。