論文の概要: Scaling Open Discrete Audio Foundation Models with Interleaved Semantic, Acoustic, and Text Tokens

• arxiv url: http://arxiv.org/abs/2602.16687v1
• Date: Wed, 18 Feb 2026 18:32:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-19 15:58:30.682425
• Title: Scaling Open Discrete Audio Foundation Models with Interleaved Semantic, Acoustic, and Text Tokens
• Title（参考訳）: インターリーブ・セマンティック・アコースティック・テキスト・トークンを用いたオープン離散音声基礎モデルのスケーリング
• Authors: Potsawee Manakul, Woody Haosheng Gan, Martijn Bartelds, Guangzhi Sun, William Held, Diyi Yang,
• Abstract要約: 現在のオーディオ言語モデルは、主にテキストファーストであり、事前訓練されたテキストLLMバックボーンを拡張するか、意味のみのオーディオトークンに依存する。 本稿では,大規模音声に次トーケン予測を適用したネイティブオーディオ基礎モデルの系統的研究を行った。
• 参考スコア（独自算出の注目度）: 62.56027815951259
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current audio language models are predominantly text-first, either extending pre-trained text LLM backbones or relying on semantic-only audio tokens, limiting general audio modeling. This paper presents a systematic empirical study of native audio foundation models that apply next-token prediction to audio at scale, jointly modeling semantic content, acoustic details, and text to support both general audio generation and cross-modal capabilities. We provide comprehensive empirical insights for building such models: (1) We systematically investigate design choices -- data sources, text mixture ratios, and token composition -- establishing a validated training recipe. (2) We conduct the first scaling law study for discrete audio models via IsoFLOP analysis on 64 models spanning $3{\times}10^{18}$ to $3{\times}10^{20}$ FLOPs, finding that optimal data grows 1.6$\times$ faster than optimal model size. (3) We apply these lessons to train SODA (Scaling Open Discrete Audio), a suite of models from 135M to 4B parameters on 500B tokens, comparing against our scaling predictions and existing models. SODA serves as a flexible backbone for diverse audio/text tasks -- we demonstrate this by fine-tuning for voice-preserving speech-to-speech translation, using the same unified architecture.
• Abstract（参考訳）: 現在のオーディオ言語モデルは、主にテキストファーストであり、事前訓練されたテキストLLMバックボーンを拡張するか、意味のみのオーディオトークンに依存し、一般的なオーディオモデリングを制限する。 本論文は,音声合成とクロスモーダル機能の両方をサポートするために,音節内容,音響的詳細,テキストを協調的にモデル化し,大規模に次トーケン予測を適用したネイティブオーディオ基盤モデルの体系的研究である。 1) 設計選択 -- データソース, テキスト混合率, トークン組成 -- を体系的に調査し, 検証済みのトレーニングレシピを確立する。 2) 離散音声モデルのスケーリング法則をIsoFLOP解析により, 3 {\times}10^{18}$から 3,{\times}10^{20}$ FLOPs に分散した64モデルのスケーリング法則を用いて検討し, 最適なデータが最適なモデルサイズよりも1.6$\times$速くなることを示した。 (3) Scaling Open Discrete Audio(Scaling Open Discrete Audio)は,500Bトークン上の135Mから4Bパラメータのモデル群である。 SODAは多様な音声/テキストタスクのための柔軟なバックボーンとして機能します。

関連論文リスト

• UALM: Unified Audio Language Model for Understanding, Generation and Reasoning [124.19449187588832]
  統一音声言語モデル (Unified Audio Language Model, UALM) は、音声理解、テキスト音声生成、マルチモーダル推論を単一モデルで統一することを目的としている。 最初にUALM-Genを提示する。これは音声トークンを直接予測し,最先端の拡散モデルに匹敵する言語モデルである。 UALM-Reasonは、テキストと音声の両方を中間的思考ステップで活用し、複雑な生成作業を容易にするマルチモーダル推論モデルである。
  論文  参考訳（メタデータ） (2025-10-13T22:55:01Z)
• Baichuan-Audio: A Unified Framework for End-to-End Speech Interaction [9.101978573666546]
  Baichuan-Audioは、音声理解と生成をシームレスに統合するエンドツーエンドのオーディオ大言語モデルである。 テキスト誘導されたアライメントされた音声生成機構を備え、理解能力と生成能力の両方でリアルタイムな音声対話を可能にする。
  論文  参考訳（メタデータ） (2025-02-24T15:16:34Z)
• C3LLM: Conditional Multimodal Content Generation Using Large Language Models [66.11184017840688]
  C3LLMは,ビデオ・トゥ・オーディオ,音声・テキスト,テキスト・トゥ・オーディオの3つのタスクを組み合わせた新しいフレームワークである。 C3LLMはLarge Language Model (LLM) 構造を異なるモダリティを整列するためのブリッジとして適合させる。 本手法は,従来の音声理解,ビデオ音声生成,テキスト音声生成のタスクを1つの統一モデルに統合する。
  論文  参考訳（メタデータ） (2024-05-25T09:10:12Z)
• AudioFormer: Audio Transformer learns audio feature representations from discrete acoustic codes [6.375996974877916]
  離散音響符号の取得により音声特徴表現を学習するAudioFormerという手法を提案する。 以上の結果から,AudioFormerはモノモーダル音声分類モデルに比べて性能が大幅に向上したことが示された。
  論文  参考訳（メタデータ） (2023-08-14T15:47:25Z)
• AudioLDM 2: Learning Holistic Audio Generation with Self-supervised Pretraining [46.22290575167155]
  本稿では, 音声, 音楽, 音響効果生成のための同じ学習手法を用いた枠組みを提案する。 私たちのフレームワークでは、LOA(Language of Audio)と呼ばれる音声の一般的な表現を導入しています。
  論文  参考訳（メタデータ） (2023-08-10T17:55:13Z)
• CLIPSonic: Text-to-Audio Synthesis with Unlabeled Videos and Pretrained Language-Vision Models [50.42886595228255]
  本稿では,橋梁としての視覚的モダリティを活用して,所望のテキスト・オーディオ対応を学習することを提案する。 我々は、事前訓練されたコントラスト言語画像事前学習モデルによって符号化されたビデオフレームを考慮し、条件付き拡散モデルを用いてビデオの音声トラックを生成する。
  論文  参考訳（メタデータ） (2023-06-16T05:42:01Z)
• Matching Text and Audio Embeddings: Exploring Transfer-learning Strategies for Language-based Audio Retrieval [11.161404854726348]
  本稿では,クロスモーダル(テキスト・トゥ・オーディオ)検索に用いる大規模事前学習モデルの解析を行う。 我々は、これらのモデルから抽出された埋め込みをメトリクス学習フレームワークで使用し、一致するオーディオとテキストのペアを接続する。
  論文  参考訳（メタデータ） (2022-10-06T11:45:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。