論文の概要: UniAudio-Token: Empowering Semantic Speech Tokenizers with General Audio Perception

• arxiv url: http://arxiv.org/abs/2605.31521v1
• Date: Fri, 29 May 2026 16:36:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.754518
• Title: UniAudio-Token: Empowering Semantic Speech Tokenizers with General Audio Perception
• Title（参考訳）: UniAudio-Token: 音声認識による意味的音声トケナイザの活用
• Abstract要約: UniAudio-Tokenは、音声の能力を損なうことなく、一般的な音声知覚でセマンティック・トークン化を可能にするフレームワークである。 SAPは、音声による構造化された監視を言語コンテンツ、声質属性、聴覚シーンプリミティブに提供します。 SAEは、浅い層から微細な音響的詳細を適応的に復元するコンテンツ認識ゲーティング機構を導入している。
• 参考スコア（独自算出の注目度）: 53.41256816230278
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Semantic speech tokenizers have become a widely used interface for Audio-LLMs, owing to their compact single-codebook design and strong linguistic alignment. However, their focus on linguistic abstraction induces acoustic blindness, limiting their applicability beyond speech-centric tasks. We propose UniAudio-Token, a framework that empowers semantic tokenizers with general audio perception without compromising speech ability. Instead of altering the semantic paradigm, UniAudio-Token mitigates its information loss through two key innovations: (1) Semantic-Acoustic Primitives (SAP) provide structured supervision by decomposing audio into linguistic content, vocal attributes, and auditory-scene primitives; and (2) Semantic-Acoustic Equilibrium (SAE) introduces a content-aware gating mechanism that adaptively restores fine-grained acoustic details from shallow layers. Extensive evaluations show that UniAudio-Token learns comprehensive universal representations while preserving high-fidelity speech generation. When integrated with downstream LLMs, it outperforms all single-codebook baseline tokenizers on both understanding and generation tasks, effectively serving as a unified audio interface. We publicly release all our code, including training and inference scripts, together with the model checkpoints at https://github.com/Tencent/Universal_Audio_Tokenizer.
• Abstract（参考訳）: セマンティック音声トークンは、コンパクトなシングルコードブック設計と強力な言語的アライメントのため、オーディオ-LLMのインタフェースとして広く使われている。 しかし、言語的抽象化に焦点をあてると、聴覚障害が生じ、言語中心のタスクを超えた適用性が制限される。 音声能力を損なうことなく、一般的な音声知覚で意味的トークン化機能を実現するフレームワークであるUniAudio-Tokenを提案する。 セマンティック・アコスティック・プリミティブ(SAP)は、セマンティック・アコスティック・プリミティブ(SAP)は、セマンティック・アコスティック・プリミティブ(SAP)を言語コンテンツ、声質属性、聴覚シーンプリミティブに分解することで、構造化された監視を提供する。 広範評価の結果,UniAudio-Tokenは高忠実度音声生成を保ちながら包括的普遍表現を学習していることがわかった。 下流のLLMと統合すると、理解タスクと生成タスクの両方において、シングルコードブックのベースライントークンよりも優れ、事実上統一されたオーディオインターフェースとして機能する。 トレーニングや推論スクリプトを含むすべてのコードと、https://github.com/Tencent/Universal_Audio_Tokenizerのモデルチェックポイントを公開しています。

関連論文リスト

• FireRedAudio: A General-Purpose Audio Language Model with Decoupled Continuous Representations for Understanding and Generation [46.93738546805678]
  統一音声モデルは、音声合成と編集をサポートしながら、言語、パラ言語、環境情報を認識し、理解する必要がある。 9BパラメータLLMを共用した汎用オーディオ言語モデルFireRedAudioを紹介する。 FireRedAudioは、音声理解と多言語ASRにおける競合的ないし先進的なパフォーマンス、ゼロショットTSにおける強いコンテンツ精度と話者タイムスタンプの保存、Ming-UniAudio-Editに対する大幅な改善を実現している。
  論文  参考訳（メタデータ） (2026-08-25T07:37:15Z)
• AudioMosaic: Contrastive Masked Audio Representation Learning [53.52371029884106]
  一般的な音声理解のためのコントラスト学習型オーディオエンコーダであるtextbfAudioMosaic を紹介する。 AudioMosaicは、構造化された時間周波数マスキングをスペクトログラムパッチに適用することで、正のペアを構成する。 実験によると、AudioMosaicはいくつかの標準オーディオベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-05-14T00:56:51Z)
• Beyond Transcription: Unified Audio Schema for Perception-Aware AudioLLMs [53.41256816230278]
  最近のオーディオ大言語モデル(AudioLLMs)は、顕著な性能逆転を示す。 複雑な推論タスクには優れるが、音の微妙な知覚では一貫して性能が劣る。 音声情報を3つの明示的な構成要素に整理する総合的かつ構造化された監視フレームワークであるUnified Audio (UAS)を提案する。
  論文  参考訳（メタデータ） (2026-04-14T09:30:12Z)
• Revisiting Audio-language Pretraining for Learning General-purpose Audio Representation [30.42124709340273]
  我々は,大規模音声テキストコーパスの制限,キャプションの多様性の不足,系統的な探索と評価の欠如の3つの主要な障壁を同定した。 以上の結果から,音声による事前学習が,競合的かつ伝達可能な表現をもたらすことが示された。 これらの知見は,汎用音声表現への有効な経路として,音声事前学習を確立した。
  論文  参考訳（メタデータ） (2025-11-20T19:17:35Z)
• Step-Audio 2 Technical Report [120.58375054866815]
  Step-Audio 2は、業界における音声理解と音声会話のために設計された、エンドツーエンドのマルチモーダルな大規模言語モデルである。 遅延オーディオエンコーダと推論中心強化学習(RL)を統合することにより、Step-Audio 2は自動音声認識(ASR)および音声理解において有望な性能を達成する。
  論文  参考訳（メタデータ） (2025-07-22T14:23:55Z)
• Universal Speech Token Learning via Low-Bitrate Neural Codec and Pretrained Representations [32.83743219965261]
  本稿では,2種類のトークンを統一し,音声のすべての意味をカプセル化する普遍的な音声トークン学習UniCodecを提案する。 低ビットレートのニューラルは、グローバルスケールとローカルスケールでこのような非交叉離散表現を学習するために利用され、自己教師付き学習特徴から知識を抽出する。
  論文  参考訳（メタデータ） (2025-03-15T12:50:43Z)
• Baichuan-Audio: A Unified Framework for End-to-End Speech Interaction [9.101978573666546]
  Baichuan-Audioは、音声理解と生成をシームレスに統合するエンドツーエンドのオーディオ大言語モデルである。 テキスト誘導されたアライメントされた音声生成機構を備え、理解能力と生成能力の両方でリアルタイムな音声対話を可能にする。
  論文  参考訳（メタデータ） (2025-02-24T15:16:34Z)
• Joint Audio and Speech Understanding [81.34673662385774]
  我々はLTU-ASと呼ばれる機械学習モデルを構築し、概念的に類似した普遍的な音声知覚と高度な推論能力を持つ。 Whisperを知覚モジュールとして、LLaMAを推論モジュールとして統合することにより、LTU-ASは音声テキスト、音声パラ言語学、非音声音声イベントを同時に認識し、共同理解することができる。
  論文  参考訳（メタデータ） (2023-09-25T17:59:05Z)
• AudioLDM 2: Learning Holistic Audio Generation with Self-supervised Pretraining [46.22290575167155]
  本稿では, 音声, 音楽, 音響効果生成のための同じ学習手法を用いた枠組みを提案する。 私たちのフレームワークでは、LOA(Language of Audio)と呼ばれる音声の一般的な表現を導入しています。
  論文  参考訳（メタデータ） (2023-08-10T17:55:13Z)
• Audio-Visual Speech Codecs: Rethinking Audio-Visual Speech Enhancement by Re-Synthesis [67.73554826428762]
  本稿では,AR/VRにおける高忠実度通信のための新しい音声・視覚音声強調フレームワークを提案する。 提案手法は音声・視覚音声の手がかりを利用してニューラル音声のコードを生成することで,ノイズ信号からクリーンでリアルな音声を効率的に合成する。
  論文  参考訳（メタデータ） (2022-03-31T17:57:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。