論文の概要: Speech Codec Probing from Semantic and Phonetic Perspectives

• arxiv url: http://arxiv.org/abs/2603.10371v1
• Date: Wed, 11 Mar 2026 03:32:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-12 16:22:32.76474
• Title: Speech Codec Probing from Semantic and Phonetic Perspectives
• Title（参考訳）: 意味的・音声的視点から見た音声コーデックの探索
• Abstract要約: 音声トークン化器は,マルチモーダルシステムにおいて,音声を大言語モデル (LLM) に接続するために必須である。 新たな証拠は、音声表現において「意味」と呼ばれるものは、テキスト由来の意味論と一致しないことを示している。
• 参考スコア（独自算出の注目度）: 49.01048570474675
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speech tokenizers are essential for connecting speech to large language models (LLMs) in multimodal systems. These tokenizers are expected to preserve both semantic and acoustic information for downstream understanding and generation. However, emerging evidence suggests that what is termed "semantic" in speech representations does not align with text-derived semantics: a mismatch that can degrade multimodal LLM performance. In this paper, we systematically analyze the information encoded by several widely used speech tokenizers, disentangling their semantic and phonetic content through word-level probing tasks, layerwise representation analysis, and cross-modal alignment metrics such as CKA. Our results show that current tokenizers primarily capture phonetic rather than lexical-semantic structure, and we derive practical implications for the design of next-generation speech tokenization methods.
• Abstract（参考訳）: 音声トークン化器は,マルチモーダルシステムにおいて,音声を大言語モデル (LLM) に接続するために必須である。 これらのトークンーザは、下流の理解と生成のための意味情報と音響情報の両方を保存することが期待されている。 しかし、音声表現において「意味論的」と呼ばれるものは、テキスト由来の意味論(マルチモーダルLLM性能を劣化させるミスマッチ)と一致していないことが、新たな証拠として示唆されている。 本稿では,複数の広く使用されている音声トークン作成者によって符号化された情報を体系的に解析し,単語レベルの探索タスク,階層的表現分析,CKAなどの相互モーダルアライメントメトリクスを通じて意味的・音声的内容の分離を行う。 この結果から,従来のトークン化手法は語彙-意味構造ではなく音素を主に捉えており,次世代の音声トークン化手法の設計における実践的意味が示唆された。

関連論文リスト

• Layer-wise Minimal Pair Probing Reveals Contextual Grammatical-Conceptual Hierarchy in Speech Representations [18.74784108693223]
  トランスフォーマーに基づく言語モデル(SLM)は、音声認識と理解を大幅に改善した。 SLMが如何に構文的・概念的特徴をエンコードするかはいまだ不明である。 本研究は,SLMにおける文脈的構文的特徴と意味的特徴の存在を体系的に評価した最初のものである。
  論文  参考訳（メタデータ） (2025-09-19T06:29:33Z)
• FuseCodec: Semantic-Contextual Fusion and Supervision for Neural Codecs [18.376715479210603]
  音声トークン化は、離散表現を可能にし、音声言語モデリングを容易にする。 本研究では,FuseCodecを導入し,音響的,意味的,文脈的表現を強力な相互アライメントとグローバルインフォメーション・インフォメーションを通じて統合する。 FuseCodecは、EnCodec、SpeechTokenizer、DACを上回り、転写精度、知覚的品質、インテリジェンス、話者類似性において、LibriSpeechの最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-09-14T20:35:36Z)
• Flow-SLM: Joint Learning of Linguistic and Acoustic Information for Spoken Language Modeling [22.8588553114451]
  テキストレス音声言語モデル(英語: Textless Speech Language Model、SLM)は、テキストの監督に依存しない音声の生成モデルである。 本稿では,意味トークンと音響フレームの連続実数値表現を生成することで,言語情報と音響情報を共同でモデル化することを提案する。
  論文  参考訳（メタデータ） (2025-08-12T21:25:37Z)
• ProsodyLM: Uncovering the Emerging Prosody Processing Capabilities in Speech Language Models [70.56468982313834]
  本稿では,韻律学習に適した単純なトークン化方式であるProsodyLMを提案する。 ProsodyLMは事前学習だけで驚くほど多様なプロソディ処理能力を学習できることがわかった。
  論文  参考訳（メタデータ） (2025-07-27T00:59:01Z)
• What Makes a Good Speech Tokenizer for LLM-Centric Speech Generation? A Systematic Study [58.55905182336196]
  音声言語モデル(SLM)は、音声とテキストの理解と生成を統一するための有望な経路を提供する。 LLM中心のSLMにおける音声トークン化設計の役割について検討し,音声ヘッドと話者モデルを用いて検討した。 SLMにマルチトークン予測(MTP)を導入し、各隠れ状態が複数の音声トークンを復号化できるようにする。
  論文  参考訳（メタデータ） (2025-06-14T15:26:31Z)
• DM-Codec: Distilling Multimodal Representations for Speech Tokenization [18.779159914276573]
  音声モデルでは、音声のトークン化と合成が大幅に改善されている。 近年,性能向上のための音響・意味トークンの統一化が試みられているが,文脈表現の重要な役割を見落としている。 本研究では,(1)文脈情報を組み込んだ言語モデル(LM)誘導蒸留法,(2)LMと自己教師型音声モデル(SM)誘導蒸留技術を組み合わせた2つの新しい蒸留手法を提案する。 実験の結果、DM-Codecは最先端の音声トークンモデルを大幅に上回り、WERを最大13.46%、WILを9.82%、音声品質を5.5%改善した。
  論文  参考訳（メタデータ） (2024-10-19T07:14:14Z)
• CosyVoice: A Scalable Multilingual Zero-shot Text-to-speech Synthesizer based on Supervised Semantic Tokens [49.569695524535454]
  本稿では, ベクトル量子化をエンコーダに挿入することにより, 多言語音声認識モデルから導出される, 教師付きセマンティックトークンを用いた音声表現を提案する。 トークンをベースとした拡張性のあるゼロショットTSシンセサイザーであるCosyVoiceは,テキスト・ツー・ツー・ケン生成のためのLLMと,トークン・ツー・音声合成のための条件付きフローマッチングモデルから構成される。
  論文  参考訳（メタデータ） (2024-07-07T15:16:19Z)
• Introducing Semantics into Speech Encoders [91.37001512418111]
  本研究では,大言語モデルからの意味情報をラベル付き音声書き起こしのない自己教師付き音声エンコーダに組み込む教師なしの手法を提案する。 提案手法は,100時間以上のラベル付き音声書き起こしにおける教師あり手法と類似した性能を実現する。
  論文  参考訳（メタデータ） (2022-11-15T18:44:28Z)
• SpeechLM: Enhanced Speech Pre-Training with Unpaired Textual Data [100.46303484627045]
  本稿では,事前定義した統一表現と音声とテキストの事前学習を協調させるクロスモーダル音声言語モデル(SpeechLM)を提案する。 具体的には、音声とテキストのモダリティをブリッジするために、2つの別の離散トークン化器を導入する。 音声認識, 音声翻訳, ユニバーサル表現評価フレームワーク SUPERB など, 様々な音声言語処理タスクにおける音声LM の評価を行った。
  論文  参考訳（メタデータ） (2022-09-30T09:12:10Z)
• Analyzing autoencoder-based acoustic word embeddings [37.78342106714364]
  音響単語埋め込み(AWEs)は、その音響的特徴を符号化した単語の表現である。 本研究では,6言語でシーケンス・ツー・シーケンス・エンコーダ・デコーダモデルにより学習したAWE空間の基本特性を解析する。 AWEは、人間の音声処理と語彙アクセスに関する様々な研究で報告されたパターンと同様、単語の発症バイアスを示す。
  論文  参考訳（メタデータ） (2020-04-03T16:11:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。