論文の概要: Which Speech Representation Better Matches Text-Native Reasoning? A Study of Speech-Text Alignment on Frame Rate and Representation

• arxiv url: http://arxiv.org/abs/2606.12199v1
• Date: Wed, 10 Jun 2026 15:19:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.52345
• Title: Which Speech Representation Better Matches Text-Native Reasoning? A Study of Speech-Text Alignment on Frame Rate and Representation
• Title（参考訳）: どの音声表現がテキストNative Reasoningに合うか? : フレームレートと表現に対する音声テキストアライメントの検討
• Abstract要約: 音声トークンは時間的に冗長であり、マッチした意味論の下でのテキストよりもはるかに長い。 表現選択問題として音声トークンの設計について検討する。 中間層表現アライメントを持つ4.17,Hzの音声QAにおいて,一貫した最良状態が観察される。
• 参考スコア（独自算出の注目度）: 47.89773944016192
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spoken dialogue models typically start from text LLM backbones, yet reasoning often degrades when conditioning on speech instead of text. We attribute part of this modality gap to a temporal-granularity mismatch: speech tokens are temporally redundant and far longer than text under matched semantics, diluting per-token semantic density and weakening text-native reasoning dynamics. We study speech token design as a representation selection problem and sweep frame rates under a frozen LLM backbone with a fixed information rate. To make low frame rates feasible, we introduce factorized FSQ and a lightweight non-autoregressive audio LM head, scaling capacity to nearly 300\,bits/frame without sacrificing efficient prediction. With the bottleneck removed, we sweep frame rates (50$\rightarrow$2.08\,Hz) and alignment depth, and observe a consistent best regime for speech QA at 4.17\,Hz with intermediate-layer representation alignment.
• Abstract（参考訳）: 音声対話モデルは、典型的にはテキストLLMバックボーンから始まるが、テキストの代わりに音声を条件にすると、推論はしばしば劣化する。 音声トークンは、マッチしたセマンティクスの下でテキストよりも時間的に冗長であり、はるかに長くなる。 本稿では,表現選択問題としての音声トークン設計と,固定情報レートの冷凍LDMバックボーン下でのスイープフレームレートについて検討する。 低フレームレートを実現するために、FSQと軽量な非自己回帰型オーディオLMヘッドを導入し、効率的な予測を犠牲にすることなく、300ビット/フレームのスケーリング能力を実現する。 ボトルネックを除去し,フレームレート(50$\rightarrow$2.08\,Hz)とアライメント深度(アライメント深度)を調べた。

関連論文リスト

• Do Spoken Language Models Hear Speech as They Read Text? Bridging Structural Gaps Between Speech and Text [3.1208668217678355]
  音声言語モデルは、音声から直接テキスト応答を生成する。 既存のSLMは、より弱い命令追従挙動と限定的な一般化を示す。 意味的アライメントから長さミスマッチを分離する単純なフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-24T07:41:28Z)
• Anatomy of the Modality Gap: Dissecting the Internal States of End-to-End Speech LLMs [15.914430317382077]
  音声とテキストの表現が階層的にどのように進化するかを分析する。 音声表現は、冗長な音声の性質に起因して、広い層間アライメントバンドを示す。
  論文  参考訳（メタデータ） (2026-03-02T06:21:43Z)
• Latent Speech-Text Transformer [77.01648186958381]
  本稿では,LST(Latent Speech-Text Transformer)を提案する。 LSTは、音声から音声へのバニラアプローチと、データと計算制御の両方の設定におけるテキストからテキストへのベンチマークに優れています。
  論文  参考訳（メタデータ） (2025-10-07T17:52:08Z)
• What Makes a Good Speech Tokenizer for LLM-Centric Speech Generation? A Systematic Study [58.55905182336196]
  音声言語モデル(SLM)は、音声とテキストの理解と生成を統一するための有望な経路を提供する。 LLM中心のSLMにおける音声トークン化設計の役割について検討し,音声ヘッドと話者モデルを用いて検討した。 SLMにマルチトークン予測(MTP)を導入し、各隠れ状態が複数の音声トークンを復号化できるようにする。
  論文  参考訳（メタデータ） (2025-06-14T15:26:31Z)
• A Non-autoregressive Generation Framework for End-to-End Simultaneous Speech-to-Speech Translation [48.84039953531355]
  同時音声翻訳のための新しい非自己回帰生成フレームワーク(NAST-S2X)を提案する。 NAST-S2Xは、音声テキストと音声音声タスクを統合エンドツーエンドフレームワークに統合する。 3秒未満の遅延で高品質な同時解釈を実現し、オフライン生成において28倍のデコードスピードアップを提供する。
  論文  参考訳（メタデータ） (2024-06-11T04:25:48Z)
• ContextSpeech: Expressive and Efficient Text-to-Speech for Paragraph Reading [65.88161811719353]
  本研究は、軽量で効果的なテキスト音声合成システムであるContextSpeechを開発する。 まず,グローバルテキストと音声コンテキストを文エンコーディングに組み込むメモリキャッシュ再帰機構を設計する。 我々は,グローバルな文脈拡張の範囲を広げるため,階層的に構造化されたテキストセマンティクスを構築した。 実験の結果,ContextSpeechは段落読解における音質と韻律を競争モデル効率で著しく改善することがわかった。
  論文  参考訳（メタデータ） (2023-07-03T06:55:03Z)
• token2vec: A Joint Self-Supervised Pre-training Framework Using Unpaired Speech and Text [65.04385919645395]
  token2vecは、音声の離散表現に基づく、未ペア音声とテキストのための新しい事前学習フレームワークである。 実験の結果、 token2vec は様々な音声のみの事前学習ベースラインよりも大幅に優れており、WER の相対的な減少率は17.7%である。
  論文  参考訳（メタデータ） (2022-10-30T06:38:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。