論文の概要: Q-SPT: Learnable Query-Based Compression for Low-Frame-Rate Speech Tokenization

• arxiv url: http://arxiv.org/abs/2610.01492v1
• Date: Thu, 01 Oct 2026 11:35:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.081535
• Title: Q-SPT: Learnable Query-Based Compression for Low-Frame-Rate Speech Tokenization
• Title（参考訳）: Q-SPT:低フレームレート音声トークン化のための学習可能なクエリベース圧縮
• Abstract要約: そこで本稿では,コンテキスト認識型,学習可能なクエリベース圧縮器を分離した低フレームレートのデュアルストリーム音声トークンを提案する。 Q-SPTは同じフレームレートで評価されたコーデック間で最高の再構成を実現する。 最高の音声認識精度とテキストから音声の知覚品質を、競争力のある知性で獲得する。
• 参考スコア（独自算出の注目度）: 5.606873885066531
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural speech codecs increasingly serve as tokenizers for speech language models (SLMs). Lowering the frame rate reduces the computational and memory costs of SLMs, but makes it difficult to preserve both linguistic information and acoustic detail. Existing approaches rely on rule-based compression: average pooling can discard linguistic information, whereas similarity-based merging uses a fixed threshold on adjacent-frame similarity and applies the resulting boundaries to the acoustic stream. We propose Q-SPT, a low-frame-rate dual-stream speech tokenizer with separate, context-aware, learnable query-based compressors specialized for semantic and acoustic representations. In particular, queries at a fixed rate independently attend to the semantic and acoustic streams as separate key-value sources, enabling stream-specific, context-aware aggregation through two separately learned compressors. In addition, an autoregressive text loss explicitly supervises the semantic compressor to preserve linguistic information. Experimental results show that Q-SPT achieves the best reconstruction among the evaluated codecs at the same frame rate. In downstream SLMs, it yields the best speech recognition accuracy and text-to-speech perceptual quality with competitive intelligibility.
• Abstract（参考訳）: ニューラル音声コーデックは、音声モデル(SLM)のトークンライザとして機能するようになっている。 フレームレートの低下は、SLMの計算コストとメモリコストを低減させるが、言語情報と音響的詳細の両方を保存することは困難である。 平均プーリングは言語情報を捨てることができるが、類似性ベースのマージは隣接フレームの類似性に対して一定の閾値を使い、その結果の境界を音響ストリームに適用する。 意味的および音響的表現に特化して、コンテキスト認識、学習可能なクエリベースの圧縮器を備えた低フレームレートのデュアルストリーム音声トークンであるQ-SPTを提案する。 特に、固定レートのクエリは、セマンティックストリームとアコースティックストリームを別個のキー-バリューソースとして、それぞれ独立して参加し、2つの個別に学習された圧縮機を通してストリーム固有のコンテキスト-アウェアアグリゲーションを可能にする。 さらに、自動回帰テキスト損失は、言語情報を保存するために意味圧縮器を明示的に監督する。 実験の結果,Q-SPTは同一フレームレートで評価されたコーデックの中で最高の再構成を実現することがわかった。 下流のSLMでは、最高の音声認識精度とテキスト対音声の知覚品質を、競争力のある知性で獲得する。

関連論文リスト

• Anchoring Speech with Semantics: A Multimodal Adapter Mechanism for Automatic Speech Recognition in Low-Resource Languages [21.20778568616635]
  デコーダを補助翻訳のセマンティックアンカーと音声の音響アンカーで強化する、軽量なアダプタ機構。 SAMA-ASRは、翻訳に基づくセマンティック埋め込みと音声埋め込みを記述し、発話レベルの意味と、トークン予測の前に音声による根拠を組み合わせる。 台湾のホッキエンとハッカは、低資源のシナイト品種を対象とする2つの30時間データセットの実験を行い、SAMA-ASRは音響的、事前のプロンプトベース、意味のみの翻訳誘導ベースラインよりも改善していることを示した。
  論文  参考訳（メタデータ） (2026-08-29T12:52:03Z)
• STAC: Selective Spatiotemporal Aggregation and Compression for Video Reasoning Segmentation [60.597357847359255]
  ビデオセグメンテーションでは、複雑な自然言語クエリの下で数百フレームにわたるピクセル精度の高いオブジェクトトラッキングが要求される。 既存のメソッドはトークン圧縮を通じてこの問題に対処するが、典型的には時間的コンテキストを持たない機能で動作する。 状態空間モデルは、この制約を解決し、その線形反復性は、各トークンを時間的文脈で選択的に$mathcalO(T)$コスト圧縮して減少させる。
  論文  参考訳（メタデータ） (2026-07-03T03:28:25Z)
• Distilling Conversations: Abstract Compression of Conversational Audio Context for LLM-based ASR [14.082117520000873]
  複数モーダルコンテキストがLLMベースのASRを改善するかどうかを考察する。 マルチターン学習を指導した後、会話のコンテキストは、主に文脈的実体の認識に役立ちます。 本稿では,先行するターンの音声部分を,対応するテキストを明示的に保持しつつ,一定の数の学習潜在トークンに置き換える抽象圧縮を提案する。
  論文  参考訳（メタデータ） (2026-03-27T10:09:30Z)
• Who Spoke What When? Evaluating Spoken Language Models for Conversational ASR with Semantic and Overlap-Aware Metrics [99.89493037369071]
  音声の重複や遠距離雑音,話者数の変化など,会話の自動音声認識は依然として困難である。 近年のLCMベースのシステムは単一話者のベンチマークでは良好に動作するが、マルチ話者設定におけるロバスト性は不明確である。 重なり、意味的忠実度、話者数、シングルチャンネルとマルチチャネル入力の4つの軸に沿って、LLMベースのアプローチとモジュラーアプローチを体系的に比較する。
  論文  参考訳（メタデータ） (2026-03-24T02:01:21Z)
• STACodec: Semantic Token Assignment for Balancing Acoustic Fidelity and Semantic Information in Audio Codecs [19.07983030478734]
  STACodecは自己教師付き学習(SSL)モデルからの意味情報を残差ベクトル量子化(RVQ-1)の第1層に統合する 本研究では,第1のRVQ層に代入するための意味トークンを直接予測する意味事前蒸留(SPD)モジュールを提案する。
  論文  参考訳（メタデータ） (2026-02-05T20:36:24Z)
• TagSpeech: End-to-End Multi-Speaker ASR and Diarization with Fine-Grained Temporal Grounding [15.908533215017059]
  本稿では,テンポラルアンカーグラウンドを用いた統合フレームワークTagSpeechについて述べる。 本フレームワークは,(1)SOT(Serialized Output Training)を用いて微調整されたセマンティックストリームと話者ストリームを分離してターンテイクダイナミクスを学習し,(2)セマンティック理解と話者追跡の同期信号として機能するインターリーブ時間アンカー機構である。
  論文  参考訳（メタデータ） (2026-01-11T12:40:07Z)
• SecoustiCodec: Cross-Modal Aligned Streaming Single-Codecbook Speech Codec [83.61175662066364]
  音声コーデックは、音声とテキスト言語モデルを統一するための重要なブリッジとして機能する。 既存の手法はセマンティックエンコーディングにおいていくつかの課題に直面している。 本稿では,クロスモーダルな低ビットレートストリーミング音声コーデックSecoustiCodecを提案する。
  論文  参考訳（メタデータ） (2025-08-04T19:22:14Z)
• LM-SPT: LM-Aligned Semantic Distillation for Speech Tokenization [8.365515332927444]
  近年の音声トークン化手法は,低レベル音響から意味情報を分離し,言語モデルとの整合性を向上することを目的としている。 新規なセマンティック蒸留を導入する音声トークン化手法であるLM-SPTを提案する。 LM-SPTは,ベースラインに比べて高い再現性が得られることを示す。
  論文  参考訳（メタデータ） (2025-06-20T04:15:14Z)
• Speech collage: code-switched audio generation by collaging monolingual corpora [50.356820349870986]
  Speech Collage は音声セグメントをスプライシングすることでモノリンガルコーパスからCSデータを合成する手法である。 2つのシナリオにおける音声認識における生成データの影響について検討する。
  論文  参考訳（メタデータ） (2023-09-27T14:17:53Z)
• Wav2vec-Switch: Contrastive Learning from Original-noisy Speech Pairs for Robust Speech Recognition [52.71604809100364]
  音声の文脈化表現に雑音のロバスト性をエンコードするwav2vec-Switchを提案する。 具体的には、オリジナルノイズの多い音声ペアを同時にwav2vec 2.0ネットワークに供給する。 既存のコントラスト学習タスクに加えて、原音声と雑音音声の量子化表現を追加の予測対象に切り替える。
  論文  参考訳（メタデータ） (2021-10-11T00:08:48Z)
• Continuous speech separation: dataset and analysis [52.10378896407332]
  自然な会話では、音声信号は連続的であり、重複成分と重複成分の両方を含む。 本稿では,連続音声分離アルゴリズムを評価するためのデータセットとプロトコルについて述べる。
  論文  参考訳（メタデータ） (2020-01-30T18:01:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。