論文の概要: Content is What Remains: Invariant Speech Tokenization from Parallel Utterances

• arxiv url: http://arxiv.org/abs/2607.19033v1
• Date: Tue, 21 Jul 2026 12:19:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-22 19:05:05.420924
• Title: Content is What Remains: Invariant Speech Tokenization from Parallel Utterances
• Title（参考訳）: 残されている内容:並列発話からの不変音声トークン化
• Abstract要約: PINTはSSLエンコーダを微調整し、並列発話におけるアライメント損失と、この共有残基を蒸留するために拡張する。 ASRテキストとは異なり、PINTトークンはフレームレベルの時間的グラウンドを保持し、オーディオコーデックのドロップインセマンティックターゲットとして機能する。
• 参考スコア（独自算出の注目度）: 8.166364251367627
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discrete speech tokenizers aim to disentangle semantic from acoustic information, yet targets from self-supervised learning (SSL) models like HuBERT retain non-linguistic variation: speaker identity, prosody, and channel conditions leak into the tokens, inflating entropy. Our key insight is that when enough speakers utter the same words under varying conditions, linguistic content is the only shared factor. We propose PINT (Parallel INvariant Tokenization), which fine-tunes an SSL encoder with alignment losses across parallel utterances and augmentations to distill this shared residual. PINT collapses identical words onto consistent token sequences, drastically reducing conditional entropy. Unlike ASR text, PINT tokens preserve frame-level temporal grounding and serve as drop-in semantic targets for audio codecs. Experiments show a 98.7% relative reduction in speaker probe accuracy (93.1% to 1.2%), a 42% lower ABX error rate, and 27-30% lower LM perplexity versus baselines, confirming that the right invariance is key to efficient learning.
• Abstract（参考訳）: 離散音声トークンーは、音響情報から意味を解き放つことを目的としているが、HuBERTのような自己教師付き学習(SSL)モデルからのターゲットは、話者アイデンティティ、韻律、チャネル条件といった非言語的なバリエーションを保持し、エントロピーを膨らませる。 我々の重要な洞察は、十分な話者が様々な条件下で同じ言葉を発する時、言語内容が唯一の共有要因であるということである。 PINT(Parallel Invariant Tokenization)を提案する。これはSSLエンコーダを微調整し、並列発話におけるアライメント損失を補正し、この共有残基を蒸留する。 PINTは同一の単語を一貫したトークンシーケンスに分解し、条件エントロピーを大幅に減少させる。 ASRテキストとは異なり、PINTトークンはフレームレベルの時間的グラウンドを保持し、オーディオコーデックのドロップインセマンティックターゲットとして機能する。 実験では、話者プローブの精度が98.7%(93.1%から1.2%)、ABXエラー率が42%低く、LMの難易度がベースラインよりも27-30%低いことを示し、正しい不変性が効率的な学習の鍵であることを確認している。

関連論文リスト

• Not All Speech Is Intent: Adaptive Self-Correcting Inference Layer for Post-ASR False Wake-Up [2.497926557563177]
  会話型AIでは、偽の起動アクティベーションは依然として永続的な課題である。 フィードバック駆動型適応型自己修正型推論層(ASCIL)について紹介する。 ASCILは、音響埋め込み、言語的手がかり、デバイスコンテキスト、過去の誤分類からのパターンを融合させることで、応答生成前の覚醒意図を再評価する。
  論文  参考訳（メタデータ） (2026-09-11T06:06:06Z)
• TokAN: Accent Normalization Using Self-Supervised Speech Tokens [34.77160718038654]
  TokANはトークンベースのアクセント正規化フレームワークである。 自己回帰エンコーダ・デコーダモデルがトークン・ツー・トークン変換を行う。 フローマッチングシンセサイザは、変換されたトークンからメルスペクトルを復元する。
  論文  参考訳（メタデータ） (2026-07-04T15:45:38Z)
• Light-weight Pronunciation Assessment via Discrete Speech Token Surprisal [10.584132982823883]
  自動発音評価の訓練は、しばしばラベル付き学習者エラーや収集にコストがかかる非ネイティブコーパスに依存している。 そこで本研究では,教師なしあるいは軽微な校正を行うために,ネイティブ音声リソースのみを訓練した軽量なフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-18T08:04:16Z)
• PersonaGesture: Single-Reference Co-Speech Gesture Personalization for Unseen Speakers [13.355084498116193]
  PersonaGesture(ペルソナゲスチャ)は、未確認話者の単一参照音声ジェスチャーパーソナライズのためのパイプラインである。 Adaptive Style Infusion (ASI) と Implicit Distribution Rectification Rectification (IDR) の2つの重要なコンポーネントは、時間的同一性証拠を残留統計学的補正から分離している。 実験により,デノナイジング時の話者記憶を保守的なモーメント修正から切り離すことで,崩壊したスタイルコードよりも不明瞭な話者のパーソナライゼーションが向上することが示された。
  論文  参考訳（メタデータ） (2026-05-07T11:48:39Z)
• LiteToken: Removing Intermediate Merge Residues From BPE Tokenizers [76.59130257385826]
  BPE語彙の中間的なマージ残基は、マージ学習中にしばしば見られ、最終語彙に保持されるが、ほとんどは、トークン化剤の使用中にコーパスをトークン化するときに、さらにマージされる。 本稿では, この現象を, 一般的に使用されているトークン化剤にまたがって系統的に評価し, 残留トークンを除去する簡単な方法である LiteToken を紹介する。 実験によると、LiteTokenはトークンの断片化を減らし、パラメータを減らし、全体的なパフォーマンスを保ちながら、ノイズやスペル入力への堅牢性を改善する。
  論文  参考訳（メタデータ） (2026-02-04T16:19:05Z)
• StableToken: A Noise-Robust Semantic Speech Tokenizer for Resilient SpeechLLMs [54.229363096087866]
  音声トークン化器は、意味不明な音響摂動に対して頑健ではない。 この不安定性は、脆い単一パス量子化アーキテクチャと遠い訓練信号の2つの欠陥に由来する。 コンセンサス駆動機構による安定性を実現するトークンライザであるStableTokenを紹介する。
  論文  参考訳（メタデータ） (2025-09-26T11:32:51Z)
• Tokens with Meaning: A Hybrid Tokenization Approach for NLP [0.2826977330147589]
  自然言語処理(NLP)におけるトークン化の役割 規則に基づく形態素解析と統計的サブワードセグメンテーションを組み合わせたハイブリッドトークン化フレームワークを提案する。 本手法は, 音韻正規化, ルートアフィックス, および形態素保存と語彙効率のバランスをとる新しいアルゴリズムを用いる。
  論文  参考訳（メタデータ） (2025-08-19T22:17:42Z)
• What Makes a Good Speech Tokenizer for LLM-Centric Speech Generation? A Systematic Study [58.55905182336196]
  音声言語モデル(SLM)は、音声とテキストの理解と生成を統一するための有望な経路を提供する。 LLM中心のSLMにおける音声トークン化設計の役割について検討し,音声ヘッドと話者モデルを用いて検討した。 SLMにマルチトークン予測(MTP)を導入し、各隠れ状態が複数の音声トークンを復号化できるようにする。
  論文  参考訳（メタデータ） (2025-06-14T15:26:31Z)
• Exploring SSL Discrete Speech Features for Zipformer-based Contextual ASR [74.38242498079627]
  自己教師付き学習(SSL)に基づく離散音声表現は、非常にコンパクトで、ドメイン適応性が高い。 本稿では、Zipformer-Transducer ASRシステムにおいて、WavLMモデルから抽出したSSL離散音声特徴を追加の発話音響コンテキスト特徴として用いた。
  論文  参考訳（メタデータ） (2024-09-13T13:01:09Z)
• Prune Spatio-temporal Tokens by Semantic-aware Temporal Accumulation [89.88214896713846]
  STAスコアは、時間的冗長性と意味的重要性の2つの重要な要因を考慮に入れている。 市販のビデオトランスフォーマーとビデオウィンにSTAモジュールを適用する。 結果: Kinetics-400 と something-Something V2 は 30% のオーバーシェルフ削減を実現し,0.2% の精度低下を実現した。
  論文  参考訳（メタデータ） (2023-08-08T19:38:15Z)
• Wav2vec-Switch: Contrastive Learning from Original-noisy Speech Pairs for Robust Speech Recognition [52.71604809100364]
  音声の文脈化表現に雑音のロバスト性をエンコードするwav2vec-Switchを提案する。 具体的には、オリジナルノイズの多い音声ペアを同時にwav2vec 2.0ネットワークに供給する。 既存のコントラスト学習タスクに加えて、原音声と雑音音声の量子化表現を追加の予測対象に切り替える。
  論文  参考訳（メタデータ） (2021-10-11T00:08:48Z)
• Fast End-to-End Speech Recognition via a Non-Autoregressive Model and Cross-Modal Knowledge Transferring from BERT [72.93855288283059]
  LASO (Listen Attentively, and Spell Once) と呼ばれる非自動回帰音声認識モデルを提案する。 モデルは、エンコーダ、デコーダ、および位置依存集合体(PDS)からなる。
  論文  参考訳（メタデータ） (2021-02-15T15:18:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。