論文の概要: Gradient-Based Speech-to-Text Alignment for Any ASR Model: From CTC to Speech LLMs

• arxiv url: http://arxiv.org/abs/2607.06831v1
• Date: Tue, 07 Jul 2026 21:57:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-09 22:50:30.230021
• Title: Gradient-Based Speech-to-Text Alignment for Any ASR Model: From CTC to Speech LLMs
• Title（参考訳）: 任意のASRモデルに対するグラディエントベース音声テキストアライメント:CTCからLLMへ
• Abstract要約: 我々は任意の微分可能なASRモデルに適用可能な一般化勾配に基づくアライメントについて検討する。 本研究は,4家系の16種類のモデルにおいて,それぞれが自家用または注意に基づくアライメントに対して,読み上げ(TIMIT)と自発(Buckeye)の発話で評価する。
• 参考スコア（独自算出の注目度）: 36.7171990723005
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Speech-to-text alignment means finding the temporal boundaries of each word in the audio. Some models provide such an alignment directly and others do not. Connectionist temporal classification (CTC) and transducer models have an alignment by construction, whereas attention-based encoder-decoders (AED) and speech large language models (LLMs) do not, and their word timings are usually read off the attention weights instead. All of these signals live on the encoder frame grid, which bounds their temporal precision. We study a generic gradient-based alignment that applies to any differentiable ASR model. We take the gradient of each teacher-forced token log probability with respect to the input, reduce it to a per-frame saliency, and decode the resulting matrix into word boundaries with a single dynamic-programming pass. The method needs no training, no model modification and no alignment heads, works across all model families including the speech LLMs, and aligns on the input grid rather than on the coarser encoder grid. We evaluate it on sixteen models from four families, on read (TIMIT) and spontaneous (Buckeye) speech, each against the model's own native or attention-based alignment. We find that the gradient yields a usable alignment for every model, that it is usually somewhat behind a strong native aligner but better where the native alignment is weak, as for the streaming models, and that its main disadvantage is the cost of one backward pass per token.
• Abstract（参考訳）: 音声からテキストへのアライメントは、音声中の各単語の時間的境界を見つけることを意味する。 一部のモデルはそのようなアライメントを直接提供し、他のモデルは提供しない。 接続型時間分類(CTC)とトランスデューサモデル(Transducer model)は構成によってアライメントされるが、注意ベースのエンコーダデコーダ(AED)と音声大言語モデル(LLM)はそうではない。 これらの信号はすべてエンコーダのフレームグリッド上にあり、時間的精度を制限している。 我々は任意の微分可能なASRモデルに適用可能な一般化勾配に基づくアライメントについて検討する。 入力に対して各教師力のトークンログ確率の勾配を考慮し、フレームごとのサリエンシに還元し、結果の行列を1つの動的プログラミングパスで単語境界に復号する。 トレーニングもモデル修正もアライメントヘッドも不要で、音声LLMを含むすべてのモデルファミリで動作し、粗いエンコーダグリッドではなく入力グリッドにアライメントする。 本研究は,4家系の16のモデルにおいて,それぞれが自家用あるいは注意に基づくアライメントに対して,読み上げ(TIMIT)と自発(Buckeye)の発話で評価する。 勾配は、全てのモデルに対して使用可能なアライメントをもたらし、通常、強いネイティブアライメントの背後にあるが、ストリーミングモデルのようにネイティブアライメントが弱い方がよいこと、そしてその主な欠点はトークン毎の1つの後方パスのコストである。

関連論文リスト

• Weave of Formal Thought [51.56484100374058]
  WoFT(Weave of Formal Thought)は、厳密な構文的検証と学習された構造的表現を結合したパラダイムである。 本稿では,非終端文法記号を直接生成にインターリーブするために,言語モデルを訓練する潜時可変微調整法を提案する。 Pythonでは、RWS目的のStarCoder2-3Bを微調整することで、テキストのみのSFTベースラインと比較して、トーケン毎のクロスエントロピーが14.3%削減される。
  論文  参考訳（メタデータ） (2026-06-24T15:58:11Z)
• Beyond Scalar Distances: Semantic Attribute Gradients from Frozen MLLMs for Visual Embeddings [9.571136962907888]
  検索のための視覚エンコーダは通常、クラスラベルの監督によって訓練される。 MLLM(Multimodal large language model)はこれらの属性を記述し、画像がクラスを共有するかどうかを予測する。 我々は,この言語に基づく属性認識を,エンコーダ自体のトレーニング信号に変換するフレームワークであるtextbfSAGAを提案する。
  論文  参考訳（メタデータ） (2026-06-13T05:50:40Z)
• MELD: Mel-Spectrogram-Based Speech Language Modeling with Discrete Latent Variables [70.49308038234274]
  本稿では,エンコーダと音声モデルとを協調的に最適化する,メルスペクトル上での離散潜在変数モデルを提案する。 共同最適化は、ゼロショットテキスト音声(TTS)と音声テキスト(STT)タスクにおけるオーバーベースやその他のメルスペクトルベースのベースラインの改善をもたらすだけでなく、自動回帰メルスペクトルモデリングにおける一般的な問題を効果的に緩和する。
  論文  参考訳（メタデータ） (2026-05-28T12:39:36Z)
• MegaTTS 3: Sparse Alignment Enhanced Latent Diffusion Transformer for Zero-Shot Speech Synthesis [56.25862714128288]
  本稿では,イノベーティブなスパースアライメントアルゴリズムを備えたゼロショット音声合成(TTS)システムであるtextitMegaTTS 3を提案する。 具体的には,検索空間を制限せずにアライメントの困難さを軽減するために,MegaTTS 3にスパースアライメント境界を提供する。 実験により、MegaTTS 3は最先端のゼロショットTTS音声品質を実現し、アクセント強度を柔軟に制御できることが示されている。
  論文  参考訳（メタデータ） (2025-02-26T08:22:00Z)
• Extract Free Dense Misalignment from CLIP [7.0247398611254175]
  この研究はCLIP4DMと呼ばれる新しいアプローチを提案する。 我々は、個々のテキストトークンの負の勾配を誤適応を示すために、勾配に基づく属性計算法を改良する。 提案手法は,ゼロショットモデル間の最先端性能と微調整モデルとの競合性能を示す。
  論文  参考訳（メタデータ） (2024-12-24T12:51:05Z)
• Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
  GMLM(Generative Masked Language Models)に焦点を当てる。 我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。 我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-07-22T18:00:00Z)
• Iterative pseudo-forced alignment by acoustic CTC loss for self-supervised ASR domain adaptation [80.12316877964558]
  特定のドメインからの高品質なデータラベリングはコストと人的時間を要する。 本稿では,反復的擬力アライメントアルゴリズムに基づく自己教師付きドメイン適応手法を提案する。
  論文  参考訳（メタデータ） (2022-10-27T07:23:08Z)
• One TTS Alignment To Rule Them All [26.355019468082247]
  音声テキストアライメントは、ニューラルテキスト音声(TTS)モデルの重要な構成要素である。 本稿では,RAD-TTSにおけるアライメント機構を汎用的なアライメント学習フレームワークとして活用する。 このフレームワークは、フォワードサムアルゴリズム、ビタビアルゴリズム、単純で効率的な静的先行処理を組み合わせたものである。
  論文  参考訳（メタデータ） (2021-08-23T23:45:48Z)
• Fast End-to-End Speech Recognition via a Non-Autoregressive Model and Cross-Modal Knowledge Transferring from BERT [72.93855288283059]
  LASO (Listen Attentively, and Spell Once) と呼ばれる非自動回帰音声認識モデルを提案する。 モデルは、エンコーダ、デコーダ、および位置依存集合体(PDS)からなる。
  論文  参考訳（メタデータ） (2021-02-15T15:18:59Z)
• Rationalizing Text Matching: Learning Sparse Alignments via Optimal Transport [14.86310501896212]
  本研究では,この選択的合理化アプローチをテキストマッチングに拡張する。 目標は、下流の予測の正当化として、トークンや文などのテキストを共同で選択し、調整することである。 我々のアプローチでは、入力間の最小コストアライメントを見つけるために最適なトランスポート(OT)を採用している。
  論文  参考訳（メタデータ） (2020-05-27T01:20:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。