論文の概要: FuseAlign: Forced Alignment in the Wild

• arxiv url: http://arxiv.org/abs/2609.33650v1
• Date: Sun, 27 Sep 2026 15:13:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 15:01:12.624663
• Title: FuseAlign: Forced Alignment in the Wild
• Title（参考訳）: FuseAlign: 野生での強制アライメント
• Abstract要約: 単語レベルの強制アライメントは、音声記録において各転写語が発生するときに推定される。 テキストベースのメディア編集、サブタイリング、音声データキュレーション、音声分析を基盤とする。 FuseAlignは、大規模な擬似ラベル付き音声にトレーニングされたトランスフォーマーベースのコーディネータで、オンラインラベルの修正を行う。
• 参考スコア（独自算出の注目度）: 4.994836794885107
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Word-level forced alignment estimates when each transcript word occurs in an audio recording. It underpins text-based media editing, subtitling, speech-data curation, and phonetic analysis. Existing evaluations understate the difficulty of forced alignment by relying on short, clean speech, perfect transcripts, and metrics that obscure consequential alignment errors. In contrast, real-world media and data-processing pipelines operate on long and diverse recordings. Additionally, forced aligners often operate on error-prone automatic speech recognition (ASR) output. We address these gaps with improved evaluation metrics, a scoring protocol for real ASR transcripts, and AlignBench, a benchmark spanning diverse speaker, acoustic, and text conditions. We further introduce FuseAlign, a transformer-based aligner trained on large-scale pseudo-labeled speech with online label correction. FuseAlign performs joint contextualization of audio and text for the localization of coarse words. The model then refines boundaries at millisecond resolution and detects missing transcript words in the audio without lexicon-based or Viterbi decoding. On AlignBench, FuseAlign substantially outperforms all baselines and remains robust under real ASR transcripts. Ablations show that convolutional upsampling and EMA-snapshot label correction matter more than model properties such as parameter count.
• Abstract（参考訳）: 単語レベルの強制アライメントは、音声記録において各転写語が発生するときに推定される。 テキストベースのメディア編集、サブタイリング、音声データキュレーション、音声分析を基盤とする。 既存の評価は、簡潔でクリーンな音声、完璧な書き起こし、そして連続的なアライメントエラーを曖昧にするメトリクスに頼ることで、強制アライメントの難しさを浮き彫りにしている。 対照的に、現実世界のメディアやデータ処理パイプラインは、長く多様な記録を処理している。 さらに、強制整合器は、しばしばエラーを起こしやすい自動音声認識(ASR)出力を操作する。 これらのギャップに対処するため、評価基準の改善、実際のASR転写のためのスコアリングプロトコル、様々な話者、音響、テキスト条件にまたがるベンチマークであるAlignBenchについて検討する。 さらにFuseAlignについても紹介する。FuseAlignはオンラインラベル修正による大規模擬似ラベル音声を訓練したトランスフォーマーベースのコーディネータである。 FuseAlignは、粗い単語の局所化のための音声とテキストの共同文脈化を行う。 モデルはミリ秒の解像度で境界を洗練し、レキシコンベースやビタビ復号を使わずに音声中の転写単語の欠落を検出する。 AlignBenchでは、FuseAlignはすべてのベースラインを著しく上回り、実際のASR転写の下では堅牢である。 アブレーションは、畳み込みアップサンプリングとEMA-snapshotラベル補正がパラメータ数などのモデル特性よりも重要であることを示している。

関連論文リスト

• Multi Codec Discrete Diffusion Model for Text Guided Speech Inpainting and Editing [10.49533454106105]
  音声の塗装は欠落したセグメントを復元する一方、音声編集は編集されたテキストに従って音声コンテンツを置換する。 SIEDDは、階層的トークン上でのテキスト誘導音声の描画と編集のための離散拡散フレームワークである。 RealEdit のベンチマークでは,SIEDD が評価手法の中で最高の音声編集性能を達成している。
  論文  参考訳（メタデータ） (2026-08-05T18:57:34Z)
• AgenticASR: Refining Speech Recognition in Real-World Scenarios via an Agentic Approach [15.617770133323077]
  Agentic Speech Recognition (AgenticASR) は、音声からクリーンテキストのタスクである。 障害を取り除き、自己補正を解決し、書式を正規化する。 AgenticASRは評価システムの中でAASR-Benchスコアが最も高い。
  論文  参考訳（メタデータ） (2026-07-30T13:12:25Z)
• RFM-Editing: Rectified Flow Matching for Text-guided Audio Editing [21.479883699581308]
  そこで本研究では,音声編集のための効率のよいフロー整合型拡散フレームワークを提案する。 実験の結果,補助的なキャプションやマスクを必要とせず,忠実なセマンティックアライメントを実現することができた。
  論文  参考訳（メタデータ） (2025-09-17T14:13:40Z)
• Efficient Audio Captioning Transformer with Patchout and Text Guidance [74.59739661383726]
  本稿では, [1] で提案した Patchout を利用したフルトランスフォーマーアーキテクチャを提案する。 キャプション生成は、事前訓練された分類モデルにより抽出されたテキストオーディオセットタグに部分的に条件付けされる。 提案手法は,DCASE Challenge 2022のタスク6Aで審査員賞を受賞している。
  論文  参考訳（メタデータ） (2023-04-06T07:58:27Z)
• Iterative pseudo-forced alignment by acoustic CTC loss for self-supervised ASR domain adaptation [80.12316877964558]
  特定のドメインからの高品質なデータラベリングはコストと人的時間を要する。 本稿では,反復的擬力アライメントアルゴリズムに基づく自己教師付きドメイン適応手法を提案する。
  論文  参考訳（メタデータ） (2022-10-27T07:23:08Z)
• Discrete Cross-Modal Alignment Enables Zero-Shot Speech Translation [71.35243644890537]
  エンドツーエンド音声翻訳(ST)は、中間転写を生成することなく、ソース言語音声を対象言語テキストに翻訳することを目的としている。 既存のゼロショット法は、音声とテキストの2つのモダリティを共有意味空間に合わせることに失敗する。 音声とテキストの両方のモダリティに適合する離散語彙空間を共用した離散的クロスモーダルアライメント(DCMA)法を提案する。
  論文  参考訳（メタデータ） (2022-10-18T03:06:47Z)
• Zero-Shot Text-to-Speech for Text-Based Insertion in Audio Narration [62.75234183218897]
  話者の訓練データなしで自然かつ一貫性のあるターゲット音声を生成する一段階の文脈認識フレームワークを提案する。 変換器をベースとしたデコーダを用いて,編集音声のメルスペクトルを生成する。 これは最近のゼロショット TTS エンジンを大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2021-09-12T04:17:53Z)
• Label-Synchronous Speech-to-Text Alignment for ASR Using Forward and Backward Transformers [49.403414751667135]
  本稿では,音声認識のための新しいラベル同期音声テキストアライメント手法を提案する。 提案手法はラベル同期テキストマッピング問題として音声からテキストへのアライメントを再定義する。 自発日本語コーパス(CSJ)を用いた実験により,提案手法が正確な発話方向のアライメントを提供することを示した。
  論文  参考訳（メタデータ） (2021-04-21T03:05:12Z)
• Hallucination of speech recognition errors with sequence to sequence learning [16.39332236910586]
  プレーンテキストデータを使用して話し言葉理解やASRのためのシステムのトレーニングを行う場合、証明された戦略は、ASR出力が金の転写を与えるであろうものを幻覚することです。 本稿では,asr語列の幻覚的出力,入力語列の条件づけ,対応する音素列を直接予測する新しいエンドツーエンドモデルを提案する。 これにより、ドメイン内ASRシステムの未確認データの転写からのエラーのリコール、およびドメイン外ASRシステムの非関連タスクからのオーディオの転写の以前の結果が改善されます。
  論文  参考訳（メタデータ） (2021-03-23T02:09:39Z)
• Continuous speech separation: dataset and analysis [52.10378896407332]
  自然な会話では、音声信号は連続的であり、重複成分と重複成分の両方を含む。 本稿では,連続音声分離アルゴリズムを評価するためのデータセットとプロトコルについて述べる。
  論文  参考訳（メタデータ） (2020-01-30T18:01:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。