Fugu-MT 論文翻訳(概要): Context-Aware Interleaved Batching for WhisperX

論文の概要: Context-Aware Interleaved Batching for WhisperX

arxiv url: http://arxiv.org/abs/2608.31170v1
Date: Mon, 31 Aug 2026 17:59:46 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-01 18:31:31.555769
Title: Context-Aware Interleaved Batching for WhisperX
Title（参考訳）: WhisperXのためのコンテキスト対応インターリーブバッチ
Abstract要約: 我々のアルゴリズムはWhisperのテキストコンディショニングを安定化し、バッチ化された音声セグメント間の連続したコンテキストを安全に維持する。長文音声ベンチマークで示されたように、この手法はワード誤り率(WER)を低減する。
参考スコア（独自算出の注目度）: 3.7355752644425917
License: http://creativecommons.org/licenses/by/4.0/
Abstract: While WhisperX accelerates speech transcription via intra-audio batching, it isolates audio segments, losing the historical context needed for coherent punctuation and terminology transcription. Conversely, standard Whisper retains context sequentially but suffers from slow inference and hallucination loops. To achieve the best of both worlds, we propose Context-Aware Interleaved Batching. By using VAD-derived segment boundaries, our algorithm stabilizes Whisper's text conditioning, allowing us to safely maintain continuous historical context across batched audio segments. As demonstrated on long-form audio benchmarks, this approach reduces Word Error Rate (WER) and improves proper noun transcription, all while maintaining high-throughput inference speeds.
Abstract（参考訳）: WhisperXはオーディオ内バッチ処理によって音声の書き起こしを加速するが、音声セグメントを分離し、コヒーレント句読点と用語の書き起こしに必要な歴史的文脈を失う。逆に、標準的なWhisperはコンテキストを逐次保持するが、緩やかな推論と幻覚ループに悩まされる。両世界を最大限に活用するために,コンテキスト認識型インターリーブバッチを提案する。 VAD由来のセグメント境界を用いることで、Whisperのテキスト条件設定を安定化し、バッチ音声セグメント間の連続的な履歴コンテキストを安全に維持できる。長文音声ベンチマークで示されたように、この手法はワード誤り率(WER)を低減し、適切な名詞の書き起こしを改善する。

関連論文リスト

X2Streaming-TTS: Causal Token-Level Text-to-Speech from Streaming Text with Speech-State Inheritance [4.713402367550747]
低遅延音声対話システムではテキスト音声のストリーミングが不可欠であるが、多くのシステムは文レベルのテキストを待ち、従って擬似ストリーミングである。 X2Streaming-TTSは,非同期に受信したテキストトークンを消費し,将来の入力にアクセスすることなく音声を出力する因果的TTSフレームワークである。
論文参考訳（メタデータ） (2026-08-19T08:05:45Z)
CoSyncDiT: Cognitive Synchronous Diffusion Transformer for Movie Dubbing [76.74048814837336]
映画ダビングは、ターゲット映像中の唇の動きと同期しながら、参照音声の音声アイデンティティを保持する音声を合成することを目的としている。既存の方法は正確なリップシンクを達成できず、持続時間レベルでの明示的なアライメントによって自然性を欠いている。認知同期拡散変換器(CoSync-DiT)により駆動される新しいフローマッチング型フィルムダビングフレームワークを提案する。
論文参考訳（メタデータ） (2026-04-14T05:03:57Z)
Distilling Conversations: Abstract Compression of Conversational Audio Context for LLM-based ASR [14.082117520000873]
複数モーダルコンテキストがLLMベースのASRを改善するかどうかを考察する。マルチターン学習を指導した後、会話のコンテキストは、主に文脈的実体の認識に役立ちます。本稿では,先行するターンの音声部分を,対応するテキストを明示的に保持しつつ,一定の数の学習潜在トークンに置き換える抽象圧縮を提案する。
論文参考訳（メタデータ） (2026-03-27T10:09:30Z)
RFM-Editing: Rectified Flow Matching for Text-guided Audio Editing [21.479883699581308]
そこで本研究では,音声編集のための効率のよいフロー整合型拡散フレームワークを提案する。実験の結果,補助的なキャプションやマスクを必要とせず,忠実なセマンティックアライメントを実現することができた。
論文参考訳（メタデータ） (2025-09-17T14:13:40Z)
InfiniteTalk: Audio-driven Video Generation for Sparse-Frame Video Dubbing [66.48064661467781]
我々は、アイデンティティ、象徴的なジェスチャー、カメラ軌跡を維持するために参照を戦略的に保存する新しいパラダイムであるスパースフレームビデオダビングを導入する。無限長長列ダビング用に設計されたストリーミングオーディオ駆動型ジェネレータであるInfiniteTalkを提案する。 HDTF、CelebV-HQ、EMTDデータセットの総合評価は、最先端の性能を示している。
論文参考訳（メタデータ） (2025-08-19T17:55:23Z)
Character-aware audio-visual subtitling in context [58.95580154761008]
本稿では,テレビ番組における文字認識型音声視覚サブタイピングのための改良されたフレームワークを提案する。提案手法は,音声認識,話者ダイアリゼーション,文字認識を統合し,音声と視覚の両方を活用する。提案手法を12テレビ番組のデータセット上で検証し,既存手法と比較して話者ダイアリゼーションと文字認識精度に優れた性能を示す。
論文参考訳（メタデータ） (2024-10-14T20:27:34Z)
CrisperWhisper: Accurate Timestamps on Verbatim Speech Transcriptions [0.5120567378386615]
より冗長な音声の書き起こしを生成するために、モデルを微調整する。複数の話者に対する頑健さと背景雑音を高めるために,我々はいくつかの手法を採用している。
論文参考訳（メタデータ） (2024-08-29T14:52:42Z)
Turning Whisper into Real-Time Transcription System [15.925481189003383]
Whisper-Streamingは、Whisperライクなモデルのリアルタイム音声の書き起こしと翻訳の実装である。本稿では,Whisper-Streamingが非分割長文音声書き起こしテストセットにおいて,高品質かつ3.3秒のレイテンシを実現することを示す。
論文参考訳（メタデータ） (2023-07-27T10:00:05Z)
Efficient Audio Captioning Transformer with Patchout and Text Guidance [74.59739661383726]
本稿では, [1] で提案した Patchout を利用したフルトランスフォーマーアーキテクチャを提案する。キャプション生成は、事前訓練された分類モデルにより抽出されたテキストオーディオセットタグに部分的に条件付けされる。提案手法は,DCASE Challenge 2022のタスク6Aで審査員賞を受賞している。
論文参考訳（メタデータ） (2023-04-06T07:58:27Z)
AudioGen: Textually Guided Audio Generation [116.57006301417306]
記述文キャプションに条件付き音声サンプルを生成する問題に対処する。本研究では,テキスト入力に条件付き音声サンプルを生成する自動回帰モデルであるAaudioGenを提案する。
論文参考訳（メタデータ） (2022-09-30T10:17:05Z)
Zero-Shot Text-to-Speech for Text-Based Insertion in Audio Narration [62.75234183218897]
話者の訓練データなしで自然かつ一貫性のあるターゲット音声を生成する一段階の文脈認識フレームワークを提案する。変換器をベースとしたデコーダを用いて,編集音声のメルスペクトルを生成する。これは最近のゼロショット TTS エンジンを大きなマージンで上回っている。
論文参考訳（メタデータ） (2021-09-12T04:17:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。