論文の概要: In-Sync: Adaptation of Speech Aware Large Language Models for ASR with Word Level Timestamp Predictions

• arxiv url: http://arxiv.org/abs/2604.22817v1
• Date: Tue, 14 Apr 2026 20:56:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-04 02:32:14.201982
• Title: In-Sync: Adaptation of Speech Aware Large Language Models for ASR with Word Level Timestamp Predictions
• Title（参考訳）: In-Sync:単語レベルのタイムスタンプ予測を用いたASR用大言語モデルの適応
• Authors: Xulin Fan, Vishal Sunder, Samuel Thomas, Mark Hasegawa-Johnson, Brian Kingsbury, George Saon,
• Abstract要約: 我々は既存の音声認識言語モデルを拡張して、文字起こしと直接タイムスタンプを予測する。 認識品質を維持しつつアライメントの堅牢性を向上する,新しい軽量なトレーニング戦略を導入する。
• 参考スコア（独自算出の注目度）: 51.236148875603185
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in speech-aware language models have coupled strong acoustic encoders with large language models, enabling systems that move beyond transcription to produce richer outputs. Among these, word-level timestamp prediction is critical for applications such as captioning, media search, and multimodal synchronization, yet it is often handled by external alignment tools. In this work, we extend an existing speech-aware language model to predict timestamps directly alongside transcripts. We introduce a set of novel lightweight training strategies that improve alignment robustness while preserving recognition quality. Experiments across multiple datasets show that these strategies not only enhance timestamp accuracy, but also yield gains in overall ASR performance. Together, they demonstrate an efficient and unified approach to speech recognition with precise timestamp prediction.
• Abstract（参考訳）: 音声認識言語モデルの最近の進歩は、強い音響エンコーダと大きな言語モデルを組み合わせることで、文字起こしを超えてリッチな出力を生成するシステムを実現している。 これらのうち、単語レベルのタイムスタンプ予測は、キャプション、メディア検索、マルチモーダル同期などのアプリケーションでは重要であるが、外部アライメントツールによって処理されることが多い。 本研究では,既存の音声認識言語モデルを拡張して,タイムスタンプをテキストとともに直接予測する。 認識品質を維持しつつアライメントの堅牢性を向上する,新しい軽量なトレーニング戦略を導入する。 複数のデータセットにわたる実験により、これらの戦略はタイムスタンプの精度を高めるだけでなく、ASR全体のパフォーマンスも向上することが示された。 同時に、正確なタイムスタンプ予測を伴う音声認識に対する効率的で統一的なアプローチを示す。

関連論文リスト

• PRiSM: Benchmarking Phone Realization in Speech Models [70.82595415252682]
  音声認識(PR)は言語に依存しない言語間音声処理と音声解析のためのアトミックインタフェースとして機能する。 PRiSMは、音声知覚における盲点を明らかにするために設計された、最初のオープンソースベンチマークである。
  論文  参考訳（メタデータ） (2026-01-20T15:00:36Z)
• Towards Efficient Speech-Text Jointly Decoding within One Speech Language Model [76.06585781346601]
  音声言語モデル(Speech LMs)は、単一のモデル内でエンドツーエンドの音声テキストモデリングを可能にする。 音声テキストの共同復号パラダイムの選択は、性能、効率、アライメント品質において重要な役割を担っている。
  論文  参考訳（メタデータ） (2025-06-04T23:53:49Z)
• CrisperWhisper: Accurate Timestamps on Verbatim Speech Transcriptions [0.5120567378386615]
  より冗長な音声の書き起こしを生成するために、モデルを微調整する。 複数の話者に対する頑健さと背景雑音を高めるために,我々はいくつかの手法を採用している。
  論文  参考訳（メタデータ） (2024-08-29T14:52:42Z)
• AudioSetMix: Enhancing Audio-Language Datasets with LLM-Assisted Augmentations [1.2101820447447276]
  近年,音声言語領域におけるマルチモーダル学習は大きな進歩を遂げている。 しかし、音声学習は、画像言語タスクと比較して、限られたデータや低品質のデータによって困難に直面している。 本手法は,音声クリップを自然言語ラベルと対応する音声信号処理操作で拡張することにより,音声キャプチャペアを体系的に生成する。 このスケーラブルな方法は、テキストおよびオーディオ関連モデルの高品質なトレーニングデータセットであるAudioSetMixを生成する。
  論文  参考訳（メタデータ） (2024-05-17T21:08:58Z)
• Leveraging Timestamp Information for Serialized Joint Streaming Recognition and Translation [51.399695200838586]
  本稿では,マルチ・ツー・ワン・ワン・マン・ワン・ツー・マンの同時生成が可能なストリーミングトランスフォーマー・トランスデューサ(T-T)モデルを提案する。 実験では,1個のデコーダで1対1のジョイント出力を初めて生成し,本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2023-10-23T11:00:27Z)
• Adapting Multi-Lingual ASR Models for Handling Multiple Talkers [63.151811561972515]
  最先端の大規模音声モデル(USM)は、複数のドメインや言語にまたがる適切な自動音声認識(ASR)性能を示す。 マルチストーカーASRに対するUSMの適応手法を提案する。 まず,マルチストーカーASRと発話タイムスタンプ予測を共同で行うシリアライズ出力訓練の強化版を開発する。
  論文  参考訳（メタデータ） (2023-05-30T05:05:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。