論文の概要: Relative Time Intervals Representation for Word-level Timestamping with Masked Training

• arxiv url: http://arxiv.org/abs/2608.24041v1
• Date: Tue, 25 Aug 2026 03:59:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:34.807699
• Title: Relative Time Intervals Representation for Word-level Timestamping with Masked Training
• Title（参考訳）: マスク訓練による単語レベルのタイムスタンプの相対時間間隔表現
• Abstract要約: 音声大言語モデル(SpeechLLMs)は、音声理解と生成において優れており、その微細で時間的に整列した出力の能力はいまだに未熟である。 従来の絶対タイムスタンプを相対的なタイムスタンプに置き換え、よりコンパクトな語彙とより強力な一般化能力を実現する。 提案手法は,強い音声書き起こし性能を維持しつつ,タイムスタンプ予測精度を大幅に向上させる。
• 参考スコア（独自算出の注目度）: 21.238122108925975
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although Speech Large Language Models (SpeechLLMs) excel at speech understanding and generation, their capacity for fine-grained, temporally aligned outputs remains underexplored. Our work addresses this gap by enabling SpeechLLMs to jointly model speech content and temporal structure, effectively transforming them from ``content understanding machines" into ``temporal-aware content understanding machines". Specifically, we replace traditional absolute timestamps with relative timestamps, achieving a more compact vocabulary and stronger generalization capabilities. To efficiently infuse timestamp prediction ability into pre-trained large language models, we introduce a hybrid fine-tuning strategy: full-parameter fine-tuning of the timestamp-augmented embedding layer and language model head, combined with LoRA fine-tuning of the decoder layers. Moreover, we design a masked timestamp training objective, preventing the model from over-relying on ground-truth timestamps, and thereby enhancing robustness against noisy real-world annotations. Extensive experiments demonstrate that our approach achieves significant improvements in timestamp prediction accuracy while maintaining strong speech transcription performance.
• Abstract（参考訳）: 音声大言語モデル(SpeechLLMs)は音声の理解と生成において優れるが、その微細で時間的に整列した出力の能力はいまだ探索されていない。 我々の研究は,音声コンテンツと時間構造を協調的にモデル化し,それらを「コンテンツ理解機械」から「時間認識型コンテンツ理解機械」に効果的に変換することで,このギャップに対処する。 具体的には、従来の絶対タイムスタンプを相対的なタイムスタンプに置き換え、よりコンパクトな語彙とより強力な一般化能力を達成する。 学習済みの大規模言語モデルにタイムスタンプ予測能力を効率よく注入するために,時間スタンプ拡張埋め込み層と言語モデルヘッドのフルパラメータ微調整と,復号器層のLoRA微調整を併用したハイブリッド微調整戦略を導入する。 さらに,マスク付きタイムスタンプ学習目標を設計し,地上のタイムスタンプ上でのモデルオーバーリライディングを防止し,ノイズの多い実世界のアノテーションに対するロバスト性を向上する。 提案手法は,強い音声書き起こし性能を維持しつつ,タイムスタンプ予測精度を大幅に向上することを示す。

関連論文リスト

• In-Sync: Adaptation of Speech Aware Large Language Models for ASR with Word Level Timestamp Predictions [51.236148875603185]
  我々は既存の音声認識言語モデルを拡張して、文字起こしと直接タイムスタンプを予測する。 認識品質を維持しつつアライメントの堅牢性を向上する,新しい軽量なトレーニング戦略を導入する。
  論文  参考訳（メタデータ） (2026-04-14T20:56:24Z)
• Frame-Level Internal Tool Use for Temporal Grounding in Audio LMs [48.50855715191533]
  大規模な音声言語モデルは、複雑な音声理解タスクにますます使われている。 彼らは、単語アライメントや話者ダイアリゼーションのような正確な時間的根拠を必要とする時間的タスクに苦労する。 本稿では,フレームレベルの内部ツール使用法を提案する。これは,内部の音声表現を用いて時間的グラウンドを直接行うように音声LMを訓練する手法である。
  論文  参考訳（メタデータ） (2026-02-10T19:19:52Z)
• Harnessing Synthetic Preference Data for Enhancing Temporal Understanding of Video-LLMs [54.502280390499756]
  我々はTimeWarpを提案し、モデルからの応答を微調整し、与えられた入力ビデオにフォーカスするよう促すために、ターゲットとなる合成時間データセットを作成する。 提案手法を既存モデルに適用すると,時間的理解ベンチマークの性能が大幅に向上することが実証された。
  論文  参考訳（メタデータ） (2025-10-04T21:48:40Z)
• Word Level Timestamp Generation for Automatic Speech Recognition and Translation [28.176210372699618]
  カナリアモデルにおいて,単語レベルのタイムスタンプ予測を可能にするためのデータ駆動型手法を提案する。 提案手法は,4言語で20～120msのタイムスタンプ予測誤差を用いて,80%から90%の精度とリコール率を示す。
  論文  参考訳（メタデータ） (2025-05-21T15:24:29Z)
• VideoExpert: Augmented LLM for Temporal-Sensitive Video Understanding [48.745013691038295]
  VideoExpertは、複数の時間に敏感なビデオタスクに適した汎用MLLMである。 時間の専門家は、時系列をモデル化し、時間的接地を行う責任を負う。 空間専門家は、コンテンツの詳細分析と以下の指示に焦点を当てている。 コンテンツ生成から時間的グラウンドをオフロードすることで、VideoExpertはタイムスタンプ予測におけるテキストパターンのバイアスを防ぐ。
  論文  参考訳（メタデータ） (2025-04-10T07:33:39Z)
• CrisperWhisper: Accurate Timestamps on Verbatim Speech Transcriptions [0.5120567378386615]
  より冗長な音声の書き起こしを生成するために、モデルを微調整する。 複数の話者に対する頑健さと背景雑音を高めるために,我々はいくつかの手法を採用している。
  論文  参考訳（メタデータ） (2024-08-29T14:52:42Z)
• Handling Numeric Expressions in Automatic Speech Recognition [56.972851337263755]
  数値表現の認識と形式化のためのケースドとエンド・ツー・エンドのアプローチを比較した。 その結果,適応型エンドツーエンドモデルでは,低レイテンシと推論コストの利点を生かして,競争性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-07-18T09:46:19Z)
• Improving Isochronous Machine Translation with Target Factors and Auxiliary Counters [71.02335065794384]
  本稿では,目標言語音素列と連続した継続時間を予測するために,変圧器モデルに目標因子を導入する。 また,本モデルでは,従来よりも翻訳品質と等時性の向上が図られている。
  論文  参考訳（メタデータ） (2023-05-22T16:36:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。