論文の概要: Rethinking Speech-LLM Integration for ASR: Effective Joint Speech-Text Training by Interleaving

• arxiv url: http://arxiv.org/abs/2607.01733v1
• Date: Thu, 02 Jul 2026 05:42:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-03 19:45:08.686549
• Title: Rethinking Speech-LLM Integration for ASR: Effective Joint Speech-Text Training by Interleaving
• Title（参考訳）: ASRのための音声-LLM統合の再考:インターリービングによる効果的な共同音声-テキスト訓練
• Authors: Ruchao Fan, Yiming Wang, Rui Zhao, Liliang Ren, Keqi Deng, Xiaoyang Chen, Ali Zare, Bo Ren, Yuxuan Hu, Junkun Chen, Yan Huang, Yelong Shen, Jinyu Li,
• Abstract要約: 音声-LLM統合は、広範囲なテキスト事前学習を活用することで有望な結果を示しているが、自動音声認識(ASR)の具体的な利点はいまだ不明である。 本稿では,単語レベルとセグメントレベルのインターリーブ付き音声テキストシーケンスを構成するASR指向の事前学習戦略であるJSTIPを提案する。 ASRデータの38k時間の実験では、ASRのみのトレーニングベースラインと共同音声テキストトレーニングベースラインと比較して、一貫したエンティティ精度が向上した。
• 参考スコア（独自算出の注目度）: 54.66679099886108
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Speech-LLM integration has shown promising results by leveraging extensive textual pretraining, yet its specific benefits for automatic speech recognition (ASR) remain unclear. We observe that as supervised ASR training data increases, the contribution of LLM priors becomes less evident, and simple speech-text joint training under-utilizes textual knowledge. We therefore propose Joint Speech-Text Interleaved Pretraining (JSTIP), an ASR-oriented pretraining strategy that constructs word-level and segment-level interleaved speech-text sequences within aligned pairs for speech-LLM architectures that accept continuous inputs. Experiments on 38k hours of ASR data show consistent entity accuracy improvement compared to ASR-only and joint speech-text training baselines. JSTIP achieves on-par entity recognition performance using domain transcription text compared to synthetic speech-text pairs, simplifying domain adaptation. Benefiting from textual pretraining and domain text data, JSTIP is competitive with open-source ASR and Speech-LLM systems in medical entity recognition. The zero-shot speech question answering behaviors further suggest that interleaving reduces the speech-text modality gap and preserves the LLM generative prior, which is likely the reason for the entity improvements on the ASR task.
• Abstract（参考訳）: 音声-LLM統合は、広範囲なテキスト事前学習を活用することで有望な結果を示しているが、自動音声認識(ASR)の具体的な利点はいまだ不明である。 教師付きAIRトレーニングデータが増えるにつれて、LLMの先行的貢献は明らかになりにくくなり、単純な音声・テキスト共同学習がテキスト知識の基盤となっていることが観察された。 そこで我々は,連続的な入力を受け入れる音声-LLMアーキテクチャにおいて,単語レベルとセグメントレベルのインターリーブ付き音声-テキストシーケンスを整列ペア内に構築する,ASR指向の事前学習戦略であるJSTIPを提案する。 ASRデータの38k時間の実験では、ASRのみのトレーニングベースラインと共同音声テキストトレーニングベースラインと比較して、一貫したエンティティ精度が向上した。 JSTIPは、合成音声-テキスト対と比較して、ドメイン書き起こしテキストを用いたオンパーエンティティ認識性能を実現し、ドメイン適応を簡素化する。 JSTIPは、テキスト事前学習とドメインテキストデータから恩恵を受けており、医療機関認識におけるオープンソースのASRやSpeech-LLMシステムと競合する。 ゼロショット音声質問応答行動は、インターリービングが音声テキストのモダリティギャップを減らし、LLM生成前を保っていることを示唆している。

関連論文リスト

• Distilling Conversations: Abstract Compression of Conversational Audio Context for LLM-based ASR [14.082117520000873]
  複数モーダルコンテキストがLLMベースのASRを改善するかどうかを考察する。 マルチターン学習を指導した後、会話のコンテキストは、主に文脈的実体の認識に役立ちます。 本稿では,先行するターンの音声部分を,対応するテキストを明示的に保持しつつ,一定の数の学習潜在トークンに置き換える抽象圧縮を提案する。
  論文  参考訳（メタデータ） (2026-03-27T10:09:30Z)
• SW-ASR: A Context-Aware Hybrid ASR Pipeline for Robust Single Word Speech Recognition [0.8921166277011348]
  単一単語自動音声認識は言語文脈の欠如による課題である。 本稿では,最近のディープラーニング手法を概観し,ロバストな単一単語検出のためのモジュラーフレームワークを提案する。 我々は、Google Speech Commandsデータセットと、電話やメッセージングプラットフォームから収集された実世界のデータセットについて、帯域幅に制限のある条件下で評価する。
  論文  参考訳（メタデータ） (2026-01-28T04:50:04Z)
• MOSS-Speech: Towards True Speech-to-Speech Models Without Text Guidance [66.74042564585942]
  MOSS-Speechは、テキストガイダンスに頼ることなく直接理解し、音声を生成する、真の音声音声合成大言語モデルである。 我々の研究は、表現的かつ効率的なエンドツーエンドの音声対話のための新しいパラダイムを確立する。
  論文  参考訳（メタデータ） (2025-10-01T04:32:37Z)
• Predictive Speech Recognition and End-of-Utterance Detection Towards Spoken Dialog Systems [55.99999020778169]
  本稿では,次の単語を予測し,発話終了まで残される時間を推定する機能について検討する。 我々は,音響情報と言語情報の両方を組み込んだクロスアテンションに基づくアルゴリズムを開発した。 その結果,提案モデルでは,提案する単語を予測し,将来のEOUイベントを実際のEOUより300ミリ秒前まで推定する能力を示した。
  論文  参考訳（メタデータ） (2024-09-30T06:29:58Z)
• Internalizing ASR with Implicit Chain of Thought for Efficient Speech-to-Speech Conversational LLM [3.6950912517562435]
  本稿では,ASR の思考を音声 LLM に暗黙的に内部化する手法を提案する。 このアプローチはレイテンシを低減し、モデルの音声に対するネイティブ理解を改善し、より効率的で自然なリアルタイムオーディオインタラクションを実現する。
  論文  参考訳（メタデータ） (2024-09-25T20:59:12Z)
• Towards ASR Robust Spoken Language Understanding Through In-Context Learning With Word Confusion Networks [68.79880423713597]
  本稿では,トップ仮説のみに頼るのではなく,ASRシステムの格子出力を利用する手法を提案する。 音声質問応答と意図分類を網羅した文脈内学習実験により,LLMの音声書き起こしに対する弾力性について明らかにした。
  論文  参考訳（メタデータ） (2024-01-05T17:58:10Z)
• Boosting Punctuation Restoration with Data Generation and Reinforcement Learning [70.26450819702728]
  触覚回復は自動音声認識(ASR)における重要な課題である テキストの句読点とASRテキストとの相違は、ASRテキストの句読点復元システムのトレーニングにおいて、テキストのユーザビリティを制限している。 本稿では,このギャップを埋めるために,話題内テキストを活用した強化学習手法と大規模事前学習型生成言語モデルの最近の進歩を提案する。
  論文  参考訳（メタデータ） (2023-07-24T17:22:04Z)
• High-Quality Automatic Voice Over with Accurate Alignment: Supervision through Self-Supervised Discrete Speech Units [69.06657692891447]
  本稿では,自己教師付き離散音声単位予測の学習目的を活用した新しいAVO手法を提案する。 実験結果から,提案手法は有意な唇音声同期と高音質を実現することが示された。
  論文  参考訳（メタデータ） (2023-06-29T15:02:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。