論文の概要: Merging the Knowledge of LLMs for Automatic Speech Recognition

• arxiv url: http://arxiv.org/abs/2609.15743v1
• Date: Mon, 14 Sep 2026 15:35:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:06.473684
• Title: Merging the Knowledge of LLMs for Automatic Speech Recognition
• Title（参考訳）: 音声認識におけるLLMの知識の融合
• Abstract要約: LM融合法は、LM推論による計算コストを増大させる。 モデルマージによる外部LMの導入を提案する。 LMのマージにより,ターゲット領域におけるASR性能が一貫して向上したことを示す。
• 参考スコア（独自算出の注目度）: 27.69035372273952
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic speech recognition (ASR) systems, trained on paired speech-text data, have been improved by leveraging language models (LMs) trained on text-only data. LM fusion methods such as shallow fusion and density ratio are well-established methods that incorporate external LMs during ASR decoding. However, they incur additional computational costs due to LM inference, which is particularly problematic for recent larger LMs. In this study, we propose incorporating external LMs via model merging. This method integrates the LMs directly into the parameters of an LLM-based ASR model, requiring no additional computational cost at inference. We formulate domain extension and transfer via arithmetic operations on LoRA parameters. Experimental evaluations were conducted for the domain adaptation of LLM-based ASR trained on CSJ and LibriSpeech. We show that our LM merging consistently improved the ASR performance in the target domains, without degrading inference speed or memory footprint.
• Abstract（参考訳）: ペア音声テキストデータに基づいて訓練された自動音声認識(ASR)システムは、テキストのみのデータに基づいて訓練された言語モデル(LM)を活用して改善されている。 浅い核融合や密度比などのLM融合法は、ASR復号時に外部のLMを組み込む方法として確立されている。 しかし、最近の大規模LMでは特に問題となるLM推論による計算コストが増大している。 本研究では,モデルマージによる外部LMの導入を提案する。 この方法は、LMをLSMベースのASRモデルのパラメータに直接統合し、推論に余分な計算コストを必要としない。 ドメイン拡張とLoRAパラメータの演算演算による転送を定式化する。 CSJ と LibriSpeech で訓練した LLM ベースの ASR の領域適応のための実験的検討を行った。 提案手法は,予測速度やメモリフットプリントを低下させることなく,目標領域におけるASR性能を一貫して向上させることを示す。

関連論文リスト

• Listen to the Latents: Self-Correcting Speech Recognition in Large Audio Language Models Through Hidden-State Interactions [120.64235456332916]
  音声認識システムは、その意味的知識を活用するために、大規模言語モデル(LLM)を統合している。 我々は, 暖房適応型LLMベースASRモデルを改良し, 自己の適応型LLMを応用した。 本稿では,2つの観測を動機とした目標補正戦略であるハイブリッド検索を提案する。
  論文  参考訳（メタデータ） (2026-08-31T15:46:48Z)
• LegoSLM: Connecting LLM with Speech Encoder using CTC Posteriors [22.845623101142483]
  音声エンコーダと大言語モデル(LLM)を橋渡しする新しいパラダイムであるLegoSLMを提案する。 好成績なUSMモデルとGemmaモデルを用いて,提案手法がASRおよび音声翻訳タスクにおいて良好な性能を示すことを示す。
  論文  参考訳（メタデータ） (2025-05-16T15:15:19Z)
• Delayed Fusion: Integrating Large Language Models into First-Pass Decoding in End-to-end Speech Recognition [17.376550014426623]
  本稿では,大規模言語モデル(LLM)を用いたエンドツーエンド自動音声認識(E2E-ASR)の効率的な復号化手法を提案する。 復号時に遅延を伴うASR仮説にLLMスコアを適用する「遅延融合」を提案する。 遅延核融合により、浅い核融合やN-best再コーディングに比べてデコード速度と精度が向上することを示した。
  論文  参考訳（メタデータ） (2025-01-16T03:01:50Z)
• Transducer-Llama: Integrating LLMs into Streamable Transducer-based Speech Recognition [26.79555533538622]
  本稿では,大規模言語モデル(LLM)をFactized Transducer(FT)モデルに統合する新しいモデルアーキテクチャであるTransducer-Llamaを提案する。 提案されたストリーミングTransducer-Llamaアプローチは、強いFTベースラインに17%の相対的なWER削減(WERR)、RNN-Tベースラインに32%のWERRを与えた。
  論文  参考訳（メタデータ） (2024-12-21T03:35:49Z)
• Uncertainty-Aware Hybrid Inference with On-Device Small and Remote Large Language Models [49.48313161005423]
  ハイブリッド言語モデル(HLM)アーキテクチャは、モバイル端末で動作する小さな言語モデル(SLM)と、無線ネットワークの基地局(BS)にホストされる大きな言語モデル(LLM)を統合する。 HLMトークン生成プロセスは、投機的推論の原則に従っている: SLMの語彙分布はLSMにアップロードされ、LPMによって再サンプリングされる。 本研究では,不確実性を考慮したHLM (Uncertainty-aware opportunistic HLM) という新しいHLM構造を提案する。
  論文  参考訳（メタデータ） (2024-12-17T09:08:18Z)
• How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
  強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。 大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。 我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-25T20:07:13Z)
• An Embarrassingly Simple Approach for LLM with Strong ASR Capacity [56.30595787061546]
  我々は,音声基礎エンコーダと大規模言語モデル(LLM)を用いて,音声処理の分野で最も重要な課題の1つを解決することに注力する。 最近の研究は、音声エンコーダの出力を時間的に圧縮したり、プロジェクタのモーダルアライメントに対処したり、LLMのパラメータ効率の良い微調整を利用するといった複雑な設計をしている。 そこで本研究では,市販の音声エンコーダLLMと,トレーニング可能な唯一の線形プロジェクタの単純な構成がASRタスクに適しているのに対して,繊細な設計は必要ないことを発見した。
  論文  参考訳（メタデータ） (2024-02-13T23:25:04Z)
• It's Never Too Late: Fusing Acoustic Information into Large Language Models for Automatic Speech Recognition [70.77292069313154]
  大規模言語モデル(LLM)は、自動音声認識(ASR)出力の上の生成誤り訂正(GER)に成功することができる。 本研究では,不確実性認識ダイナミックフュージョン (UADF) と呼ばれる新しい遅延融合解によって予測された転写を生成する前に,音響情報を注入することにより,そのような制限を克服することを目的とする。
  論文  参考訳（メタデータ） (2024-02-08T07:21:45Z)
• Interpreting Learned Feedback Patterns in Large Language Models [31.133685891389774]
  我々は、微調整言語モデルのアクティベーションにおいて暗黙的にフィードバック信号を推定するプローブを訓練する。 これらの推定値を真のフィードバックと比較し、LFPの精度を微調整フィードバックと比較する。 我々は、GPT-4が記述し、LFPに関連するものとして分類する特徴に対して、正のフィードバック入力と相関する神経特徴を比較して、プローブを検証する。
  論文  参考訳（メタデータ） (2023-10-12T09:36:03Z)
• Harnessing the Zero-Shot Power of Instruction-Tuned Large Language Model in End-to-End Speech Recognition [23.172469312225694]
  自動音声認識(ASR)におけるテキスト生成プロセスの指導に,命令調整付き大言語モデル(LLM)を用いることを提案する。 提案手法はCTCとアテンションアーキテクチャを併用し,LLMはデコーダのフロントエンド特徴抽出器として機能する。 実験結果から,LLM誘導モデルによる単語誤り率の相対的な増加率は,主要なベンチマークで約13%であった。
  論文  参考訳（メタデータ） (2023-09-19T11:10:50Z)
• Prompting Large Language Models for Zero-Shot Domain Adaptation in Speech Recognition [33.07184218085399]
  ドメイン固有のテキストプロンプトのみを用いて、LLaMAを用いた2つのゼロショットASRドメイン適応手法を提案する。 実験により、ドメインのプロンプトが1つしかないと、どちらの手法もドメイン外のTedLium-2とSPGIデータセットのワードエラー率(WER)を効果的に削減できることが示された。
  論文  参考訳（メタデータ） (2023-06-28T08:29:00Z)
• On Language Model Integration for RNN Transducer based Speech Recognition [49.84285563767935]
  共通RNN-Tフレームワークで構成された様々なILM補正に基づくLM積分法について検討する。 ILM補正による性能改善の2つの主な理由を復号化解釈する。 また,ハイブリッド自己回帰変換器の証明を拡張することで,正確なILMトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-13T16:30:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。