論文の概要: Listen to the Latents: Self-Correcting Speech Recognition in Large Audio Language Models Through Hidden-State Interactions

• arxiv url: http://arxiv.org/abs/2609.02940v1
• Date: Mon, 31 Aug 2026 15:46:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-04 18:28:38.79736
• Title: Listen to the Latents: Self-Correcting Speech Recognition in Large Audio Language Models Through Hidden-State Interactions
• Title（参考訳）: 聴取者:隠れ状態相互作用による大規模音声モデルにおける自己補正音声認識
• Abstract要約: 音声認識システムは、その意味的知識を活用するために、大規模言語モデル(LLM)を統合している。 我々は, 暖房適応型LLMベースASRモデルを改良し, 自己の適応型LLMを応用した。 本稿では,2つの観測を動機とした目標補正戦略であるハイブリッド検索を提案する。
• 参考スコア（独自算出の注目度）: 120.64235456332916
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent automatic speech recognition (ASR) systems increasingly integrate large language models (LLMs) to leverage their semantic knowledge, either externally through logit fusion or internally through warm initialization. However, how to effectively combine these two strategies remains underexplored. In this work, we refine warm-initialized LLM-based ASR models by leveraging their own pre-adaptation base LLMs, focusing on LoRA-adapted settings where the base LLM is preserved. To achieve this, we propose Hybrid Search, a targeted correction strategy motivated by two observations. First, interaction features that characterize the relationship between LLM-based ASR hidden states and base-LLM hidden states provide informative signals about a token's degree of semantic dependence. Second, selectively refining targeted tokens with high semantic dependence improves ASR performance far beyond naive global LLM-correction methods including rescoring and late fusion. Our analysis suggests that, even after semantic knowledge transfer through warm initialization, LLM-based ASR models can still leverage their base LLM to further improve inference-time performance.
• Abstract（参考訳）: 最近の自動音声認識 (ASR) システムは、対数融合を通して、あるいは温かい初期化を通じて内部的に、その意味的知識を活用するために、大規模言語モデル (LLM) を統合している。 しかし、これらの2つの戦略を効果的に組み合わせる方法はまだ未定である。 本研究は, 暖かく初期化したLLMベースのASRモデルを, 基地LLMを保存したLoRA適応設定に着目して, 独自の適応ベースLLMを活用して改良するものである。 これを実現するために,2つの観測により動機付けられた目標修正戦略であるHybrid Searchを提案する。 まず、LLMベースのASR隠蔽状態とベースLLM隠蔽状態の関係を特徴づける相互作用特徴は、トークンの意味的依存度に関する情報信号を提供する。 第二に、セマンティック依存度の高いターゲットトークンを選択的に精錬することで、レスコリングやレイトフュージョンを含む大域的LLM補正法をはるかに超越したASR性能が向上する。 我々の分析は, 温かい初期化を通じて意味的知識が伝達されたとしても, LLMベースのASRモデルでは, 基礎となるLLMを利用して推論時間の性能をさらに向上させることができることを示唆している。

関連論文リスト

• Merging the Knowledge of LLMs for Automatic Speech Recognition [27.69035372273952]
  LM融合法は、LM推論による計算コストを増大させる。 モデルマージによる外部LMの導入を提案する。 LMのマージにより,ターゲット領域におけるASR性能が一貫して向上したことを示す。
  論文  参考訳（メタデータ） (2026-09-14T15:35:22Z)
• Rethinking Entropy Allocation in LLM-based ASR: Understanding the Dynamics between Speech Encoders and LLMs [17.167595029948576]
  学習パラダイムが音声エンコーダとLLM間のエントロピー削減をどのように割り当てるかを特徴付けるための3つの指標を提案する。 本稿では,パラメータ効率とロバストネス幻覚を最適化した,能力境界認識に基づく多段階学習戦略を提案する。 マンダリンと英語のベンチマーク実験により,2.3Bパラメータのみを用いた最先端モデルとの競合性能が得られた。
  論文  参考訳（メタデータ） (2026-04-09T09:07:52Z)
• Feedback-Induced Performance Decline in LLM-Based Decision-Making [6.5990946334144756]
  大規模言語モデル(LLM)は、自然言語の問題記述からコンテキストを抽出することができる。 本稿では,マルコフ決定過程(MDP)におけるこれらのモデルの挙動について考察する。
  論文  参考訳（メタデータ） (2025-07-20T10:38:56Z)
• LLMs as Better Recommenders with Natural Language Collaborative Signals: A Self-Assessing Retrieval Approach [22.656330484701375]
  既存のアプローチでは、ソフトトークンや抽象識別子を使用して、コラボレーション情報(CI)を符号化することが多い。 LLMのセマンティックスペースとの整合性を向上するために,CIを直接自然言語で表現することを提案する。 本稿では,自己評価型協調検索フレームワーク(SCORE)を紹介する。
  論文  参考訳（メタデータ） (2025-05-26T03:37:17Z)
• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)
• Improve Temporal Awareness of LLMs for Sequential Recommendation [61.723928508200196]
  大規模言語モデル(LLM)は、幅広い汎用タスクを解く際、印象的なゼロショット能力を示した。 LLMは時間的情報の認識と利用に不足しており、シーケンシャルなデータの理解を必要とするタスクではパフォーマンスが悪い。 LLMに基づくシーケンシャルレコメンデーションのために、歴史的相互作用の中で時間情報を利用する3つのプロンプト戦略を提案する。
  論文  参考訳（メタデータ） (2024-05-05T00:21:26Z)
• Toward Self-Improvement of LLMs via Imagination, Searching, and Criticizing [56.75702900542643]
  大規模言語モデルの自己改善のためのAlphaLLMを紹介する。 モンテカルロ木探索(MCTS)とLLMを統合し、自己改善ループを確立する。 実験の結果,AlphaLLM は付加アノテーションを使わずに LLM の性能を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-04-18T15:21:34Z)
• SELF: Self-Evolution with Language Feedback [68.6673019284853]
  SELF(Self-Evolution with Language Feedback)は、大規模言語モデルを進化させる新しいアプローチである。 LLMは、人間の学習プロセスと同様、自己回帰を通じて自己改善を可能にする。 数学および一般タスクにおける実験により,SELFは人間の介入なしにLLMの能力を高めることができることが示された。
  論文  参考訳（メタデータ） (2023-10-01T00:52:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。