Fugu-MT 論文翻訳(概要): Whisper-Aware LLM: Self-Supervised Uncertainty Learning for Robust Whispered Speech Recognition

論文の概要: Whisper-Aware LLM: Self-Supervised Uncertainty Learning for Robust Whispered Speech Recognition

arxiv url: http://arxiv.org/abs/2608.10836v1
Date: Tue, 11 Aug 2026 12:02:55 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-12 19:14:46.034259
Title: Whisper-Aware LLM: Self-Supervised Uncertainty Learning for Robust Whispered Speech Recognition
Title（参考訳）: Whisper-Aware LLM:ロバストなWhispered Speech Recognitionのための自己教師付き不確かさ学習
Abstract要約: 本稿では,Whisper-Aware LLMについて紹介する。本モデルは,音響信号の物理的欠陥を定量化する学習により,本質的な自己認識を発達させる。このモデルでは、AISHELL6-Whisperに対して17%の相対的なCER削減が達成された。
参考スコア（独自算出の注目度）: 7.1200667451435296
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The signal ambiguity of whispered speech drives ASR systems toward two opposing failure modes: failing to capture whispered speech or hallucinatory transcription of noise. This paper introduces the Whisper-Aware LLM, a framework that teaches an Audio-LLM to perceive and react to this uncertainty. Our model develops an intrinsic self-awareness by learning to quantify the physical deficiencies of acoustic signals through targeted self-supervised tasks. This learned uncertainty is then operationalized via a novel Confidence-Fused Decoding mechanism, which provides both high-level instructions and frame-level attention modulation to the LLM decoder. Our experiments confirm the effectiveness of this approach. The model sets a new state-of-the-art on whispered speech with a 17% relative CER reduction on AISHELL6-Whisper. At the same time, it directly addresses the reliability trade-off, with hallucination rates dropping from over 25% to 4.5%.
Abstract（参考訳）: ささやき音声の信号のあいまいさは、AIRシステムを対立する2つの障害モードへと駆り立てる。本稿では,Audio-LLMにこの不確実性を認識・反応させるフレームワークであるWhisper-Aware LLMを紹介する。本モデルでは,音響信号の物理的欠陥の定量化を目標とした自己教師型タスクにより行うことによって,本質的な自己認識を学習する。この学習された不確実性は、LLMデコーダに高レベル命令とフレームレベルのアテンション変調を提供する新しいConfidence-Fused Decodingメカニズムを介して操作される。我々の実験はこのアプローチの有効性を確認した。このモデルでは、AISHELL6-Whisperに対して17%の相対的なCER削減が達成された。同時に、幻覚率は25%以上から4.5%に低下する。

関連論文リスト

Attention-Guided Reliability Scaling for Contrastive Decoding in Robust Audio-Visual Speech Recognition [50.15288513086986]
コントラストデコーディング (CD) は、元々は大型言語モデル (LLM) ベースの音声視覚音声認識 (AVSR) システムを安定化するために導入された。 AVSR用CDの信頼性を考慮したスケーリングを提案する。
論文参考訳（メタデータ） (2026-08-26T08:25:15Z)
Proactive for Uncertainty: Cause-Aware Error Diagnosis and Interactive Clarification for Spoken Dialogue Systems [40.265250435329456]
本稿では,SDSにおけるロバスト性を根本的に再考する原因認識型エラー回復パラダイムを提案する。従来の信頼度フィルタリングとは異なり、我々は小さな精度に焦点を絞った検出器群を導入している。この微細な診断知能は、LLMがターゲットとするマルチターンの明確化戦略を編成する権限を与える。
論文参考訳（メタデータ） (2026-05-25T03:57:38Z)
Listen Like a Teacher: Mitigating Whisper Hallucinations using Adaptive Layer Attention and Knowledge Distillation [9.486565210140279]
Whisperモデルは、多言語およびゼロショット設定における強力なパフォーマンスのために広く採用されている。ウィスパースタイルのASRシステムにおける幻覚を減らすための以前の研究は、主に誤ったコンテンツをフィルタリングするために、音声前処理や書き起こしの後処理に重点を置いていた。本稿では,まずアダプティブ・レイヤ・アテンション(ALA)を用いてエンコーダのロバスト性を向上し,多目的知識蒸留(KD)フレームワークを用いた幻覚を抑制する2段階アーキテクチャを提案する。
論文参考訳（メタデータ） (2025-11-18T07:52:47Z)
Two Heads Are Better Than One: Audio-Visual Speech Error Correction with Dual Hypotheses [71.34350093068473]
本稿では,音声視覚音声認識(AVSR)における生成誤り訂正(GER)フレームワークの新たなパラダイムを提案する。我々のフレームワークであるDualHypは、独立した自動音声認識(ASR)モデルと視覚音声認識(VSR)モデルから独立したN-best仮説を構成するために、大規模言語モデル(LLM)を強制する。我々のフレームワークは、標準のASRベースラインよりもLRS2ベンチマークで57.7%のエラー率を獲得していますが、シングルストリームのGERアプローチでは10%のゲインしか達成できません。
論文参考訳（メタデータ） (2025-10-15T08:27:16Z)
Confidence-Guided Error Correction for Disordered Speech Recognition [10.275737387265321]
音声認識のための後処理モジュールとしての大規模言語モデル(LLM)について検討する。話者とデータセット間のロバスト性や一般化を改善するために,単語レベルの不確実性推定を直接LLMトレーニングに組み込む信頼性インフォームドプロンプトを提案する。我々はLLaMA 3.1モデルを微調整し、我々のアプローチを転写のみの微調整とポストホック信頼に基づくフィルタリングと比較する。
論文参考訳（メタデータ） (2025-09-29T17:00:38Z)
Audio-Conditioned Diffusion LLMs for ASR and Deliberation Processing [33.36615989947073]
拡散型大言語モデルLLaDAを用いた音声認識(ASR)に関する実験的検討を行った。ランダムマスキング,低信頼マスキング,半自己回帰戦略について検討し,Whisper-LLaDAがベースラインと比較してWERを大幅に低減することを示した。ほとんどの実験的な構成はWhisper-LLaMAベースラインよりも高速な推論を実現するが、認識精度はわずかに低い。
論文参考訳（メタデータ） (2025-09-20T10:48:06Z)
Error Correction by Paying Attention to Both Acoustic and Confidence References for Automatic Speech Recognition [52.624909026294105]
本稿では,非自己回帰型音声誤り訂正法を提案する。信頼モジュールは、N-best ASR仮説の各単語の不確実性を測定する。提案方式は,ASRモデルと比較して誤差率を21%削減する。
論文参考訳（メタデータ） (2024-06-29T17:56:28Z)
LipGER: Visually-Conditioned Generative Error Correction for Robust Automatic Speech Recognition [46.438575751932866]
LipGERはノイズロスASRのための視覚的手がかりを利用するためのフレームワークである。 LipGERは単語誤り率を1.1%-49.2%の範囲で改善することを示す。また、リップモーションキューを備えた仮説転写ペアを備えた大規模データセットであるLipHypをリリースする。
論文参考訳（メタデータ） (2024-06-06T18:17:59Z)
It's Never Too Late: Fusing Acoustic Information into Large Language Models for Automatic Speech Recognition [70.77292069313154]
大規模言語モデル(LLM)は、自動音声認識(ASR)出力の上の生成誤り訂正(GER)に成功することができる。本研究では,不確実性認識ダイナミックフュージョン (UADF) と呼ばれる新しい遅延融合解によって予測された転写を生成する前に,音響情報を注入することにより,そのような制限を克服することを目的とする。
論文参考訳（メタデータ） (2024-02-08T07:21:45Z)
Large Language Models are Efficient Learners of Noise-Robust Speech Recognition [65.95847272465124]
大規模言語モデル(LLM)の最近の進歩は、自動音声認識(ASR)のための生成誤り訂正(GER)を促進している。本研究では,このベンチマークをノイズの多い条件に拡張し,GERのデノナイジングをLLMに教えることができるかを検討する。最新のLLM実験では,単語誤り率を最大53.9%改善し,新たなブレークスルーを実現している。
論文参考訳（メタデータ） (2024-01-19T01:29:27Z)
Improving Noise Robustness of Contrastive Speech Representation Learning with Speech Reconstruction [109.44933866397123]
実環境における音声認識システムの実現には,雑音の堅牢性が不可欠である。雑音認識のための自己教師型フレームワークにより学習したノイズロスト表現を用いる。ラベル付きデータのわずか16%で報告された最高の教師付きアプローチに匹敵するパフォーマンスを実現した。
論文参考訳（メタデータ） (2021-10-28T20:39:02Z)
Wav2vec-Switch: Contrastive Learning from Original-noisy Speech Pairs for Robust Speech Recognition [52.71604809100364]
音声の文脈化表現に雑音のロバスト性をエンコードするwav2vec-Switchを提案する。具体的には、オリジナルノイズの多い音声ペアを同時にwav2vec 2.0ネットワークに供給する。既存のコントラスト学習タスクに加えて、原音声と雑音音声の量子化表現を追加の予測対象に切り替える。
論文参考訳（メタデータ） (2021-10-11T00:08:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。