論文の概要: LaSR: Context-Aware Speech Recognition via Latent Reasoning
- arxiv url: http://arxiv.org/abs/2606.00507v1
- Date: Sat, 30 May 2026 03:44:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:28.496967
- Title: LaSR: Context-Aware Speech Recognition via Latent Reasoning
- Title(参考訳): LaSR:潜在推論による文脈認識
- Abstract要約: 本稿では,文脈認識推論を特徴とする新しい学習パラダイムであるLaSRを提案する。
本研究は,効率的な文脈認識型音声アシスタント構築における潜在推論の可能性を明らかにするものである。
- 参考スコア(独自算出の注目度): 29.32686483648477
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in Speech Large Language Models (Speech LLMs) have significantly enhanced spoken language understanding and reasoning. However, their contextual awareness is limited, struggling to perform speech recognition that effectively reflects the speaker's intent and topical context. In this paper, we propose LaSR (Latent Speech Reasoning), a novel training paradigm featuring a context-aware reasoning trajectory that leverages the latent reasoning process. Instead of generating explicit intermediate tokens, LaSR aligns chain-of-thought (CoT) supervision around the acoustic feature region of the targeted word, and introduces latent reasoning periods for context information grounding and transcriptional transition. Furthermore, to effectively benchmark contextual recognition on specialized vocabulary, we propose Spoken Darwin-Science, a large-scale corpus focusing on academic terminologies. Preliminary experiments on Fun-Audio-Chat demonstrate that LaSR significantly improves terminology recognition without introducing additional latency and consistently outperforms standard supervised fine-tuning baselines. Our findings highlight the potential of latent reasoning in building efficient, context-aware speech assistants.
- Abstract(参考訳): 音声大言語モデル(Speech LLMs)の最近の進歩は、音声言語理解と推論を大幅に強化している。
しかし、その文脈認識は限定的であり、話者の意図や話題の文脈を効果的に反映した音声認識を行うのに苦労している。
本稿では,遅延推論プロセスを活用する文脈認識推論を特徴とする新しい学習パラダイムであるLaSR(Latent Speech Reasoning)を提案する。
明示的な中間トークンを生成する代わりに、LaSRはターゲット単語の音響特徴領域に関するチェーン・オブ・シント(CoT)の監督を調整し、文脈情報の接地と転写遷移のための潜時推論期間を導入する。
さらに,専門用語の文脈認識を効果的にベンチマークするために,学術用語に着目した大規模コーパスであるSpoken Darwin-Scienceを提案する。
Fun-Audio-Chatに関する予備実験では、LaSRは追加のレイテンシを導入することなく用語認識を大幅に改善し、標準教師付き微調整ベースラインを一貫して上回ることを示した。
本研究は,効率的な文脈認識型音声アシスタント構築における潜在推論の可能性を明らかにするものである。
関連論文リスト
- Bridging the Gap: Converting Read Text to Conversational Dialogue [1.3553462938197818]
本稿では,会話文脈を用いた韻律調整法(PACC)を提案する。
PACCは読み上げ音声を様々な現代的な用途で使われる自然な会話音声に変換する。
従来の手法とは異なり,提案手法では音声合成にHiFi-GAN(High-Fidelity Generative Adversarial Networks)を用いる。
論文 参考訳(メタデータ) (2026-05-18T07:53:46Z) - The Silent Thought: Modeling Internal Cognition in Full-Duplex Spoken Dialogue Models via Latent Reasoning [76.96796481909581]
内部認知処理は高品質な応答の定式化に役立っている。
本稿では,音声認識と同時に潜在的思考を行うFLAIRという新しい手法を提案する。
我々のアプローチは音声対話システムとシームレスに一致している。
論文 参考訳(メタデータ) (2026-03-18T15:30:29Z) - VowelPrompt: Hearing Speech Emotions from Text via Vowel-level Prosodic Augmentation [34.905479321921575]
このフレームワークは、解釈可能な、きめ細かい母音レベルの韻律的手がかりで、大きな言語モデルを拡張する。
VowelPromptは、ゼロショット、微調整、クロスドメイン、クロス言語条件下で、最先端の感情認識手法より一貫して優れていることを示す。
論文 参考訳(メタデータ) (2026-02-06T00:09:14Z) - MOSS-Speech: Towards True Speech-to-Speech Models Without Text Guidance [66.74042564585942]
MOSS-Speechは、テキストガイダンスに頼ることなく直接理解し、音声を生成する、真の音声音声合成大言語モデルである。
我々の研究は、表現的かつ効率的なエンドツーエンドの音声対話のための新しいパラダイムを確立する。
論文 参考訳(メタデータ) (2025-10-01T04:32:37Z) - Cross-Modal Knowledge Distillation for Speech Large Language Models [10.840179376551804]
音声機能の導入は,入力がテキストのままであっても,知識や推論を損なう可能性があることを示す。
本稿では,テキスト・トゥ・テキスト・チャンネルと音声・テキスト・チャンネルの両方を活用して,テキスト・ベースの教師モデルから音声LLMへ知識を伝達するクロスモーダルな知識蒸留フレームワークを提案する。
論文 参考訳(メタデータ) (2025-09-18T13:07:53Z) - Mini-Omni-Reasoner: Token-Level Thinking-in-Speaking in Large Speech Models [80.75260664100644]
Mini-Omni-Reasonerは、"Thinking-in-Speaking"という新しい定式化を通じて、音声内での推論を可能にするフレームワークである。
トークンレベルで音声応答トークンとサイレント推論トークンをインターリーブする。
算術的推論では+19.1%、文脈的理解では+6.4%、出力は短く、復号遅延はゼロである。
論文 参考訳(メタデータ) (2025-08-18T15:14:04Z) - SpeechR: A Benchmark for Speech Reasoning in Large Audio-Language Models [60.72029578488467]
SpeechRは、大規模な音声言語モデルにおける音声に対する推論を評価するための統一的なベンチマークである。
事実検索、手続き推論、規範的判断の3つの重要な側面に沿ったモデルを評価する。
11個の最先端のLALMの評価は、高い転写精度が強い推論能力に変換されないことを示している。
論文 参考訳(メタデータ) (2025-08-04T03:28:04Z) - ProsodyLM: Uncovering the Emerging Prosody Processing Capabilities in Speech Language Models [70.56468982313834]
本稿では,韻律学習に適した単純なトークン化方式であるProsodyLMを提案する。
ProsodyLMは事前学習だけで驚くほど多様なプロソディ処理能力を学習できることがわかった。
論文 参考訳(メタデータ) (2025-07-27T00:59:01Z) - Speech-IFEval: Evaluating Instruction-Following and Quantifying Catastrophic Forgetting in Speech-Aware Language Models [49.1574468325115]
本稿では,命令追従能力を評価するための評価フレームワークであるSpeech-IFevalを紹介する。
近年のSLMは,音声認識を大規模言語モデル (LLM) と統合し,音声中心の訓練によるテキスト能力の低下を招いている。
以上の結果から, SLM はテキストベースの LLM よりもはるかに高い性能を示し, 基本命令にも耐え難いことが示唆された。
論文 参考訳(メタデータ) (2025-05-25T08:37:55Z) - Internalizing ASR with Implicit Chain of Thought for Efficient Speech-to-Speech Conversational LLM [3.6950912517562435]
本稿では,ASR の思考を音声 LLM に暗黙的に内部化する手法を提案する。
このアプローチはレイテンシを低減し、モデルの音声に対するネイティブ理解を改善し、より効率的で自然なリアルタイムオーディオインタラクションを実現する。
論文 参考訳(メタデータ) (2024-09-25T20:59:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。