論文の概要: Interactive ASR: Towards Human-Like Interaction and Semantic Coherence Evaluation for Agentic Speech Recognition
- arxiv url: http://arxiv.org/abs/2604.09121v2
- Date: Mon, 13 Apr 2026 06:24:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-14 14:47:45.891544
- Title: Interactive ASR: Towards Human-Like Interaction and Semantic Coherence Evaluation for Agentic Speech Recognition
- Title（参考訳）: 対話型ASR:エージェント音声認識のためのヒューマンライクなインタラクションとセマンティックコヒーレンス評価を目指して
- Authors: Peng Wang, Yanqiao Zhu, Zixuan Jiang, Qinyuan Chen, Xingjian Zhao, Xipeng Qiu, Wupeng Wang, Zhifu Gao, Xiangang Li, Kai Yu, Xie Chen,
- Abstract要約: トークンレベルの精度を超えた認識品質を評価するための意味認識評価指標を提案する。
我々は,人間のようなマルチターンインタラクションをシミュレートするエージェント・フレームワークを設計し,認識出力の反復的改善を可能にする。
対話型およびエージェント型ASRにおける今後の研究を促進するためのコードをリリースする。
- 参考スコア（独自算出の注目度）: 52.63676763985825
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent years have witnessed remarkable progress in automatic speech recognition (ASR), driven by advances in model architectures and large-scale training data. However, two important aspects remain underexplored. First, Word Error Rate (WER), the dominant evaluation metric for decades, treats all words equally and often fails to reflect the semantic correctness of an utterance at the sentence level. Second, interactive correction-an essential component of human communication-has rarely been systematically studied in ASR research. In this paper, we integrate these two perspectives under an agentic framework for interactive ASR. We propose leveraging LLM-as-a-Judge as a semantic-aware evaluation metric to assess recognition quality beyond token-level accuracy. Furthermore, we design an LLM-driven agent framework to simulate human-like multi-turn interaction, enabling iterative refinement of recognition outputs through semantic feedback. Extensive experiments are conducted on standard benchmarks, including GigaSpeech (English), WenetSpeech (Chinese), the ASRU 2019 code-switching test set. Both objective and subjective evaluations demonstrate the effectiveness of the proposed framework in improving semantic fidelity and interactive correction capability. We will release the code to facilitate future research in interactive and agentic ASR.
- Abstract（参考訳）: 近年,モデルアーキテクチャの進歩と大規模学習データによる自動音声認識(ASR)の進歩が目覚ましい。
しかし、2つの重要な側面は未解明のままである。
単語誤り率 (Word Error Rate, WER) は、何十年にもわたって支配的な評価基準であり、全ての単語を等しく扱い、しばしば文レベルでの発話の意味的正しさを反映しない。
第2に、対話的修正は人間のコミュニケーションの重要な要素であり、ASR研究において体系的に研究されることはめったにない。
本稿では,これら2つの視点を対話型ASRのためのエージェントフレームワークに統合する。
本稿では,LLM-as-a-Judgeを意味認識評価指標として活用し,トークンレベルの精度を超えて認識品質を評価することを提案する。
さらに,人間のようなマルチターンインタラクションをシミュレートするLLM駆動エージェントフレームワークを設計し,セマンティックフィードバックによる認識出力の反復的改善を実現する。
GigaSpeech(英語)、WenetSpeech(中国語)、ASRU 2019コードスイッチングテストセットなど、一般的なベンチマークで大規模な実験が行われている。
主観的評価と主観的評価は、意味的忠実度と対話的補正能力を改善する上で、提案フレームワークの有効性を示す。
対話型およびエージェント型ASRにおける今後の研究を促進するためのコードをリリースする。
関連論文リスト
- Optimizing Conversational Quality in Spoken Dialogue Systems with Reinforcement Learning from AI Feedback [82.70507055599093]
本稿では,マルチターン・チェーン・オブ・ソートモデルとブロックワイド・デュプレックスモデルの両方において,SDSの品質向上のための選好学習に関する最初の体系的研究を行う。
実験により, 単一回帰RLAIFは目標距離を選択的に改善し, 連立多重回帰学習は意味的品質と音声の自然性において一貫した利得が得られることが示された。
論文 参考訳（メタデータ） (2026-01-27T00:55:14Z) - AQAScore: Evaluating Semantic Alignment in Text-to-Audio Generation via Audio Question Answering [97.52852990265136]
音声対応大規模言語モデルの推論機能を活用するバックボーン非依存評価フレームワークであるAQAScoreを紹介する。
AQAScoreは人格関連性、ペア比較、構成推論タスクを含む複数のベンチマークで評価する。
論文 参考訳（メタデータ） (2026-01-21T07:35:36Z) - Thinking Forward and Backward: Multi-Objective Reinforcement Learning for Retrieval-Augmented Reasoning [137.33138614095435]
Retrieval-augmented Generation (RAG) は、大規模言語モデルにおける幻覚の緩和に有効であることが証明されている。
近年、検索に基づく対話をRAGに組み込んで、リアルタイム検索による反復推論を可能にしている。
提案するBi-RARは,各中間ステップを前方方向と後方方向の両方で共同で評価する,新たな検索拡張推論フレームワークである。
論文 参考訳（メタデータ） (2025-11-12T08:29:39Z) - Speech-DRAME: A Framework for Human-Aligned Benchmarks in Speech Role-Play [68.54773980519457]
Speech-DRAMEは3つのレベルで貢献する統合フレームワークである。
音声ロールプレイを評価するための、最初の包括的で再現可能な基盤を提供する。
論文 参考訳（メタデータ） (2025-11-03T06:12:40Z) - Conversational Intent-Driven GraphRAG: Enhancing Multi-Turn Dialogue Systems through Adaptive Dual-Retrieval of Flow Patterns and Context Semantics [8.532295745134459]
CID-GraphRAG (対話型インテント駆動グラフ検索生成)
本稿では,マルチターン顧客サービス会話におけるコンテキストコヒーレンスと目標指向の進展を維持する上で,既存の対話システムの限界に対処する新しいフレームワークを提案する。
CID-GraphRAGは、ゴール達成された過去の対話から動的意図遷移グラフを構築し、インテントベースのグラフとセマンティックサーチを適応的にバランスさせる二重検索機構を実装している。
論文 参考訳（メタデータ） (2025-06-24T07:20:45Z) - Automated Speaking Assessment of Conversation Tests with Novel Graph-based Modeling on Spoken Response Coherence [11.217656140423207]
ASACは、1つ以上の候補者と対話する環境でL2話者の全体的な発話能力を評価することを目的としている。
本稿では,広い応答間相互作用とニュアンス付き意味情報の両方を適切に組み込んだ階層グラフモデルを提案する。
NICT-JLEベンチマークデータセットの大規模な実験結果から,提案手法が予測精度を大幅に向上する可能性が示唆された。
論文 参考訳（メタデータ） (2024-09-11T07:24:07Z) - Improved Contextual Recognition In Automatic Speech Recognition Systems
By Semantic Lattice Rescoring [4.819085609772069]
本稿では,意味的格子処理によるASRシステム内における文脈認識の高度化のための新しい手法を提案する。
提案手法は,隠れマルコフモデルとガウス混合モデル(HMM-GMM)とディープニューラルネットワーク(DNN)モデルを用いて,精度を向上する。
本稿では,実験分析によるLibriSpeechデータセット上でのフレームワークの有効性を示す。
論文 参考訳（メタデータ） (2023-10-14T23:16:05Z) - DialogueCSE: Dialogue-based Contrastive Learning of Sentence Embeddings [33.89889949577356]
本稿では,対話型コントラスト学習手法であるDialogueCSEを提案する。
我々は,Microsoft Dialogue Corpus,Jing Dong Dialogue Corpus,E-Commerce Dialogue Corpusの3つの多ターン対話データセットについて評価を行った。
論文 参考訳（メタデータ） (2021-09-26T13:25:41Z) - Joint Contextual Modeling for ASR Correction and Language Understanding [60.230013453699975]
言語理解(LU)と協調してASR出力の文脈的言語補正を行うマルチタスクニューラルアプローチを提案する。
そこで本研究では,市販のASRおよびLUシステムの誤差率を,少量のドメイン内データを用いてトレーニングしたジョイントモデルと比較して14%削減できることを示した。
論文 参考訳（メタデータ） (2020-01-28T22:09:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。