論文の概要: DuplexSpeechBench-Document Grounding: Benchmarking Document Grounding and Hallucinations in Voice Agents
- arxiv url: http://arxiv.org/abs/2610.00316v1
- Date: Tue, 29 Sep 2026 01:43:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:23.607183
- Title: DuplexSpeechBench-Document Grounding: Benchmarking Document Grounding and Hallucinations in Voice Agents
- Title（参考訳）: DuplexSpeechBench-Document Grounding: 音声エージェントにおける文書グラウンドと幻覚のベンチマーク
- Abstract要約: 本稿では,音声エージェントにおける文書のグラウンド化を評価するベンチマークであるDSB-Document GroundingBench(DSB-Document Grounding)を紹介する。
ベンチマークには、5つの専門ドメインをカバーする50の文書を逆検証した1,636のQAペアが含まれている。
- 参考スコア（独自算出の注目度）: 79.7243119806208
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Voice agents enable low-latency, natural interaction, yet their ability to faithfully ground responses in external documents remains underexplored. We introduce DuplexSpeechBench-Document Grounding (DSB-DG), a benchmark for evaluating document grounding in voice agents across five professional domains. DSB-DG targets three failure modes: Context Saturation, which measures grounding under increasing document length; Grounding Decay, which measures retention of document facts across multi-turn dialogue; and Proactive Grounding, which evaluates whether context re-injection mitigates conversational drift. The benchmark contains 1,636 adversarially verified QA pairs from 50 documents covering five professional domains, and supports fully automatic evaluation of grounding accuracy, hallucination, and response latency. Across systems spanning cascaded, proprietary full-duplex and real-time, and open-weight speech2speech architectures, we find substantial differences in effective grounding capacity. While cascaded pipeline (ASR-LLM-TTS) achieves the highest grounding accuracy, Gemini-Live and GPT-Realtime closely trail behind. Open-weight systems exhibit distinct failure modes, most notably an abrupt context-capacity collapse and multi-turn grounding decay. More broadly, grounding fidelity degrades with context and conversational load, and failures frequently manifest as unsupported generations rather than abstention. We show that contextual grounding as a key unresolved challenge for reliable full-duplex voice agents.
- Abstract（参考訳）: 音声エージェントは低レイテンシで自然な対話を可能にするが、外部文書に忠実に応答する能力は未解明のままである。
我々は,5つの専門ドメインにわたる音声エージェントの文書基盤評価ベンチマークであるDuplexSpeechBench-Document Grounding (DSB-DG)を紹介する。
DSB-DGは、3つの障害モードをターゲットにしている: コンテキスト飽和(Context Saturation) - 文書の長さの増大を測るグラウンド化(Grounding Decay) - マルチターン対話における文書事実の保持を計測するグラウンド化(Grounding Decay) - コンテキスト再注入が会話のドリフトを緩和するかどうかを評価するプロアクティブグラウンド化(Proactive Grounding)。
ベンチマークには、5つの専門ドメインをカバーする50のドキュメントから1,636の逆検証されたQAペアが含まれており、グラウンド化精度、幻覚、応答遅延の完全な自動評価をサポートする。
ケースド・プロプライエタリ・フル・プレプレックス・リアルタイム・オープン・ウェイトな音声2音声アーキテクチャにまたがるシステムでは,有効接地能力にかなりの差が認められる。
カスケードパイプライン (ASR-LLM-TTS) は、Gemini-Live と GPT-Realtime が後を追っている。
オープンウェイトシステムは、特に突然のコンテキスト・キャパシティ崩壊とマルチターングラウンド崩壊など、異なる障害モードを示す。
より広範に言えば、根拠となる忠実さは文脈と会話の負荷によって劣化し、失敗は棄権ではなく、しばしばサポートされない世代として現れる。
我々は、文脈的接地が、信頼性の高い全二重音声エージェントにとって重要な未解決課題であることを示した。
関連論文リスト
- Evaluating Real-Time Voice Agents: From Component Quality to Grounded Outcomes [0.0]
リアルタイム音声エージェントは、研究プロトタイプから製品展開へと移行してきたが、それらを記述する文献は断片化されている。
本稿では, TRG (Timing-Recovery-ed) について述べる。
論文 参考訳（メタデータ） (2026-09-25T04:22:20Z) - DuplexSpeechBench-IFEval: Evaluating Implicit Instruction Following in Full-Duplex Voice Agents [67.07361089429757]
6つのリアルタイム音声システムを用いて, 実時間床の付着度を測定した。
アーキテクチャに依存したトレードオフを見つけます。
GPT-Realtime, Mini-o Duplex, Fun-Audio-Chatはペルソナ一貫性のあるコンテンツに強く固執する。
論文 参考訳（メタデータ） (2026-09-03T06:28:02Z) - AgenticASR: Refining Speech Recognition in Real-World Scenarios via an Agentic Approach [15.617770133323077]
Agentic Speech Recognition (AgenticASR) は、音声からクリーンテキストのタスクである。
障害を取り除き、自己補正を解決し、書式を正規化する。
AgenticASRは評価システムの中でAASR-Benchスコアが最も高い。
論文 参考訳（メタデータ） (2026-07-30T13:12:25Z) - DRNOISE: Benchmarking Deep Research Agents in Misleading Evidence Environments [51.049999642138]
誤解を招く証拠の下で、回答回復のための100タスクのベンチマークであるDRNOISEを紹介する。
それぞれのタスクは、2つの間接的レコードチェーンが支持する固有の金の答えを持ち、ペアのノイズ条件は競合する答えを直接記述する1つのもっともらしい文書を付加する。
強いクリーンタスク性能を持つエージェント全体で、この単一の介入は66-88ポイントの精度低下を引き起こす。
論文 参考訳（メタデータ） (2026-07-19T15:20:40Z) - Governed Shared Memory for Multi-Agent LLM Systems [1.2178992475191557]
本稿では,フリートメモリの問題を定式化し,基礎的障害モードを4つ同定する。
システムレベルの明示的なプリミティブを定義する。スコープ付き検索,時間的スーパーセッション,プロファイランストラッキング,ポリシが支配するメモリ伝搬である。
これらのプリミティブは、プロダクションマルチテナントメモリサービスであるMemClawで実装され、ArgusFleet経由で評価される。
論文 参考訳（メタデータ） (2026-06-23T13:04:14Z) - MMAE: A Massive Multitask Audio Editing Benchmark [66.74229858407413]
MMAEは汎用的な命令ベースの音声編集のために設計された最初の総合的な評価テストベッドである。
2,000個の高忠実度サンプルを、先駆的なルーリック評価フレームワークと組み合わせて構成する。
評価の結果,既存のシステムは信頼性の高い編集には程遠いことが判明した。
論文 参考訳（メタデータ） (2026-06-05T12:52:41Z) - From Transcripts to AI Agents: Knowledge Extraction, RAG Integration, and Robust Evaluation of Conversational AI Assistants [0.0]
顧客向け産業向けの信頼できる会話AIアシスタントの構築は、ノイズの多い会話データ、断片化された知識、正確なヒューマンハンドオフの必要性により、依然として困難である。
本稿では,履歴書から直接対話型AIアシスタントを構築し,評価するためのエンドツーエンドフレームワークを提案する。
論文 参考訳（メタデータ） (2026-01-26T07:44:47Z) - InteGround: On the Evaluation of Verification and Retrieval Planning in Integrative Grounding [51.80327078402434]
仮説クエリをサポートするために、複数の独立したエビデンスを検索し、検証するという課題である。
まず,LLMは冗長な証拠に対して頑健であるのに対して,情報の不完全な場合,内部知識を合理的に活用する傾向にある。
ノイズ導入による非方向性計画が性能を低下させるのに対して, 前提推論は論理的制約のため, 有望なアプローチとして現れる。
論文 参考訳（メタデータ） (2025-09-20T04:48:24Z) - Deep Speaker Embeddings for Far-Field Speaker Recognition on Short
Utterances [53.063441357826484]
深層話者埋め込みに基づく話者認識システムは,制御条件下での大幅な性能向上を実現している。
制御されていない雑音環境下での短い発話に対する話者検証は、最も困難で要求の高いタスクの1つである。
本稿では,a)環境騒音の有無による遠距離話者検証システムの品質向上,b)短時間発話におけるシステム品質劣化の低減という2つの目標を達成するためのアプローチを提案する。
論文 参考訳（メタデータ） (2020-02-14T13:34:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。