論文の概要: Evaluating Real-Time Voice Agents: From Component Quality to Grounded Outcomes
- arxiv url: http://arxiv.org/abs/2609.30798v1
- Date: Fri, 25 Sep 2026 04:22:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 18:27:51.228834
- Title: Evaluating Real-Time Voice Agents: From Component Quality to Grounded Outcomes
- Title（参考訳）: リアルタイム音声エージェントの評価 : 品質からグラウンドアウトまで
- Abstract要約: リアルタイム音声エージェントは、研究プロトタイプから製品展開へと移行してきたが、それらを記述する文献は断片化されている。
本稿では, TRG (Timing-Recovery-ed) について述べる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Real-time voice agents have moved from research prototypes to production deployments, yet the literature describing them is fragmented across three communities that rarely cite one another: speech foundation modelling, turn-taking psycholinguistics, and agentic evaluation. Architecture papers report latency, turn-taking papers report prediction accuracy, and agentic benchmarks report task success, so no single number describes whether a deployed agent is actually good. We address that gap with three evidence-based claims, each traceable to a corpus of 38 primary sources organised into an application-centric taxonomy of six categories. First, architecture choice is a deployment constraint rather than a settled verdict: a 2026 enterprise tutorial reports that no fully self-hostable end-to-end system yet meets production constraints, while a chunked cascade independently reaches state-of-the-art duplex behaviour, showing duplex behaviour is separable from duplex architecture. Second, evaluation has shifted decisively from component quality toward grounded outcomes, with recent benchmarks verifying backend state rather than trusting what the agent claims to have done. Third, the dyadic assumption in most models and benchmarks is breaking down: multiparty turn-taking and multi-speaker reasoning benchmarks show that deciding when not to speak, and reasoning about who may be told what, are first-class capabilities two-participant framings cannot measure. For each source we state the problem it targets, its mechanism, and its reported evidence, alongside the search strategy, inclusion criteria, and a verification step that caught a misattributed arXiv identifier in circulation. We propose TRG (Timing-Recovery-Grounded), a reporting standard characterising an agent by timing, post-disruption recovery, and state-verified outcome together, with a conditional fourth axis for multiparty deployments.
- Abstract（参考訳）: リアルタイム音声エージェントは、研究のプロトタイプから製品展開へと移行してきたが、それらを記述する文献は、音声基礎モデリング、ターンテイク精神言語学、エージェント評価の3つのコミュニティで断片化されている。
アーキテクチャ論文は遅延を報告し、ターンテイク論文は予測精度を報告し、エージェントベンチマークはタスクの成功を報告している。
3つのエビデンスに基づく主張とのギャップに対処し、それぞれが6つのカテゴリのアプリケーション中心の分類に編成された38のプライマリソースのコーパスにトレースできる。
2026年のエンタープライズチュートリアルでは、完全に自己ホスト可能なエンドツーエンドシステムはまだ本番環境の制約を満たしていないが、チャンクされたカスケードは独立して最先端の二重構造に到達し、二重構造と二重構造は分離可能であることを示している。
第二に、評価はコンポーネントの品質から基礎的な結果へと決定的にシフトしている。最近のベンチマークでは、エージェントが何をしたかではなく、バックエンドの状態を検証する。
マルチパーティのターンテイクとマルチスピーカーの推論ベンチマークは、いつ話すべきでないかを判断し、誰が何を話すべきかを推論することは、2つの参加者のフレーミングが測定できない第一級の能力であることを示している。
各ソースに対して、対象とする問題、そのメカニズム、および報告された証拠を、検索戦略、包含基準、および循環中に不正に分散されたarXiv識別子を捕捉する検証ステップとともに記述する。
マルチパーティ展開のための条件付き第4軸を用いて, タイミング, 破壊後の回復, 状態検証結果によってエージェントを特徴付ける報告標準TRG(Timing-Recovery-Grounded)を提案する。
関連論文リスト
- Noēsis: Deterministic-First Retrieval with Two-Tier Context Hydration for Factuality-Critical Queries on Small Local Models [0.0]
我々は、Noesisアーキテクチャの決定論的第一のクエリプレーンであるNoesisを提示する。
ノイズは生成前にすべての決定論的判断を下す。
報告されたすべての値は、その正確なソースと構築による位置にトレース可能である。
論文 参考訳（メタデータ） (2026-09-07T15:49:16Z) - Deep Academic Survey: Stateful Agentic Closed-Loop Paradigm for Academic Survey Automation [60.151050016855834]
DASは出版指向の学術調査を作成するためのステートフルなエージェント・フレームワークである。
その鍵となる考え方は、再利用可能な紙分析とトピック固有の原稿構築を分離することである。
DASは4つの次元で最高点に達し、総合スコアは4.34であり、最強の競争相手は4.03である。
論文 参考訳（メタデータ） (2026-08-18T17:29:00Z) - HiEviDR-Bench: A Benchmark for Hierarchical Evidence Aggregation in Deep Research [52.87128503345243]
我々は,Deep Researchにおける階層的エビデンス・アグリゲーションを評価するためのベンチマークであるHiEviDR-Benchを紹介する。
HiEviDR-Benchは、エビデンスの選択、クロスソースリンク、アグリゲーションをキャプチャする明示的なエビデンスグラフを持つ各インスタンスを表す。
報告品質,エビデンストレーサビリティ,引用精度,クレーム検証,回答正当性という5次元のトレーサビリティ指向評価フレームワークを開発した。
論文 参考訳（メタデータ） (2026-07-27T23:50:46Z) - Faithful by Construction: Claim-Anchored Attribution for Multi-Document Summarization [1.1168121941015015]
Claim-Anchored Multi-Docment Summarization framework (CAMS)
Claim-Anchored Multi-Docment Summarization framework (CAMS)
論文 参考訳（メタデータ） (2026-06-22T22:39:08Z) - Beyond Static Leaderboards: Predictive Validity for the Evaluation of LLM Agents [19.290397279235084]
本稿では,MPPをベースとした産業エージェントベンチマークにおいて,これまでで最大規模の協調型ディープディーブを集計する。
集約スコアのリーダーボードは,デプロイエージェントの評価を体系的に過小評価している,と我々は主張する。
論文 参考訳（メタデータ） (2026-06-18T02:02:46Z) - RepoMirage: Probing Repository Context Reasoning in Code Agents with Perturbations [51.43574078961796]
本稿では,SWE-Bench Verified上に構築された2段階評価スイートRepoMirageを紹介する。
RepoMirage-Perturbは、リポジトリレベルの摂動を保存する3つのタイプのセマンティクスを適用している。
RepoAnchorは、下流の問題解決からリポジトリの探索を分離する構造第一のプロトタイプワークフローである。
論文 参考訳（メタデータ） (2026-05-25T06:26:43Z) - PRIMA: Operational Patterns for Resilient Multi-Agent Research with Verifiable Identity and Convergent Feedback [0.0]
PRIMAは、複数時間にわたる協調型マルチエージェント研究システムとして運用されている。
主なコントリビューションは、生存可能な障害モードのための3つの運用パターンである。
グラフ同型ケーススタディは、生成されたアーティファクトのアーキテクチャ的クレームを根拠にしている。
論文 参考訳（メタデータ） (2026-05-23T23:27:46Z) - ClawForge: Generating Executable Interactive Benchmarks for Command-Line Agents [59.626170560327274]
textbfClawForgeは、ステートコンフリクト下で実行可能なコマンドラインカテゴリのためのジェネレータベースのベンチマークフレームワークである。
私たちはこのフレームワークをClawForge-Bench(17のシナリオ、6の能力カテゴリ)としてインスタンス化します。
論文 参考訳（メタデータ） (2026-05-13T21:34:08Z) - Knowing When Not to Answer: Evaluating Abstention in Multimodal Reasoning Systems [52.83669998269706]
テキストのみの設定で研究されてきたが、まだマルチモーダルに探索されていない。
現在のベンチマークでは、未解決性を無視するか、現実的な障害モードを見逃す粗末なメソッドに依存している。
MM-AQAは、2つの軸に沿った変換によって解答不能なインスタンスを解答可能なインスタンスから構築するベンチマークである。
論文 参考訳（メタデータ） (2026-04-16T09:23:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。