論文の概要: Inquesto Score: A reliability Protocol For Voice Agents

• arxiv url: http://arxiv.org/abs/2609.30514v1
• Date: Thu, 24 Sep 2026 20:07:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.131365
• Title: Inquesto Score: A reliability Protocol For Voice Agents
• Title（参考訳）: Inquesto Score: 音声エージェントのための信頼性プロトコル
• Abstract要約: Inquesto Score(IS)は、音声エージェントの信頼性を、固定バージョン評価集団における呼び出しの割合として測定するプロトコルである。 タイミングの失敗、セマンティック、および状態依存の失敗は、シナリオ述語、ツールトレース、ピン留めされたオープンモデル判定を用いて評価される。 Inquesto Score v0.1は、基準音声エージェントシステムの13構成に対して、30のシナリオ、3つの音響条件、4つの話者グループ、306の呼び出しを評価する。
• 参考スコア（独自算出の注目度）: 53.4810159595586
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Voice agents are increasingly deployed in workflows where failed interactions can affect transactions, access, and other consequential outcomes, creating a need for reproducible and interpretable evaluation. We introduce Inquesto Score (IS), a protocol for measuring voice-agent reliability as the percentage of calls in a fixed, versioned evaluation population that achieve the caller's goal without a functional failure or worse. Rather than combining heterogeneous metrics, IS defines explicit failure events and severity levels and evaluates the deployed voice pipeline. Timing failures, including talk-over and delayed responses, are measured directly from audio, while semantic and state-dependent failures are evaluated using scenario predicates, tool traces, and a pinned open-model judge. Diagnostic views of behavior, acoustic robustness, identity handling, and speaker groups accompany the score without being combined into it. Inquesto Score v0.1 evaluates 30 scenarios, three acoustic conditions, four speaker groups, and 306 calls per agent across 13 configurations of a reference voice-agent system. Our evaluation shows that reliable measurement requires evidence beyond transcripts, explicit treatment of deployment conditions, and validation of the evaluators used to determine outcomes. We release the protocol, reference implementation, and evaluation records.
• Abstract（参考訳）: ボイスエージェントは、フェールしたインタラクションがトランザクション、アクセス、その他の関連する結果に影響を与えるワークフローにますますデプロイされ、再現可能で解釈可能な評価の必要性が生じる。 Inquesto Score (IS) は, 音声エージェントの信頼性を, 機能的障害や機能的障害を伴わずに, 発信者の目標を達成できる定型評価集団の呼び出しの割合として測定するプロトコルである。 異種メトリクスを組み合わせるのではなく、ISは明示的な障害イベントと重大度レベルを定義し、デプロイされた音声パイプラインを評価する。 会話オーバーや遅延応答を含むタイミング障害は音声から直接測定され、セマンティックと状態依存の障害はシナリオ述語、ツールトレース、ピン留めされたオープンモデル判定を用いて評価される。 行動、音響的ロバスト性、アイデンティティハンドリング、および話者群の診断的視点は、それらと組み合わせることなく、スコアに付随する。 Inquesto Score v0.1は、基準音声エージェントシステムの13構成に対して、30のシナリオ、3つの音響条件、4つの話者グループ、306の呼び出しを評価する。 本評価は, 信頼性測定には, 書面以上の証拠, 展開条件の明示的処理, 結果決定に使用する評価器の検証が必要であることを示す。 プロトコル、参照実装、評価記録をリリースする。

関連論文リスト

• Benchmarking LLM Judges for Voice-Agent Evaluation: Reliability, Calibration, and Human Oversight [1.8147290789002162]
  GPT-4.1 と GPT-5 を会話の質と安全性の面で比較した。 自動でどの属性を確実に判断できるかを特定するために,計量レベルの相関,評価器の整合性,体系的な人間-LLMの不一致について検討する。
  論文  参考訳（メタデータ） (2026-08-25T09:44:36Z)
• Hear2Act: Benchmarking When Prosody Should Change What an Assistant Does [27.909684871924004]
  本稿では,テキストと音声アシスタントの統一評価プロトコルであるHear2Actを紹介する。 我々は、転写、音声、および関心状態アクセスに基づく意思決定を評価する。 語彙的証拠が不十分な場合には韻律が重要であることを示す。
  論文  参考訳（メタデータ） (2026-08-20T00:16:36Z)
• Toward User-Conditioned Evaluation of Personal LLM Agents under Temporal Interventions [8.322624411492983]
  既存のエージェントベンチマークは、固定API下でのテスト実行、メモリベンチマークは、リコールまたはリコール、セーフティベンチマークは、静的ポリシーコンプライアンスをテストする。 我々は、パーソナライズ・エージェントの評価には異なるプロトコルが必要であると論じる。 我々は,この要件を,明示的な時間的介入,介入全体にわたる永続状態,二次元的効果の誘発,ユーザ条件の変動の4つの条件として定式化する。
  論文  参考訳（メタデータ） (2026-07-20T23:14:36Z)
• SAAG: Structured Agent Assessment and Grounding [13.62148061055744]
  本稿では,エージェント呼び出し評価を3段階に分解するケースケード診断フレームワークを提案する。 このフレームワークは,5,10,15エージェントのレジストリサイズにまたがって,Glaiveの関数呼び出しデータセットから得られたベンチマークで評価する。
  論文  参考訳（メタデータ） (2026-04-30T19:33:58Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• $C^2$AV-TSE: Context and Confidence-aware Audio Visual Target Speaker Extraction [80.57232374640911]
  我々はMask-And-Recover (MAR)と呼ばれるモデルに依存しない戦略を提案する。 MARは、モダリティ間およびモダリティ間コンテキスト相関を統合し、抽出モジュール内の大域的推論を可能にする。 各サンプルの難易度を向上するために, 精細信頼スコア(FCS)モデルを導入する。
  論文  参考訳（メタデータ） (2025-04-01T13:01:30Z)
• Revisiting the Gold Standard: Grounding Summarization Evaluation with Robust Human Evaluation [136.16507050034755]
  要約のための既存の人間の評価研究は、アノテータ間の合意が低かったり、スケールが不十分だったりしている。 細粒度セマンティック・ユニットをベースとした改良された要約サリエンス・プロトコルであるAtomic Content Units (ACUs)を提案する。 ロバスト・サムライゼーション・アセスメント(RoSE)ベンチマークは,28の上位性能システム上で22,000の要約レベルのアノテーションからなる大規模な人的評価データセットである。
  論文  参考訳（メタデータ） (2022-12-15T17:26:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。