論文の概要: VAmoS Bench: Voice Agent Simulation Bench
- arxiv url: http://arxiv.org/abs/2607.27453v1
- Date: Wed, 29 Jul 2026 20:42:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-31 21:37:00.321991
- Title: VAmoS Bench: Voice Agent Simulation Bench
- Title（参考訳）: VAmoS Bench:音声エージェントシミュレーションベンチ
- Abstract要約: VAmoS Benchは、ステートフルなカスタマーサポートタスクにおいて、完全な音声エージェントシステムをエンドツーエンドで測定する。
それぞれのシナリオは、プライベートな目標とシードされたバックエンドを備えたシミュレートされた呼び出し元を提供する。
プラットフォームは、各シナリオを使用して、通話者が音声を介してライリーに到達する独立したシミュレーションを起動する。
- 参考スコア（独自算出の注目度）: 8.26112859764927
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Production voice agents span cascaded, speech-to-speech, and hybrid architectures. Voice-agent benchmarks typically measure component quality and conversational properties such as word error rate, latency, naturalness, and turn-taking. Fewer measure whether the agent handled a phone call correctly on its own. Contact centers refer to this as ``containment'': the share of phone calls the automated system resolves without handing off to a human. On some phone calls the right outcome is refusal or a redirect. To address this gap, we introduce VAmoS Bench, the Voice Agent Simulation Bench. It measures complete voice-agent systems end to end in a stateful customer-support task. The agent is Riley, a credit-card support representative for a fictional bank who can freeze, cancel, replace, or activate a card. Each of 100 scenarios supplies a simulated caller with a private goal and a seeded PostgreSQL backend. The platform uses each scenario to populate and activate an isolated simulation in which the caller reaches Riley over audio; roughly one-third apply adversarial pressure. The agent can use five tools that execute real SQL against the backend. Each scenario also defines binary assertions. A grader evaluates them against the complete trace of what the caller and agent said and what the agent did, including tool invocations, arguments, and returned rows. This catches an agent that claims to have changed a card without updating the database, as well as one that makes the right database change while disclosing protected information. This first benchmark version focuses on financial services. Its evaluation protocol supports an evolving leaderboard: additional voice agents can be evaluated on the same version, while later versions can expand the tasks and scenarios.
- Abstract（参考訳）: 生産音声エージェントは、カスケード、音声合成、ハイブリッドアーキテクチャにまたがる。
音声エージェントベンチマークは通常、単語エラー率、レイテンシ、自然性、ターンテイキングなどのコンポーネント品質と会話特性を測定する。
エージェントが単独で電話を正しく処理したかどうかを測ることはできない。
連絡先センターは、これを 'Containment' と呼び、電話のシェアは、人間に渡さずに自動システムが解決する。
一部の電話では、正しい結果が拒否またはリダイレクトである。
このギャップに対処するために、VAmoS Bench, the Voice Agent Simulation Benchを紹介する。
ステートフルな顧客支援タスクにおいて、完全な音声エージェントシステムをエンドツーエンドで測定する。
エージェントは、カードを凍結、キャンセル、交換、アクティベートできる架空の銀行のクレジットカード支援代表であるライリーである。
それぞれのシナリオは、プライベートな目標とシードされたPostgreSQLバックエンドを備えたシミュレートされた呼び出し元を提供する。
プラットフォームは各シナリオを使用して、通話者が音声を介してライリーに到達するという、分離されたシミュレーションを起動する。
エージェントはバックエンドに対して実際のSQLを実行する5つのツールを使用することができる。
各シナリオはバイナリアサーションも定義します。
グレーダは、呼び出し元とエージェントが言ったこと、そしてエージェントが何をしたかについて、ツール呼び出し、引数、返却行を含む完全なトレースに対してそれらを評価します。
これは、データベースを更新せずにカードを変更したと主張するエージェントと、保護された情報を開示しながら正しいデータベースを変更するエージェントをキャッチする。
最初のベンチマークバージョンは金融サービスに焦点を当てている。
新たな音声エージェントを同じバージョンで評価できる一方で、後のバージョンではタスクやシナリオを拡張できる。
関連論文リスト
- BekchiAI: Measuring, Observing, and Controlling LLM Agents in One Click [0.0]
本稿では,エージェントスキル測定のためのベンチマークであるBekchiAIと,ライブエージェントの監視と制御のためのプラットフォームについて紹介する。
BekchiAI-Platformは、デプロイされたエージェントのための補完的なWebベースの可観測性とコントロールレイヤであり、完全なトークンとテレメトリとリモート実行終了を提供する。
論文 参考訳（メタデータ） (2026-08-27T09:30:08Z) - SpeechGym: An Audio-Native Gym for Training Voice Agents via Reinforcement Learning [24.07999549415095]
SpeechGymは、2つのOmniモードモデルがネイティブオーディオで会話する、オーディオネイティブなエージェント環境である。
本稿では、2つのOmniモードモデルがネイティブオーディオで会話する音声ネイティブなエージェント環境であるSpeechGymを紹介する。
論文 参考訳（メタデータ） (2026-08-26T22:16:05Z) - Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction [57.138342889101345]
Tencent WorkBuddy Benchは、コーディングエージェントのためのマルチドメイン評価スイートである。
本報告では, 設計手法, スコアリングプロトコル, クロスモデルリーダーボードについて述べる。
論文 参考訳（メタデータ） (2026-07-23T04:34:06Z) - SWE-Together: Evaluating Coding Agents in Interactive User Sessions [19.069719245971786]
実際のユーザエージェントコーディングセッションから再構成したマルチターンベンチマークであるSWE-Togetherを紹介する。
11,260のセッションから109のリポジトリレベルのタスクをキュレートし、リカバリ可能なレポジトリステートでセッションを選択します。
我々は、元のユーザの意図を保存し、コーディングエージェントの進捗が必要な時にフィードバックを提供する、リアクティブLLMベースのユーザシミュレータを構築します。
論文 参考訳（メタデータ） (2026-06-29T08:35:15Z) - Capable but Careless: Do Computer-Use Agents Follow Contextual Integrity? [54.701199583505144]
アプリケーション間アクセスは、ほとんど見落とされたプライバシーリスクを生み出す。
我々はAgentCIBenchを紹介します。これは、このリスクを決定論的に評価されたシナリオに変換する評価ハーネスです。
我々は15のフロンティアエージェントを評価し、驚くほど高い失敗率を見出す。
論文 参考訳（メタデータ） (2026-06-22T11:36:58Z) - PACMS: Submodular Context Selection as a Pluggable Engine for LLM Agents [0.9134244356393664]
LLMエージェントは、複数の方向から同時に満たされるコンテキストウィンドウ上で動作する。
一般的なメカニズムは、時として周期的な要約と組み合わせて、直流の切り離しである。
Retrieval拡張生成は、外部文書をプロンプトにフェッチするが、エージェントの空白表示されたコンテキストを仲裁しない。
論文 参考訳（メタデータ） (2026-06-18T10:22:57Z) - Good Agentic Friends Do Not Just Give Verbal Advice: They Can Update Your Weights [58.27172968382275]
マルチエージェントLLMシステムは、通常自然言語メッセージを交換することで協調する。
送信者のメッセージを受信者のコンテキストに付加する代わりに、送信者の隠された状態を過渡的で受信者固有の重み摂動にコンパイルする。
論文 参考訳（メタデータ） (2026-05-13T17:58:32Z) - ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。
現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。
最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
論文 参考訳（メタデータ） (2026-04-26T16:05:02Z) - AgentForge: Execution-Grounded Multi-Agent LLM Framework for Autonomous Software Engineering [3.2126925586839623]
第一級原理として実行基盤検証を導入する。
我々はこの原理をマルチエージェントフレームワークである AgentFORGE でインスタンス化する。
AgentFORGEtokenはSWE-BENCH Lite上で40.0%の解像度を達成する。
論文 参考訳（メタデータ） (2026-04-13T13:51:13Z) - KnowU-Bench: Towards Interactive, Proactive, and Personalized Mobile Agent Evaluation [72.01173512175531]
KnowU-Benchはパーソナライズされたモバイルエージェントのためのオンラインベンチマークである。
42のGUIタスク、86のパーソナライズされたタスク、64のプロアクティブタスクをカバーしている。
明示的なタスク実行に優れるエージェントは、あいまいな指示の下で50%以下に低下する。
論文 参考訳（メタデータ） (2026-04-09T16:50:50Z) - Cloning a Conversational Voice AI Agent from Call\,Recording Datasets for Telesales [0.0]
通話記録のコーパスから会話音声AIエージェントをクローンする手法を提案する。
我々のシステムは電話で顧客に耳を傾け、合成音声で応答し、トップパフォーマンスの人間エージェントから学んだ構造化されたプレイブックに従う。
本発明のクローン化剤は、導入、製品コミュニケーション、販売ドライブ、異物処理、閉店を含む22の基準で、人為的エージェントに対して評価される。
論文 参考訳（メタデータ） (2025-09-05T07:36:12Z) - Text-Based Detection of On-Hold Scripts in Contact Center Calls [0.6138671548064356]
平均保持時間は、顧客満足度に影響を与えるため、コールセンターにとって懸念事項である。
本研究では,自動音声認識技術により書き起こされたカスタマーサービスコールのオンホールドフレーズを検出する自然言語処理モデルを提案する。
論文 参考訳（メタデータ） (2024-07-13T11:11:41Z) - Towards Socially Intelligent Agents with Mental State Transition and
Human Utility [97.01430011496576]
対話エージェントに精神状態と実用性モデルを取り入れることを提案する。
ハイブリッド精神状態は、対話とイベント観察の両方から情報を抽出する。
ユーティリティモデルは、クラウドソースのソーシャルコモンセンスデータセットから人間の好みを学習するランキングモデルである。
論文 参考訳（メタデータ） (2021-03-12T00:06:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。