論文の概要: VAmoS Part Deux: Harder, More Realistic Voice-Agent Simulation
- arxiv url: http://arxiv.org/abs/2609.38512v1
- Date: Tue, 29 Sep 2026 20:33:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:26.718783
- Title: VAmoS Part Deux: Harder, More Realistic Voice-Agent Simulation
- Title(参考訳): VAmoS Part Deux:よりハードでリアルな音声エージェントシミュレーション
- Abstract要約: VAmoS Energyは、これらの課題を100件のコールで組み合わせたベンチマークだ。
エージェントには16のツールがあり、ステートフルなStripe請求双子とApache Fineractローンエンジンによって支えられている。
この仕事は、ペンシルバニア州の住宅料金規則に基づく公共の家庭電気データと政策を使用する。
- 参考スコア(独自算出の注目度): 8.26112859764927
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Voice agents in production must handle several requests, background speech, and customers who lose patience. We introduce VAmoS Energy, a benchmark that combines these challenges in 100 calls about utility billing and payment assistance. Each caller makes two to four requests. The agent has sixteen tools backed by a stateful Stripe billing twin and the Apache Fineract loan engine, with account access blocked until caller verification succeeds. The tasks use public household electricity data and a policy based on Pennsylvania's residential billing rules. An LLM-as-a-verifier checks the agent's actions and spoken figures against explicit requirements. On a calibration run, it agrees with a code verifier on 99.1% of checks. Across fourteen voice stacks and three repeats per task, completion ranges from 17.3% to 44.7%. Grok Voice leads, and Gemini 3.8 Live and GPT-Live follow at about the same cost per call. Background television reduces pooled completion from 38.7% to 8.6%. The simulated caller often accepts an incorrect result because it hears the agent's words but cannot inspect its actions. These findings show why voice agents need evaluation across the whole call, including what they say, what they change, and how they handle competing speech.
- Abstract(参考訳): 運用中の音声エージェントは、いくつかのリクエスト、バックグラウンドスピーチ、忍耐を失う顧客を処理しなければなりません。
VAmoS Energyは、ユーティリティ課金と支払い支援に関する100のコールでこれらの課題を組み合わせたベンチマークである。
各呼び出し側は2~4回要求する。
エージェントにはステートフルなStripe請求双子とApache Fineractローンエンジンによってバックアップされた16のツールがあり、呼び出し者の検証が成功するまでアカウントアクセスをブロックしている。
この仕事は、ペンシルバニア州の住宅料金規則に基づく公共の家庭電気データと政策を使用する。
LLM-as-a-verifierは、明示的な要求に対してエージェントの動作と音声の数字をチェックする。
キャリブレーション実行では、99.1%のチェックでコード検証に同意する。
14の音声スタックと3の繰り返しがあり、完成率は17.3%から44.7%である。
Grok Voiceがリードし、Gemini 3.8 LiveとGPT-Liveが1回の呼び出しでほぼ同じコストで続く。
バックグラウンドテレビはプールの完成率を38.7%から8.6%に下げる。
シミュレーションされた発信者は、エージェントの言葉を聴くが、その動作を検査できないため、しばしば誤った結果を受け入れる。
これらの知見は、音声エージェントが通話全体にわたって評価を必要とする理由を示しており、その内容、変化内容、競合する音声の扱い方などが含まれる。
関連論文リスト
- APEX-Voice: Can Voice Agents Complete Professional Workflows Through Full-Duplex Interaction [67.07361089429757]
本稿では,形式完成,コーポレート・ネゴシエーション・コーポレート・コーポレート・コーポレート・コーポレート,インタビューなど10作品にわたる120の対話型プロフェッショナルアーチタイプのAPEXVoiceベンチマークを紹介する。
各ワークフローは、タスク固有の知識型ツール、ゴールドアノテートされた最終作業成果物承認の制約、検証済みの事前コンパイルされた音声実現を背景としたユーザシミュレーションポリシを備えたステートフル音声環境である。
論文 参考訳(メタデータ) (2026-09-28T11:53:07Z) - Reward Hacking Challenges Oversight of Autonomous Research Agents [104.38175629103235]
自律的な研究エージェントは実験を設計し、結果を評価し、レポートを書き、科学的結果とそれを支持する証拠の両方を制御できる。
これは、意図した目標を達成することなく、報酬基準を満たす、報酬ハックのリスクを生み出す。
そこで本研究では,ハッキングが許可された場合,その方法がいかに効果的かつ検出可能か,LCMレビューパネルが意思決定と理由を返却した場合にどのように適応するか,などについて検討する。
論文 参考訳(メタデータ) (2026-09-23T17:54:01Z) - Making Agents More Consistent: Skills Should Form Habits for Repeat Tasks [0.0]
私たちはそれぞれ42のタスクを3回実行し、モデルによっては38%から74%の回答が一致しないことがわかった。
スキルの習慣形成を提案する。
4つの理由付けアームのうち3つは42質問の11~13回、42質問の4回目は42の4回目、習慣形成型は456通の発送で再現され、置換されたすべての腕に非劣性であった。
論文 参考訳(メタデータ) (2026-09-21T18:43:49Z) - When Should a VLM Look? Paying Only for Visual Calls That Were Needed and Used [19.579089070513827]
作物を収穫し、ズームする視覚エージェントは、ツールコールを成功させる報酬で訓練される。
私たちのコールドスタートチェックポイントでは、ビジュアルコールの10%から12%しか必要とせず、使われませんでした。
CounterCreditは、実現したプリコール状態にあるすべてのイメージリターンコールについて、両方の質問を行う。
論文 参考訳(メタデータ) (2026-09-19T09:34:22Z) - A Governance-Aware Large Language Model Orchestrated Agentic Digital Twin for Transmission System Operator Control Room Decision Support [0.0]
本稿では,トランスミッショングリッド制御のためのガバナンス対応ディジタルツインを提案する。
大きな言語モデルはホワイトリストの分析ツールを選択・パラメータ化するのみである。
提案されたすべてのアクションは、モデルをバイパスできないガバナンス層を通過します。
論文 参考訳(メタデータ) (2026-09-18T18:35:57Z) - $τ$-Elicitation: Benchmarking multi-turn entity extraction in voice agents [1.379154874465125]
10のエンティティタイプ、制御難易度、呼び出しリアリズム、および3つの環境にまたがる200タスク音声ベンチマークを導入する。
一致したテキストエージェントがすべてのタスクをパスするが、4つの音声構成は0.14から0.41までの堅牢な正確な成功を達成する。
綴り、読み返し、修正、確認を処方する足場は、1コールあたり21秒から28秒のコストで、3ドル強のパスを14から31ポイント引き上げる。
論文 参考訳(メタデータ) (2026-09-11T23:18:41Z) - VAmoS Bench: Voice Agent Simulation Bench [8.26112859764927]
VAmoS Benchは、ステートフルなカスタマーサポートタスクにおいて、完全な音声エージェントシステムをエンドツーエンドで測定する。
それぞれのシナリオは、プライベートな目標とシードされたバックエンドを備えたシミュレートされた呼び出し元を提供する。
プラットフォームは、各シナリオを使用して、通話者が音声を介してライリーに到達する独立したシミュレーションを起動する。
論文 参考訳(メタデータ) (2026-07-29T20:42:38Z) - Voice Memory for Agentic Speech Recognition [66.69623133635868]
エージェント音声認識のための推論専用スキームであるVoice Memoryを提案する。
同期的に、スコア付き例は、境界編集を通じてそのファイルを更新する。
10のHyPoradiseドメインにオープン修正器、Voice Memory、重み付き単語エラー率8.36%から7.52%の10のドメインがある。
論文 参考訳(メタデータ) (2026-07-29T02:42:56Z) - Zero2Skill: Bootstrapping Robot Skills through Autonomous Data Collection, Training, and Deployment [53.913175773174636]
既存のパイプラインは、自己リセット、VLM検証、言語指導による修正を通じて、人間の労力を減らす。
Zero2Skill(ゼロ2スキル)は、人ロボットの共生型エージェントシステムで、丸ごとの修正を維持・再利用する。
論文 参考訳(メタデータ) (2026-07-15T17:16:24Z) - Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。
モデル、足場、ベンチマークにまたがる3次元解析を行う。
私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
論文 参考訳(メタデータ) (2025-10-13T22:22:28Z) - Characterizing Robocalls with Multiple Vantage Points [50.423738777985314]
苦情や通話量はまだ高いものの、無言通話は緩やかに減少傾向にある。
ロボコールがSTIR/SHAKENに適応していることがわかりました。
以上の結果から,電話スパムの特徴化と防止に向けた今後の取り組みの最も有望な方向性が浮かび上がっている。
論文 参考訳(メタデータ) (2024-10-22T18:54:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。