論文の概要: Talk2Agent: Benchmarking Voice Interfaces for Text Agents

• arxiv url: http://arxiv.org/abs/2609.38867v1
• Date: Wed, 30 Sep 2026 03:19:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.089452
• Title: Talk2Agent: Benchmarking Voice Interfaces for Text Agents
• Title（参考訳）: Talk2Agent: テキストエージェントのための音声インターフェースのベンチマーク
• Abstract要約: 本研究では,音声インタフェースが人為的な指示をコンピュータ利用エージェントに効果的に伝達する方法を評価するベンチマークであるTalk2Agentを紹介する。 Talk2AgentはWildClawBenchとOSWorldからヒューマンスポークなタスクを開発し、さまざまな音声インターフェースを評価している。
• 参考スコア（独自算出の注目度）: 14.783719614190046
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language model (LLM) computer-use agents are typically evaluated with clean written instructions, despite speech being an increasingly popular interface for interacting with such systems. Speech input introduces an additional failure point: transcription errors can alter task-critical entities, constraints, or targets before the agent begins reasoning, while conventional ASR metrics do not directly measure whether the information required for successful execution has been preserved. We introduce Talk2Agent, a benchmark for evaluating how effectively voice interfaces convey human-spoken instructions to LLM-based computer-use agents. Talk2Agent builds human-spoken versions of tasks from WildClawBench and OSWorld and evaluates a range of voice interfaces, including dedicated ASR models, audio-capable LLMs, contextual biasing, and LLM-based ontology repair. Because repeatedly executing long-horizon computer-use tasks is costly and stochastic, we further propose an execution-free, task-conditioned evaluation framework that projects the original task grader onto prompt-addressable intentions and measures how much task-relevant information is retained after the voice interface. On WildClawBench, Talk2Agent's execution-free native projection provides a practical, execution-grounded measure of voice-interface quality, correlating with downstream task completion and improving Pearson correlation by 0.246 over WER/CER on 32 hours of real human speech.
• Abstract（参考訳）: 大規模言語モデル(LLM)のコンピュータ利用エージェントは、言語がこのようなシステムと対話するのにますます人気になっているにもかかわらず、クリーンな命令で評価されるのが一般的である。 書き起こしエラーは、エージェントが推論を開始する前にタスククリティカルなエンティティ、制約、ターゲットを変更することができるが、従来のASRメトリクスは、成功した実行に必要な情報が保存されているかどうかを直接測定しない。 本研究では,LLMをベースとしたコンピュータ利用エージェントに対して,音声インタフェースが人為的指示を効果的に伝達する方法を評価するベンチマークであるTalk2Agentを紹介する。 Talk2AgentはWildClawBenchとOSWorldからヒューマンスポークなタスクのバージョンを構築し、専用のASRモデル、オーディオ対応のLLM、コンテキストバイアス、LLMベースのオントロジー修復など、さまざまな音声インターフェースを評価している。 長時間のコンピュータ利用タスクの繰り返し実行はコストがかかり確率的であるため,本研究では,タスクグレーダをプロンプト適応可能な意図に投影し,音声インタフェース以降のタスク関連情報の保持量を測定する,実行自由なタスク条件評価フレームワークを提案する。 WildClawBench では、Talk2Agent の実行自由なネイティブプロジェクションは、実際の人間の32時間における WER/CER よりも 0.246 でピアソンの相関性を向上し、下流のタスク完了と相関して、音声インタフェースの品質の実践的、基礎的な尺度を提供する。

関連論文リスト

• SALMONN-duo: Adaptive Dual-System Coordination for Full-Duplex Voice Agents [21.137152704061666]
  現実世界のエージェントはツールを使用し、熟考的推論を行う必要がある。 SALMONN-duoは、二重プロセス認知理論に触発された適応的な二重システム音声である。
  論文  参考訳（メタデータ） (2026-09-28T03:53:05Z)
• CORTIS: Text-Only Adaptation of Spoken Language Models for Task-Oriented Voice Agents [1.681860865621691]
  タスク指向音声エージェントのためのテキストのみ適応フレームワークであるCORTISを提案する。 音声に基づく構造化出力生成を可能にするテキスト形式のタスク管理を用いたCORTISファインチューンSLM その結果, CORTISは整合カスケードと競合し, 音響劣化下ではより明確な優位性を示すことがわかった。
  論文  参考訳（メタデータ） (2026-06-19T14:11:10Z)
• From Transcripts to AI Agents: Knowledge Extraction, RAG Integration, and Robust Evaluation of Conversational AI Assistants [0.0]
  顧客向け産業向けの信頼できる会話AIアシスタントの構築は、ノイズの多い会話データ、断片化された知識、正確なヒューマンハンドオフの必要性により、依然として困難である。 本稿では,履歴書から直接対話型AIアシスタントを構築し,評価するためのエンドツーエンドフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-26T07:44:47Z)
• AsyncVoice Agent: Real-Time Explanation for LLM Planning and Reasoning [27.522862635055077]
  非同期アーキテクチャが会話音声からストリーミングバックエンドを分離するシステムであるAsyncVoice Agentを提案する。 この設計により、ナレーションと推論が並列に実行され、ユーザーはモデルの推論プロセスを中断し、クエリし、管理することができる。 客観的ベンチマークでは、このアプローチはモノリシックなベースラインに比べて600倍以上のレイテンシを削減している。
  論文  参考訳（メタデータ） (2025-10-17T19:00:08Z)
• Stream RAG: Instant and Accurate Spoken Dialogue Systems with Streaming Tool Usage [66.67531241554546]
  従来のASR-LLM-TTSパイプラインに代わる強力な対話システムとして、エンドツーエンドの音声対話システムが登場している。 本稿では,音声入力システムに直接ツールの使用を拡張するための最初のアプローチを紹介する。 提案するStreaming Retrieval-Augmented Generation (Streaming RAG) は,ユーザ音声と並行してツールクエリを予測することにより,ユーザ知覚のレイテンシを低減する新しいフレームワークである。
  論文  参考訳（メタデータ） (2025-10-02T14:18:20Z)
• Scaling Synthetic Task Generation for Agents via Exploration [67.70129766322985]
  対話型エージェントを構築するための訓練後のマルチモーダル大言語モデル(MLLM)は、コンピュータ利用、Webナビゲーション、ロボット工学といった分野にまたがる約束を守る。 タスク生成のための既存のアプローチは、ダウンストリーム環境情報に制限のある人間のアノテーションやMLLMのプロンプトに大きく依存している。 本稿では,タスク生成のためのスケーラブルなパイプラインであるAutoPlayについて紹介する。
  論文  参考訳（メタデータ） (2025-09-29T17:00:02Z)
• Large Language Model Based Generative Error Correction: A Challenge and Baselines for Speech Recognition, Speaker Tagging, and Emotion Recognition [110.8431434620642]
  生成音声の書き起こし誤り訂正(GenSEC)の課題について紹介する。 この課題は、(i)ASR後の転写補正、(ii)話者タグ付け、(iii)感情認識という、3つのASR後の言語モデリングタスクを含む。 本稿では,ベースライン評価から得られた知見と,今後の評価設計における教訓について論じる。
  論文  参考訳（メタデータ） (2024-09-15T16:32:49Z)
• Improving Readability for Automatic Speech Recognition Transcription [50.86019112545596]
  我々は、可読性のためのASRポストプロセッシング(APR)と呼ばれる新しいNLPタスクを提案する。 APRは、ノイズの多いASR出力を、話者の意味を保ちながら、人間や下流タスクのための読みやすいテキストに変換することを目的としている。 我々は,いくつかのオープンソースモデルと適応型事前学習モデルに基づく微調整モデルと,従来のパイプライン手法との比較を行った。
  論文  参考訳（メタデータ） (2020-04-09T09:26:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。