論文の概要: ToolRACER: A Robust Agentic Conversation Emulation Resource for Agent Training and Evaluation
- arxiv url: http://arxiv.org/abs/2610.09163v1
- Date: Tue, 06 Oct 2026 22:06:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:22.630001
- Title: ToolRACER: A Robust Agentic Conversation Emulation Resource for Agent Training and Evaluation
- Title（参考訳）: ToolRACER:エージェントトレーニングと評価のためのロバストなエージェント対話エミュレーションリソース
- Abstract要約: 本稿では,ユーザ,アシスタント,ツールエミュレーションモデルをコーディネートする合成データ生成パイプラインであるToolRACERを提案する。
sysnを用いて、6つのドメインにまたがる堅牢なマルチターン会話ベンチマークであるToolRACERBenchを構築した。
現実的な,堅牢なシナリオをキャプチャする,対話型対話トラジェクトリの検証を行う。
- 参考スコア（独自算出の注目度）: 46.12965137038563
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Task-oriented conversational agents remain fragile under real world conversation scenarios as they rarely follow a predictable script, especially when users exhibit non-cooperative behavior. Existing function-calling benchmarks often emphasize successful, cooperative interactions and underrepresent adversarial conversation trajectories, thereby limiting the training resources available for developing robust agents. We present ToolRACER, a synthetic data generation pipeline that coordinates user, assistant and tool emulation models to generate and validated multi-turn interactions between a user and an agent. Using \sysn, we construct ToolRACERBench a robust multi-turn conversation benchmark spanning six domains, ranging over 55 varied personas, generating a validated corpus of 5.6K conversation trajectories, with approximately 66\% of conversations containing failure-prone conversation scenarios. We inject adversarial behaviors, producing validated conversational interaction trajectories that capture realistic, robust scenarios. We evaluate models trained on ToolRACERBench against internal benchmarks, as well as on function calling benchmarks such as $τ^2$-bench, BFCLv3 and ACEBench to evaluate agentic accuracy and robustness. Models trained on ToolRACERBench improve end to end agentic accuracy across $τ^2$-bench and ACEBench, demonstrating significant gains when mixed with in-domain dataset in small language models for agent capability tasks.
- Abstract（参考訳）: タスク指向の会話エージェントは、現実の会話シナリオでは脆弱であり、特にユーザが非協調行動を示す場合、予測可能なスクリプトにほとんど従わない。
既存の関数呼び出しベンチマークは、しばしば成功し、協調的な相互作用と、敵の会話軌跡の不足を強調し、堅牢なエージェントを開発するのに利用可能なトレーニングリソースを制限する。
本稿では,ユーザとエージェント間のマルチターンインタラクションの生成と検証を行うために,ユーザ,アシスタント,ツールエミュレーションモデルをコーディネートする合成データ生成パイプラインであるToolRACERを提案する。
このツールRACERBenchは、6つのドメインにまたがる堅牢なマルチターン会話ベンチマークで、55以上の多様なペルソナにまたがって、5.6Kの会話軌跡の検証済みコーパスを生成し、約66%の会話が失敗に繋がる会話シナリオを含んでいる。
我々は、現実的かつ堅牢なシナリオを捉えるための、敵対的行動を注入し、検証された対話性トラジェクトリを生成する。
内部ベンチマークや$τ^2$-bench, BFCLv3, ACEBenchなどの関数呼び出しベンチマークに対して, ToolRACERBenchでトレーニングしたモデルを評価し, エージェント精度とロバスト性を評価する。
ToolRACERBenchでトレーニングされたモデルは、$τ^2$-benchとACEBenchでエンドツーエンドのエージェント精度を向上させる。
関連論文リスト
- DuMateBench: Evaluating Autonomous Agents in Complex Real-World Workflows [69.12339622053588]
我々はDuMateBenchを紹介した。DuMateBenchは匿名化およびプライバシスクリーニングによるユーザセッションから再構築されたリアルセッションベンチマークである。
結果として得られたベンチマークは、8つの広いシナリオにまたがる200のタスクと、17のきめ細かい機能カテゴリで構成されている。
これらのタスクは、Isufficient、Unstable、Noisyの3種類の環境複雑性を注入した、分離されたDockerコンテナで実行します。
論文 参考訳（メタデータ） (2026-08-27T02:36:23Z) - EgoBench: An Interactive Egocentric Multimodal Benchmark for Tool-Using Agents [17.727481701114556]
ツール使用エージェントのための対話型マルチモーダルベンチマークであるEgoBenchを紹介する。
我々は3段階の相乗的パイプラインを実装し、各タスクは視覚知覚とツール強化マルチホップ推論の併用を強制的に行うように設計されている。
また,エージェントのインタラクション能力を評価するために,EgoBench内のマルチエージェントシミュレーションユーザを開発した。
論文 参考訳（メタデータ） (2026-05-27T01:28:15Z) - A Multimodal Conversational Agent for Tabular Data Analysis [0.2211620227346065]
大規模言語モデル(LLM)は、音声対話を含むユーザとの対話において、ハイパフォーマンスを維持しながら、データ分析、可視化、解釈を扱うことで、情報処理を再構築することができる。
直感的データ探索のためのマルチモーダルLLM駆動型対話エージェントTalk2Dataを提案する。
このシステムでは、ユーザーは音声やテキストでデータセットをクエリし、プロット、テーブル、統計、音声による説明などの回答を受け取ることができる。
論文 参考訳（メタデータ） (2025-11-23T11:21:04Z) - LoCoBench-Agent: An Interactive Benchmark for LLM Agents in Long-Context Software Engineering [90.84806758077536]
textbfLoCoBench-Agentは,大規模言語モデル(LLM)エージェントを現実的,長期的ソフトウェア工学で評価するための総合的な評価フレームワークである。
我々のフレームワークは、LoCoBenchの8000のシナリオを対話型エージェント環境に拡張し、マルチターン会話の体系的評価を可能にする。
我々のフレームワークは,8つの特殊なツール(ファイル操作,検索,コード解析)をエージェントに提供し,それを10Kから1Mトークンの範囲で評価する。
論文 参考訳（メタデータ） (2025-11-17T23:57:24Z) - How Can Input Reformulation Improve Tool Usage Accuracy in a Complex Dynamic Environment? A Study on $τ$-bench [58.114899897566964]
マルチターンの会話環境では、大きな言語モデル(LLM)は、一貫性のある推論とドメイン固有のポリシーへの固執にしばしば苦労する。
本稿では,関連するドメインルールを付加したユーザクエリを自動的に再構成するIRMA(Input-Reformulation Multi-Agent)フレームワークを提案する。
IRMAはReAct、Function Calling、Self-Reflectionをそれぞれ16.1%、12.7%、19.1%で大きく上回っている。
論文 参考訳（メタデータ） (2025-08-28T15:57:33Z) - OmniEAR: Benchmarking Agent Reasoning in Embodied Tasks [52.87238755666243]
OmniEARは,言語モデルが身体的相互作用やツールの使用,マルチエージェントの協調にどう影響するかを評価するためのフレームワークである。
我々は、家庭と工業領域にまたがる1500のシナリオにおける連続的な物理的特性と複雑な空間的関係をモデル化する。
我々の体系的な評価は、モデルが制約から推論しなければならない場合、厳しい性能劣化を示す。
論文 参考訳（メタデータ） (2025-08-07T17:54:15Z) - Dynamic benchmarking framework for LLM-based conversational data capture [0.0]
本稿では,大規模言語モデル(LLM)を評価するためのベンチマークフレームワークを提案する。
生成エージェントシミュレーションを統合して、情報抽出、コンテキスト認識、適応エンゲージメントといった重要次元のパフォーマンスを評価する。
その結果,不明瞭な応答を扱う場合,適応戦略によりデータの抽出精度が向上することが示唆された。
論文 参考訳（メタデータ） (2025-02-04T15:47:47Z) - DialogAgent: An Auto-engagement Agent for Code Question Answering Data Production [5.030384831047144]
本稿では、実際の開発者インタラクションを忠実に模倣する合成トレーニングデータを生成する自動化ツールであるDialogAgentを紹介する。
このツールは手動データ生成への依存を著しく低減し、従来の方法に比べて効率を4.8倍に向上させる。
論文 参考訳（メタデータ） (2024-12-11T03:31:36Z) - $τ$-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains [43.43344028212623]
$tau$-benchは、ユーザと言語エージェント間の動的会話をエミュレートするベンチマークである。
我々は、会話の最後にデータベースの状態と注釈付きゴール状態を比較する、効率的で忠実な評価プロセスを採用する。
論文 参考訳（メタデータ） (2024-06-17T19:33:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。