論文の概要: Non-Collaborative User Simulators for Tool Agents
- arxiv url: http://arxiv.org/abs/2509.23124v2
- Date: Mon, 06 Oct 2025 12:23:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-07 14:28:10.859114
- Title: Non-Collaborative User Simulators for Tool Agents
- Title(参考訳): ツールエージェントのための非協調型ユーザシミュレータ
- Authors: Jeonghoon Shim, Woojung Song, Cheyon Jin, Seungwon KooK, Yohan Jo,
- Abstract要約: 本研究では,非協調行動の4つのカテゴリをシミュレートする新しいユーザシミュレータアーキテクチャを提案する。
我々のMultiWOZと$tau$-benchの実験は、非コラボレーションユーザと出会う際に、最先端のツールエージェントの性能が著しく低下していることを明らかにした。
- 参考スコア(独自算出の注目度): 12.294827535425414
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tool agents interact with users through multi-turn dialogues to accomplish various tasks. Recent studies have adopted user simulation methods to develop these agents in multi-turn settings. However, existing user simulators tend to be agent-friendly, exhibiting only cooperative behaviors, which fails to train and test agents against non-collaborative users in the real world. To address this, we propose a novel user simulator architecture that simulates four categories of non-collaborative behaviors: requesting unavailable services, digressing into tangential conversations, expressing impatience, and providing incomplete utterances. Our user simulator can simulate challenging and natural non-collaborative behaviors while reliably delivering all intents and information necessary to accomplish the task. Our experiments on MultiWOZ and $\tau$-bench reveal significant performance degradation in state-of-the-art tool agents when encountering non-collaborative users. We provide detailed analyses of agents' weaknesses under each non-collaborative condition, such as escalated hallucinations and dialogue breakdowns. Ultimately, we contribute an easily extensible user simulation framework to help the research community develop tool agents and preemptively diagnose them under challenging real-world conditions within their own services.
- Abstract(参考訳): ツールエージェントはマルチターン対話を通じてユーザと対話し、さまざまなタスクを遂行する。
近年,マルチターン環境下でのエージェント開発にユーザシミュレーション手法が採用されている。
しかし、既存のユーザーシミュレーターはエージェントフレンドリーであり、協調行動のみを示す傾向にあり、現実世界の非協力的なユーザーに対してエージェントを訓練・テストすることに失敗する。
そこで本研究では,非協調行動の4つのカテゴリをシミュレートした新しいユーザシミュレータアーキテクチャを提案する。
ユーザシミュレータは,タスク達成に必要なすべての意図や情報を確実に提供しながら,課題や自然な非協調動作をシミュレートすることができる。
我々のMultiWOZと$\tau$-benchに関する実験は、非コラボレーションユーザと出会う際に、最先端のツールエージェントの性能が著しく低下していることを明らかにした。
本研究では,非協調的条件下でのエージェントの弱さを詳細に分析する。
究極的には、研究コミュニティがツールエージェントを開発し、彼らのサービス内の現実的な状況下でそれらを事前に診断するのを助けるために、容易に拡張可能なユーザーシミュレーションフレームワークを提供しています。
関連論文リスト
- $τ^2$-Bench: Evaluating Conversational Agents in a Dual-Control Environment [32.345011712015435]
AIエージェントの既存のベンチマークは、シングルコントロール環境をシミュレートする。
我々は$tau2$-benchを導入し、エージェントとユーザの両方が、共有された動的な環境で動くツールを活用しています。
特に,エージェントが非ユーザからデュアルコントロールに移行すると,パフォーマンスが著しく低下する。
論文 参考訳(メタデータ) (2025-06-09T17:52:18Z) - LAM SIMULATOR: Advancing Data Generation for Large Action Model Training via Online Exploration and Trajectory Feedback [121.78866929908871]
AIエージェントのための大規模アクションモデル(LAM)は、素晴らしいポテンシャルを提供するが、高品質なトレーニングデータを必要とするため、課題に直面している。
LAM SIMULATORは,高品質なフィードバックによるエージェントタスクのオンライン探索を目的とした総合的なフレームワークである。
本フレームワークは,動的タスククエリジェネレータ,広範囲なツールコレクション,および大規模言語モデル(LLM)エージェントがツールを呼び出し,リアルタイムフィードバックを受信できる対話型環境を備えている。
論文 参考訳(メタデータ) (2025-06-02T22:36:02Z) - USimAgent: Large Language Models for Simulating Search Users [33.17004578463697]
本稿では,大規模言語モデルに基づくユーザ検索行動シミュレータUSimAgentを紹介する。
シミュレータは、検索中のユーザのクエリ、クリック、動作の停止をシミュレートすることができる。
実ユーザ行動データセットに関する実証調査では、シミュレータがクエリ生成において既存のメソッドよりも優れていることが示された。
論文 参考訳(メタデータ) (2024-03-14T07:40:54Z) - Learning to Use Tools via Cooperative and Interactive Agents [58.77710337157665]
ツール学習は、外部ツールを使用してユーティリティを拡張するエージェントとして、大きな言語モデル(LLM)を促進する。
ツール選択,ツール実行,アクションキャリブレーションの3つの特別なエージェントを個別にコーディネートする,協調型対話型エージェントフレームワークであるConAgentsを提案する。
3つのデータセットに対する実験により、LLMは、ConAgentsを装備した場合、大幅に改善されたベースラインよりも優れた性能を示した。
論文 参考訳(メタデータ) (2024-03-05T15:08:16Z) - AgentCF: Collaborative Learning with Autonomous Language Agents for
Recommender Systems [112.76941157194544]
本稿では,エージェントベースの協調フィルタリングにより,レコメンデータシステムにおけるユーザとイテムのインタラクションをシミュレートするエージェントCFを提案する。
我々は、ユーザだけでなく、アイテムをエージェントとして、創造的に考慮し、両方のエージェントを同時に最適化する協調学習アプローチを開発します。
全体として、最適化されたエージェントは、ユーザ・イテム、ユーザ・ユーザ・ユーザ、アイテム・イテム、集合的インタラクションなど、フレームワーク内での多様なインタラクションの振る舞いを示す。
論文 参考訳(メタデータ) (2023-10-13T16:37:14Z) - User Behavior Simulation with Large Language Model based Agents [116.74368915420065]
LLMベースのエージェントフレームワークを提案し,実際のユーザ動作をシミュレートするサンドボックス環境を設計する。
実験結果から,本手法のシミュレーション行動は実人の行動に非常に近いことが判明した。
論文 参考訳(メタデータ) (2023-06-05T02:58:35Z) - MUG: Interactive Multimodal Grounding on User Interfaces [12.035123646959669]
本稿では,ユーザとエージェントがインタフェース画面上で協調作業を行うマルチモーダルグラウンドのための対話型タスクMUGを提案する。
ユーザがコマンドを与え、エージェントがコマンドに応答する。MUGはエージェントの応答を見る際に、エージェントがそのアクションを洗練または修正するための追加コマンドを与えるように、複数のラウンドのインタラクションを可能にする。
論文 参考訳(メタデータ) (2022-09-29T21:08:18Z) - Multi-Agent Task-Oriented Dialog Policy Learning with Role-Aware Reward
Decomposition [64.06167416127386]
本稿では,システムとユーザの両方をダイアログエージェントとみなすマルチエージェントダイアログポリシー学習を提案する。
2人のエージェントが互いに相互作用し、同時に一緒に学習されます。
その結果,本手法がシステムポリシとユーザポリシを同時に構築できることが示唆された。
論文 参考訳(メタデータ) (2020-04-08T04:51:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。