論文の概要: $τ$-Emotion-Bench: Exposing the Interaction Fragility of LLM Agents through Real-World User Emotions
- arxiv url: http://arxiv.org/abs/2610.19560v1
- Date: Wed, 14 Oct 2026 04:19:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.95802
- Title: $τ$-Emotion-Bench: Exposing the Interaction Fragility of LLM Agents through Real-World User Emotions
- Title（参考訳）: $τ$-Emotion-Bench: 実世界のユーザ感情によるLLMエージェントの相互作用脆弱性の抽出
- Abstract要約: ツールコールエージェントを制御された感情条件付きユーザインタラクション下で評価するための10ドメインベンチマークである$-Emotion-Benchを紹介した。
ベンチマーク構築とエージェントトレーニングの両方をスケールするために,スケーラブルなエージェントデータ生成パイプラインであるTracerを導入する。
- 参考スコア（独自算出の注目度）: 31.383271502582733
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In long-horizon tool-calling tasks, LLM agents can fail not only because of tool-use errors, but also because of ineffective interaction with users. Yet existing benchmarks largely assume cooperative and behaviorally stable users, leaving the effect of emotional variation on agent reliability underexplored. We introduce $τ$-Emotion-Bench, a ten-domain benchmark for evaluating tool-calling agents under controlled emotion-conditioned user interactions while preserving the underlying task objective. To scale both benchmark construction and agent training, we introduce Tracer, a scalable agentic data-generation pipeline that constructs grounded, policy-valid tasks and collects trajectories through an interactive agent--user--environment harness. By allowing dissatisfied users to terminate inefficient interactions, the harness provides an interaction-aware signal that filters trajectories with excessive user dependence and favors effective tool use. Experiments with two user simulators show that frontier agents remain unreliable, with substantial gaps between average task success and consistent task completion. Tracer-generated supervision consistently improves Qwen3 models across scales, generalizes to unseen domains, and transfers to $τ$-Bench and $τ$-Trait. Behavioral analyses further show that higher task success is associated with a better balance between tool execution and necessary user follow-up. Overall, $τ$-Emotion-Bench and Tracer provide a scalable framework for evaluating agent reliability under diverse user behaviors and improving tool-calling agents through interaction-aware supervision.
- Abstract（参考訳）: 長時間のツールコールタスクでは、LLMエージェントはツール使用エラーだけでなく、ユーザとの非効率なインタラクションのために失敗する可能性がある。
しかし、既存のベンチマークでは、主に協調的かつ行動的に安定したユーザーを想定しており、エージェントの信頼性に対する感情の変化の影響が過小評価されている。
我々は,感情調和型ユーザインタラクション下でツールコールエージェントを評価するための10ドメインベンチマークであるτ$-Emotion-Benchを紹介した。
ベンチマーク構築とエージェントトレーニングの両方をスケールするために、Tracerというスケーラブルなエージェントデータ生成パイプラインを導入します。
不満足なユーザに非効率なインタラクションを停止させることによって、ハーネスは、過剰なユーザ依存でトラジェクトリをフィルタリングし、効果的なツールの使用を好むインタラクション対応の信号を提供する。
2つのユーザーシミュレータによる実験では、フロンティアエージェントは信頼できないままであり、平均的なタスク成功と一貫したタスク完了の間にかなりのギャップがある。
トレーサ生成の監督は、スケールにわたるQwen3モデルを一貫して改善し、目に見えない領域に一般化し、$τ$-Benchと$τ$-Traitに転送する。
行動分析により、より高いタスク成功は、ツールの実行と必要なユーザフォローアップのバランスが良くなることを示している。
全体として、$τ$-Emotion-BenchとTracerは、多様なユーザの振る舞いの下でエージェントの信頼性を評価し、インタラクション対応の監視を通じてツール呼び出しエージェントを改善するスケーラブルなフレームワークを提供する。
関連論文リスト
- LIBERO-Agent: Evaluating General-Purpose Agents for Direct Embodied Manipulation [69.6306613959287]
汎用エージェントは、フィードバックから行動の計画、使用、修正を行うことができるが、これらの機能がデジタル環境から具体的操作へ移行するかどうかは不明だ。
本稿では,ロボット操作タスクにおけるエージェント評価のためのエージェントネイティブベンチマークであるLIBERO-Agentを紹介する。
論文 参考訳（メタデータ） (2026-09-30T11:10:10Z) - WEFT: Scaling Tool-Use Post-Training for General-Purpose Agents [83.57238211078025]
WEFTは、環境幅、タスクの複雑さ、相互作用の多様性にまたがるエージェントインタラクションシステムの構築をスケールする。
大規模で安定した後トレーニングでは、WEFTは最適化と実行の信頼性の両方に対処する。
様々なモデルとベンチマークによる実験は、ツール使用後のトレーニングにおけるWEFTの有効性を示す。
論文 参考訳（メタデータ） (2026-09-29T07:14:53Z) - From Profiling to Synthesis: Benchmarking Implicit Behavioral Alignment in Personalized LLM Agents [56.187590188698955]
大規模言語モデルは、ますます有能な自律エージェントを可能にしてきたが、そのようなエージェントを実用的に有効にするためには、パーソナライズが不可欠である。
最近のベンチマークではエージェントのパーソナライゼーションの評価が始まっているが、それらは主に静的な選好スナップショット、固定されたインタラクションログ、あるいは事前に定義されたユーザプロファイルに対する質問応答に依存している。
縦断的相互作用履歴から構築した暗黙的行動アライメントのベンチマークであるIBA-Benchを紹介する。
IBA-Agentは、広範囲な検索と軌道レベルのアライメントを通じて競合する優先順位を調整するエージェントフレームワークである。
論文 参考訳（メタデータ） (2026-08-03T12:52:04Z) - EgoBench: An Interactive Egocentric Multimodal Benchmark for Tool-Using Agents [17.727481701114556]
ツール使用エージェントのための対話型マルチモーダルベンチマークであるEgoBenchを紹介する。
我々は3段階の相乗的パイプラインを実装し、各タスクは視覚知覚とツール強化マルチホップ推論の併用を強制的に行うように設計されている。
また,エージェントのインタラクション能力を評価するために,EgoBench内のマルチエージェントシミュレーションユーザを開発した。
論文 参考訳（メタデータ） (2026-05-27T01:28:15Z) - VitaBench 2.0: Evaluating Personalized and Proactive Agents in Long-Term User Interactions [63.13827503828231]
我々は、長期ユーザーインタラクションにおけるパーソナライズされたプロアクティブなエージェント動作を評価するためのベンチマークであるVitaBench 2.0を紹介する。
結果は、最先端のモデルでさえ、現実世界のパーソナライゼーションは非常に困難であることを示している。
論文 参考訳（メタデータ） (2026-05-26T15:07:38Z) - Pushing Forward Pareto Frontiers of Proactive Agents with Behavioral Agentic Optimization [61.641777037967366]
プロアクティブな大規模言語モデル(LLM)エージェントは、複数のターンで積極的に計画し、クエリし、相互作用することを目的としている。
エージェント強化学習(RL)は、マルチターン環境でエージェントを訓練するための有望なソリューションとして登場した。
本稿では,行動強化と情報収集能力の強化を両立させたエージェントRLフレームワークであるBAOを提案する。
論文 参考訳（メタデータ） (2026-02-11T20:40:43Z) - UserBench: An Interactive Gym Environment for User-Centric Agents [110.77212949007958]
LLM(Large Language Models)ベースのエージェントは、推論とツールの使用において、目覚ましい進歩を遂げてきたが、ユーザと積極的にコラボレーションする能力はまだ未熟である。
マルチターン、選好駆動インタラクションにおいてエージェントを評価するために設計されたユーザ中心のベンチマークであるUserBenchを紹介する。
論文 参考訳（メタデータ） (2025-07-29T17:34:12Z) - $τ^2$-Bench: Evaluating Conversational Agents in a Dual-Control Environment [32.345011712015435]
AIエージェントの既存のベンチマークは、シングルコントロール環境をシミュレートする。
我々は$tau2$-benchを導入し、エージェントとユーザの両方が、共有された動的な環境で動くツールを活用しています。
特に,エージェントが非ユーザからデュアルコントロールに移行すると,パフォーマンスが著しく低下する。
論文 参考訳（メタデータ） (2025-06-09T17:52:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。