論文の概要: Can LLM Agents Resolve Service Failures? Simulating Multi-Turn Complaint Handling under Information Asymmetry

• arxiv url: http://arxiv.org/abs/2610.24733v1
• Date: Sat, 17 Oct 2026 14:58:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-22 16:43:56.236642
• Title: Can LLM Agents Resolve Service Failures? Simulating Multi-Turn Complaint Handling under Information Asymmetry
• Title（参考訳）: LLMエージェントはサービス障害を解消できるか?情報非対称性下でのマルチTurn記述処理のシミュレーション
• Abstract要約: 私たちは、苦情処理に特化した最初のベンチマークであるServiceBenchを紹介します。 現実的な苦情処理をシミュレートするための非対称プログレッシブ・コンポーラレット・シミュレーション(APCS)を提案する。 実験の結果,LLMエージェントでさえ,苦情を効果的に処理するのに苦労していることが判明した。
• 参考スコア（独自算出の注目度）: 7.225692015461792
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM agents are widely adopted in service chatbots for rule-guided support and information access, yet emotionally demanding complaint handling still relies heavily on human agents. We introduce ServiceBench, to our knowledge the first benchmark dedicated to complaint handling, with 2,500 scenarios spanning 184 complaint categories and five service industries. We propose Asymmetric Progressive Complaint Simulation (APCS) to simulate realistic complaint handling, together with a justice-based evaluation framework. Our experiments reveal that even capable LLM agents struggle to handle complaints effectively. They lack the ability to proactively gather information and strategically guide conversations toward resolution, often resorting to premature compensation. We further show that targeted post-training with SFT and DPO substantially improves these capabilities, enabling a smaller model to match or surpass much larger models on several outcomes.
• Abstract（参考訳）: LLMエージェントは、ルール誘導されたサポートと情報アクセスのためのサービスチャットボットで広く採用されているが、感情的に要求される苦情処理は、まだ人間のエージェントに大きく依存している。 ServiceBenchは、苦情処理に特化した最初のベンチマークであり、184の苦情カテゴリと5つのサービス産業にまたがる2500のシナリオです。 本稿では,現実的な苦情処理をシミュレートする非対称プログレッシブ・コンポーラレット・シミュレーション(APCS)と,正義に基づく評価フレームワークを提案する。 実験の結果,LLMエージェントでさえ,苦情を効果的に処理するのに苦労していることが判明した。 彼らは積極的に情報を収集し、解決に向けての対話を戦略的に導く能力に欠けており、しばしば早期の補償に頼っている。 さらに、SFTとDPOによる学習後の目標学習がこれらの能力を大幅に改善することを示し、より小さなモデルがいくつかの結果に対してより大きなモデルに適合したり、超えたりすることができることを示した。

関連論文リスト

• DecepEval: A Benchmark for Evaluating Deception in LLM Agents [75.59466511154791]
  大規模言語モデル(LLM)エージェントは騙しによってタスクパフォーマンスを追求することができる。 既存の評価では、LLMエージェントは騙すことができるが、しばしば孤立したシナリオや狭義に定義された条件を調べることができる。 3つのタスクファミリに1,532のインスタンスと28のプロフェッショナルシナリオからなるベンチマークであるDecepEvalを紹介します。
  論文  参考訳（メタデータ） (2026-10-06T08:33:43Z)
• Counsel: A Meta-Evaluation Dataset for Agentic Tasks [8.10022820678836]
  Counselは、エージェントタスクのメタ評価の最初の公開データセットである。 2つのエージェントベンチマーク上のオープンウェイト LLMJ からのプロセスレベルの批判で構成されている。 ヒューマンアノテータは、各フラグ付きエラーの批判を「スポットオン」、「正確な位置だが、推論が不十分」、または「フラグ付きでない」とラベル付けする。
  論文  参考訳（メタデータ） (2026-06-19T17:30:56Z)
• Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
  大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。 このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。 我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
  論文  参考訳（メタデータ） (2026-01-21T06:07:43Z)
• Are Your Agents Upward Deceivers? [73.1073084327614]
  大規模言語モデル(LLM)ベースのエージェントは、ユーザのためにタスクを実行する自律的な従属者として、ますます使われています。 これは、人間の組織の個人がどのように上官に嘘をついて良いイメージを作り出したり、罰を免れるかのような、詐欺にも関与するかどうかという問題を提起する。 本研究では,環境制約に直面するエージェントが障害を隠蔽し,報告なしに要求されない動作を行う現象であるエージェント上行錯誤を観察・定義する。
  論文  参考訳（メタデータ） (2025-12-04T14:47:05Z)
• SAND: Boosting LLM Agents with Self-Taught Action Deliberation [54.48979740613828]
  大規模言語モデル(LLM)エージェントは、通常、ReActスタイルの専門家軌道の教師付き微調整や、ペアのロールアウトよりも好みの最適化で調整される。 本稿では,自己学習型アクチオN審議(SAND)フレームワークを提案する。 SANDは、初期教師付き微調整よりも平均20%改善し、また最先端のエージェントチューニングアプローチより優れている。
  論文  参考訳（メタデータ） (2025-07-10T05:38:15Z)
• MAG-V: A Multi-Agent Framework for Synthetic Data Generation and Verification [5.666070277424383]
  MAG-Vは、顧客のクエリを模倣する質問のデータセットを生成するフレームワークである。 我々の合成データは、実際の顧客クエリにおけるエージェントのパフォーマンスを向上させることができる。
  論文  参考訳（メタデータ） (2024-11-28T19:36:11Z)
• How Far Are LLMs from Believable AI? A Benchmark for Evaluating the Believability of Human Behavior Simulation [46.42384207122049]
  我々は,人間の振る舞いをシミュレートする際の大規模言語モデル (LLM) の信頼性を評価するために SimulateBench を設計する。 SimulateBenchに基づいて、文字をシミュレートする際、広く使われている10個のLLMの性能を評価する。
  論文  参考訳（メタデータ） (2023-12-28T16:51:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。