論文の概要: XYEval: Agents say yes to bad advice

• arxiv url: http://arxiv.org/abs/2609.23939v1
• Date: Sun, 20 Sep 2026 23:31:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.028902
• Title: XYEval: Agents say yes to bad advice
• Title（参考訳）: XYEval: エージェントは悪いアドバイスにイエスと語る
• Abstract要約: XY問題(XY problem)は、ある人が実際の問題ではなく、自分のソリューションについて尋ねる、よく知られたコミュニケーションの落とし穴である。 我々はエージェント設定におけるXY問題に対する事前の薬効評価を延長し、エージェントが妥当だが誤解を招く提案に抵抗できるかどうかを評価する。 本稿では,既存のベンチマークをXY問題評価に変換するメタ評価フレームワークであるXYEvalを紹介する。
• 参考スコア（独自算出の注目度）: 30.70526131934807
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Effective communication between users and AI agents is essential for human-AI collaboration. The XY problem is a well-known communication pitfall where a person asks about their attempted solution rather than their actual problem. We extend prior sycophancy evaluation to the XY problem in agentic settings, evaluating whether agents can resist plausible but misleading suggestions from users and communicate their reasoning. We introduce XYEval, a meta-evaluation framework that can transform an existing benchmark into an XY problem evaluation. We evaluate five models across six diverse benchmark suites. Agents suffer large XY drops under XY mutation across benchmarks, with relative drops reaching up to 46.7%. With $τ^2$-bench, we further show that agent performance drops more when encountering a pedantic user who requires detailed explanations before approving a better solution. Our findings suggest that current agents lack the ability to effectively reason and communicate when facing misleading suggestions. A simple system instruction baseline that encourages awareness of XY problems only offers partial mitigation. Extensive trace analyses provide behavioral insights into how and why these XY drops occur across execution trajectories. Our results show that mitigating the XY problem remains challenging, requiring agents to both recognize user misdirection and clearly communicate the underlying problem.
• Abstract（参考訳）: ユーザとAIエージェントの効果的なコミュニケーションは、人間とAIのコラボレーションに不可欠である。 XY問題(XY problem)は、ある人が実際の問題ではなく、自分のソリューションについて尋ねる、よく知られたコミュニケーションの落とし穴である。 我々は,エージェント設定におけるXY問題に対する事前の薬理評価を延長し,エージェントがユーザからの誤った提案に抵抗できるかどうかを検証し,それらの推論を伝達する。 本稿では,既存のベンチマークをXY問題評価に変換するメタ評価フレームワークであるXYEvalを紹介する。 6つのベンチマークスイートで5つのモデルを評価します。 エージェントはXY変異の下で大きなXY低下を被り、相対的な低下は46.7%に達する。 さらに、$τ^2$-benchでは、より良いソリューションを承認する前に詳細な説明を必要とするペダニックユーザと出会うと、エージェントのパフォーマンスが低下することを示す。 本研究は,現行のエージェントには,誤解を招く提案に直面する際に,効果的に推論し,コミュニケーションする能力がないことを示唆する。 XY問題の認識を促す単純なシステム命令ベースラインは、部分緩和のみを提供する。 広範囲なトレース分析は、これらのXYドロップが実行軌跡間でどのように、なぜ起こるのかに関する行動的な洞察を提供する。 以上の結果から,XY問題の緩和は依然として困難であり,エージェントはユーザのミス指向を認識し,その根底にある問題を明確に伝達する必要があることが示唆された。

関連論文リスト

• Preventing Error Propagation in Multi-Agent AI through Runtime Monitoring [4.75542422590052]
  推論交換と実行時応答のリビジョンにより,信頼性の高いマルチエージェントAI通信について検討する。 エージェントがまず個別に複数の質問に回答し、その後、推論の痕跡を共有し、意思決定を再考するフレームワークを開発する。
  論文  参考訳（メタデータ） (2026-06-27T17:44:24Z)
• Misinformation Propagation in Benign Multi-Agent Systems [11.967259729189388]
  マルチエージェントシステムは、医学的診断、法的な分析、法医学的な意思決定など、ハイテイクな環境にますます導入されている。 彼らの信頼性は、単一のエージェントが誤った、あるいは誤解を招くコンテキストから推論した場合、危険にさらされる可能性がある。 本研究は、意図に基づく誤報を良性単エージェントおよび多エージェントシステムに注入することにより、このリスクを研究する。
  論文  参考訳（メタデータ） (2026-06-15T13:40:01Z)
• LLM-as-an-Investigator: Evidence-First Reasoning for Robust Interactive Problem Diagnosis [13.258011377627822]
  本稿では、ロバストな問題診断のためのエビデンスファーストのエージェントAI手法であるLSM-as-an-Investigatorを紹介する。 このアプローチは、初期問題記述の曖昧さを見積もるソリューション調査エージェントによって実装される。 その結果,提案手法は直接的プロンプトや推論のみのベースラインよりも精度が高いことがわかった。
  論文  参考訳（メタデータ） (2026-06-11T11:37:07Z)
• HypoAgent: An Agentic Framework for Interactive Abductive Hypothesis Generation over Knowledge Graphs [52.91976391891331]
  知識グラフに対する帰納的推論は、観察された実体や事実を説明する論理的仮説を生成することを目的としている。 既存の制御可能な仮説生成手法により、ユーザーは明示的な条件でこのプロセスをガイドすることができる。 本稿では,知識グラフ上での対話的帰納的仮説生成のためのエージェントフレームワークであるHypoAgentを提案する。
  論文  参考訳（メタデータ） (2026-05-29T14:40:37Z)
• ExComm: Exploration-Stage Communication for Error-Resilient Agentic Test-Time Scaling [57.42714978834704]
  ExCommは、探索段階のエージェントテストタイムスケーリングのための通信プロトコルである。 ExCommは、強いテスト時間スケーリングベースラインを一貫して上回ります。
  論文  参考訳（メタデータ） (2026-05-21T07:38:44Z)
• Talk, Evaluate, Diagnose: User-aware Agent Evaluation with Automated Error Analysis [3.3237915628874632]
  効果的なエージェント評価は、会話の質、効率性、およびエージェントエラーの体系的診断を取り入れて、正確性のみに留まらないと論じる。 エージェントの旋回効率と中間進捗を両立させる新しい指標を提案する。 TEDフレームワークは、モデルとユーザの専門知識レベルをまたいだエージェントパフォーマンスに関する新たな洞察を明らかにします。
  論文  参考訳（メタデータ） (2026-03-16T16:14:28Z)
• From Static Benchmarks to Dynamic Protocol: Agent-Centric Text Anomaly Detection for Evaluating LLM Reasoning [12.024430772980502]
  本稿では,大規模言語モデル評価のためのエージェント中心ベンチマークパラダイムを提案する。 教師エージェントは、候補問題を生成し、オーケストレータエージェントは、その妥当性を厳格に検証し、敵攻撃に対するガードを行う。 生徒がその問題を正しく解いた場合、オーケストレータは教師にもっと難しい変奏曲を生成するよう促す。
  論文  参考訳（メタデータ） (2026-02-27T06:54:32Z)
• Can an Individual Manipulate the Collective Decisions of Multi-Agents? [53.01767232004823]
  M-Spoilerは、マルチエージェントシステム内のエージェントインタラクションをシミュレートして、対向サンプルを生成するフレームワークである。 M-スポイラーは、敵対的サンプルの最適化を積極的に支援するスタブボーン剤を導入した。 本研究は,マルチエージェントシステムにおける個々のエージェントの知識によって引き起こされるリスクを検証した。
  論文  参考訳（メタデータ） (2025-09-20T01:54:20Z)
• Formalizing the Problem of Side Effect Regularization [81.97441214404247]
  本稿では,補助ゲームフレームワークを用いたサイドエフェクト正規化のための公式な基準を提案する。 これらのゲームでは、エージェントは部分的に観測可能なマルコフ決定プロセスを解決する。 このPOMDPは、エージェントが将来的なタスクをこなす能力と、プロキシ報酬を交換することで解決されることを示す。
  論文  参考訳（メタデータ） (2022-06-23T16:36:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。