論文の概要: XYBench: Can LLMs Respond Pragmatically to Queries with Misconceptions?

• arxiv url: http://arxiv.org/abs/2609.06842v1
• Date: Sun, 06 Sep 2026 21:35:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.325353
• Title: XYBench: Can LLMs Respond Pragmatically to Queries with Misconceptions?
• Title（参考訳）: XYBench: LLMは誤解を伴うクエリに実用的に応答できるのでしょうか?
• Abstract要約: 非熟練のユーザーは援助を求め、しばしば誤解を抱く。 専門家は誤解を特定し、ユーザーを実用的なソリューションに誘導しなければならない。 技術的(WikiOverflow/StackBench)と日常的(ハウと手作業によるサブセットドメイン)から引き出された8,115のクエリのベンチマークを導入する。 実験の結果、最強のLSMでさえリテラル要求に主に答えることがわかった。
• 参考スコア（独自算出の注目度）: 36.10973295344279
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When non-expert users ask LLMs for assistance, their queries can often have misconceptions (e.g., "How do I parse XML with regex?"). In such cases, often referred to as the XY-problem, LLMs must identify the misconception ("regex are fragile") and meaningfully direct the user toward a pragmatic solution that will address the root problem implicit in the request ("use an XML parser"). We introduce XYBench, a benchmark of 8,115 such queries, drawn from technical (StackOverflow/StackExchange) and everyday (WikiHow and a manually-curated subset) domains. We design an evaluation paradigm that assesses model responses along three criteria grounded in cooperative response theory: (a) presence and (b) emphasis on pragmatic solutions, and (c) identification of misconceptions. Our experiments show that even the strongest LLMs predominantly answer the literal request (0.75--0.92) and far less often the intended one (0.33--0.71), while substantially lagging behind humans at identifying misconceptions (at most 63% vs. 79--90%). Further, models overwhelmingly prefer pragmatic responses in a multiple choice setting yet consistently fail to generate them. Oracle ablation experiments show that providing explicit user intent at generation time helps; however a large gap remains, suggesting pragmatic redirection is a fundamentally underdeveloped capability in current LLMs.
• Abstract（参考訳）: 専門家でないユーザがLSMに助けを求めると、そのクエリには誤解がある(例: "どのようにXMLをregexでパースするか? このような場合、しばしばXY-problemと呼ばれるが、LLMは誤解を識別し("regex is fragile")、リクエストで暗黙的にルート問題に対処する実用的なソリューション("use an XML parser")にユーザを有意義に誘導する必要がある。 技術的(StackOverflow/StackExchange)と日常的(WikiHowと手作業で計算したサブセット)ドメインから抽出した8,115のクエリのベンチマークであるXYBenchを紹介する。 我々は、協調応答理論に基づく3つの基準に沿ったモデル応答を評価する評価パラダイムを設計する。 a)存在と存在 b)実用的解決に重点を置くこと、 (c)誤解の特定 我々の実験では、最強のLSMでさえリテラル要求(0.75--0.92)に回答し、意図した要求(0.33--0.71)よりもはるかに少ないが、誤解を識別する上では人間にはかなり遅れている(最大63%対79-90%)。 さらに、モデルは複数の選択設定で実用的応答を圧倒的に好むが、常にそれらを生成することができない。 Oracleのアブレーション実験は、世代毎の明示的なユーザインテントの提供が役に立つことを示しているが、大きなギャップが残っている。

関連論文リスト

• LLM-as-an-Investigator: Evidence-First Reasoning for Robust Interactive Problem Diagnosis [13.258011377627822]
  本稿では、ロバストな問題診断のためのエビデンスファーストのエージェントAI手法であるLSM-as-an-Investigatorを紹介する。 このアプローチは、初期問題記述の曖昧さを見積もるソリューション調査エージェントによって実装される。 その結果,提案手法は直接的プロンプトや推論のみのベースラインよりも精度が高いことがわかった。
  論文  参考訳（メタデータ） (2026-06-11T11:37:07Z)
• Reaching Beyond the Mode: RL for Distributional Reasoning in Language Models [78.68818219506313]
  本稿では,複数解に対する分布推論を行うための多解補足学習手法について述べる。 質問応答, 診断, コーディングベンチマークを通じて, 単一回答学習ベースラインと比較して, 多様性, カバレッジ, 設定レベルの校正スコアが向上した。
  論文  参考訳（メタデータ） (2026-03-25T22:20:25Z)
• CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
  評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。 数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。 我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
  論文  参考訳（メタデータ） (2025-08-05T17:55:24Z)
• Potemkin Understanding in Large Language Models [2.7941822406428702]
  大規模言語モデル(LLM)は、ベンチマークデータセットを使用して定期的に評価される。 本稿ではまず,この問題に対処するための正式な枠組みを紹介する。 ポテムキンはモデル、タスク、ドメインにまたがってユビキタスである。
  論文  参考訳（メタデータ） (2025-06-26T17:41:35Z)
• LLMs Can Generate a Better Answer by Aggregating Their Own Responses [83.69632759174405]
  大きな言語モデル(LLM)はタスク間で顕著な機能を示しているが、複雑な問題に直面している場合、追加のプロンプト技術を必要とすることが多い。 この制限は、共通LLMポストトレーニング手順が差別的判断タスクの明示的な監督を欠いているという事実に起因している、と我々は主張する。 本稿では,モデルの識別機能を必要とせず,解答品質を向上させる手法である生成自己集合(GSA)を提案する。
  論文  参考訳（メタデータ） (2025-03-06T05:25:43Z)
• Modeling Future Conversation Turns to Teach LLMs to Ask Clarifying Questions [45.04582353648683]
  大規模言語モデル(LLM)は、しばしば非常にあいまいなユーザー要求に応答しなければならない。 既存のLLMは、そのような曖昧な要求の単一解釈を前提とすることで、異なる解釈を意図したユーザーをいらいらさせる。 今後,期待する結果をシミュレーションして選好ラベルを提案する。 これによってLLMは、将来の順番で各ユーザの解釈に合わせた応答を生成することができるのか、明確な質問を学べるようになる。
  論文  参考訳（メタデータ） (2024-10-17T17:29:04Z)
• Reasoning on Efficient Knowledge Paths:Knowledge Graph Guides Large Language Model for Domain Question Answering [18.94220625114711]
  大きな言語モデル(LLM)は驚くほどよく機能し、多くのタスクにおいて人間の専門家より優れています。 本稿では,LLMに基づいてKGから推論経路を選択するパイプラインを統合し,最適化する。 また,思考の連鎖(CoT)とページランクに基づく,シンプルで効果的なサブグラフ検索手法を提案する。
  論文  参考訳（メタデータ） (2024-04-16T08:28:16Z)
• DCR: Divide-and-Conquer Reasoning for Multi-choice Question Answering with LLMs [9.561022942046279]
  大規模言語モデル(LLM)の推論能力を高めるため,DCR(Divide and Conquer Reasoning)を提案する。 まず、信頼性スコア(mathcalCS$)に基づいて質問を2つのサブセットに分類する。 特に,質問を信頼性スコア(mathcalCS$)に基づいて2つのサブセットに分類する。
  論文  参考訳（メタデータ） (2024-01-10T14:38:46Z)
• InfiMM-Eval: Complex Open-Ended Reasoning Evaluation For Multi-Modal Large Language Models [50.03163753638256]
  MLLM(Multi-modal Large Language Models)は人工知能の分野で注目されている。 本ベンチマークは, 帰納的, 帰納的, 類推的推論の3つの主要な推論カテゴリから構成される。 我々は,この厳密に開発されたオープンエンド多段階精巧な推論ベンチマークを用いて,代表MLLMの選択を評価する。
  論文  参考訳（メタデータ） (2023-11-20T07:06:31Z)
• SelfCheck: Using LLMs to Zero-Shot Check Their Own Step-by-Step Reasoning [55.76083560152823]
  SelfCheckは、ステップバイステップの推論でエラーを認識する汎用的なゼロショット検証スキーマである。 我々は,3つのデータセット(GSM8K,MathQA,MATH)上でSelfCheckをテストし,エラーの認識に成功し,最終的な回答精度が向上することを確認した。
  論文  参考訳（メタデータ） (2023-08-01T10:31:36Z)
• Can ChatGPT Defend its Belief in Truth? Evaluating LLM Reasoning via Debate [19.887103433032774]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて顕著なパフォーマンスを示している。 この研究は、LLMの推論を議論のような会話で議論することで検証する。 優れたパフォーマンスにもかかわらず、ChatGPTのようなLLMは、かなりの例において、真実に対する信念を維持できないことに気付きました。
  論文  参考訳（メタデータ） (2023-05-22T15:47:31Z)
• Cue-CoT: Chain-of-thought Prompting for Responding to In-depth Dialogue Questions with LLMs [59.74002011562726]
  我々は、よりパーソナライズされ魅力的な応答を提供するために、新しい言語的キューに基づく思考の連鎖(textitCue-CoT)を提案する。 中国語と英語の6つのデータセットからなる詳細な対話質問を用いたベンチマークを構築した。 実験により,提案手法は,すべてのデータセットにおいて,テクステルパーフルネスとテクスチタアクセプタビリティの両方の観点から,標準的プロンプト法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-19T16:27:43Z)
• Large Language Models are Better Reasoners with Self-Verification [48.534270563880845]
  大規模言語モデル(LLM)は、いくつかの自然言語処理タスクにおいて強力な推論能力を示している。 思考の連鎖(CoT)を促進させるLLMは、個別のミスに非常に敏感な、多段階のプロンプトと多段階の予測を必要とする。 また,LLMにも同様な自己検証能力があることを示す。
  論文  参考訳（メタデータ） (2022-12-19T15:51:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。