論文の概要: Don't `Well, Actually' Me Unless You Know What You're Talking About: Weak Presupposition Verification Degrades General QA Performance

• arxiv url: http://arxiv.org/abs/2608.06539v1
• Date: Thu, 06 Aug 2026 19:43:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-10 16:21:25.277313
• Title: Don't `Well, Actually' Me Unless You Know What You're Talking About: Weak Presupposition Verification Degrades General QA Performance
• Title（参考訳）: あなたが何を話しているかわからない限り、'Well, really'はしない:弱い前提検証は一般的なQAパフォーマンスを低下させる
• Abstract要約: FPQA(False-presupposition QA)は、疑問における偽の前提を識別する能力に基づいてLLMをテストする。 FPQでは, TPQでは性能が良く, TPQでは性能が悪くなる傾向にある。
• 参考スコア（独自算出の注目度）: 20.721314515201286
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: False-presupposition QA (FPQA) tests LLMs on their ability to identify false presuppositions in questions and abstain or correct them rather than reinforcing false assumptions. The common approach reduces the task to prompting LLMs to extract presuppositions and fact checking each presupposition. While the performance on dedicated benchmarks keeps improving, evaluation largely focuses on questions with false presuppositions (FPQs) while ignoring the performance on ``normal'' questions (TPQs). Since many benchmarks over-represent FPQs compared to their natural occurrence, the result is that performance on these benchmarks doesn't reflect real-world QA performance. Through extensive experiments across various model families, sizes, and benchmarks, we show that methods that perform better on FPQs tend to perform worse on TPQs. Our analysis reveals this is the result of weak fact checking modules that reject also true presuppositions. We hope our findings will help guide future work toward FPQA methods that generalize well to realistic settings.
• Abstract（参考訳）: FPQA(False-presupposition QA)は、疑問における偽の前提を識別し、偽の仮定を補強するのではなく、それらを棄却または修正する能力についてLLMをテストする。 一般的なアプローチでは、LLMに前置詞を抽出し、各前置詞を事実チェックするよう促すタスクが削減される。 専用ベンチマークのパフォーマンスは改善され続けているが、評価は主に偽の前提命題(FPQ)による質問に焦点をあてる一方で、「通常の」質問(TPQ)のパフォーマンスを無視する。 多くのベンチマークが自然発生と比較してFPQを過剰に表現しているため、これらのベンチマークのパフォーマンスは実世界のQAパフォーマンスを反映していない。 様々なモデルファミリ,サイズ,ベンチマークにまたがる広範な実験を通じて,FPQにおいてより優れた性能を示す手法は,TPQにおいてより悪い性能を示す傾向があることを示す。 我々の分析は、これも真の前提を否定する弱い事実チェックモジュールの結果であることを示している。 我々は,FPQA手法の実用化に向けた今後の取り組みの指針となることを願っている。

関連論文リスト

• LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
  大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。 CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
  論文  参考訳（メタデータ） (2026-05-02T11:31:33Z)
• Who is the richest club in the championship? Detecting and Rewriting Underspecified Questions Improve QA Performance [6.511402661783843]
  大規模言語モデル(LLM)は、適切な質問に対してうまく機能するが、標準的なQA(QA)ベンチマークは解決には程遠い。 このギャップは、部分的には未特定な質問によるものであり、追加のコンテキストなしでは解釈が一意に決定できないクエリである、と我々は主張する。
  論文  参考訳（メタデータ） (2026-02-12T13:36:23Z)
• Benchmarking Uncertainty Calibration in Large Language Model Long-Form Question Answering [7.1559850008795385]
  大きな言語モデル(LLM)は質問回答(QA)設定で一般的に使用される。 既存のUQアプローチは、科学的QAでは弱い検証が残っている。 推論要求QAにおけるUQ指標を評価するための,最初の大規模ベンチマークを紹介する。
  論文  参考訳（メタデータ） (2026-01-30T20:02:34Z)
• The Illusion of Certainty: Uncertainty quantification for LLMs fails under ambiguity [48.899855816199484]
  そこで本研究では,第1の曖昧な質問応答(QA)データセットであるMAQA*とAmbigQA*を紹介する。 予測分布とアンサンブルに基づく推定器は、あいまいさの下では基本的に限定的であることを示す。
  論文  参考訳（メタデータ） (2025-11-06T14:46:35Z)
• In-Distribution Consistency Regularization Improves the Generalization of Quantization-Aware Training [16.475151881506914]
  量子化アウェアトレーニング(QAT)の一般化能力を向上させるために、一貫性規則化(CR)を提案する。 我々のアプローチは、現在の最先端QAT手法やFP手法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-02-21T03:19:48Z)
• Cofca: A Step-Wise Counterfactual Multi-hop QA benchmark [39.64489055580211]
  実データと反実データからなる新しい評価ベンチマークであるCofCA(Step-wise Counterfactual benchmark)を導入する。 実験の結果,ウィキペディアをベースとした事実データと反事実データの間には,既存のベンチマークにおけるデータ汚染問題を推定し,大きな性能差があることが判明した。
  論文  参考訳（メタデータ） (2024-02-19T08:12:30Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)
• LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
  そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。 ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。 最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
  論文  参考訳（メタデータ） (2023-05-23T21:50:06Z)
• Shortcomings of Question Answering Based Factuality Frameworks for Error Localization [51.01957350348377]
  質問応答(QA)に基づく事実性指標は、生成した要約の誤り範囲を正しく識別できないことを示す。 このようなローカライゼーションが不十分な理由として,QGモジュールが生成した質問は,非実数的な要約から誤りを継承することが多く,さらに下流モジュールに伝播する。 本実験は,より強力なQAモデルとQGモデルでのみ修正できないQAフレームワークを用いた局所化に関する根本的な問題が存在することを確定的に示す。
  論文  参考訳（メタデータ） (2022-10-13T05:23:38Z)
• Towards Clear Expectations for Uncertainty Estimation [64.20262246029286]
  不確実性定量化(UQ)は、信頼できる機械学習(ML)を実現するために不可欠である ほとんどのUQ手法は、異なる不整合評価プロトコルに悩まされている。 この意見書は、これらの要件を5つの下流タスクを通して指定することで、新たな視点を提供する。
  論文  参考訳（メタデータ） (2022-07-27T07:50:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。