論文の概要: AbstentionBench: Reasoning LLMs Fail on Unanswerable Questions

• arxiv url: http://arxiv.org/abs/2506.09038v1
• Date: Tue, 10 Jun 2025 17:57:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:43.066867
• Title: AbstentionBench: Reasoning LLMs Fail on Unanswerable Questions
• Title（参考訳）: AbstentionBench: LLMが解決不可能な質問で失敗している理由
• Authors: Polina Kirichenko, Mark Ibrahim, Kamalika Chaudhuri, Samuel J. Bell,
• Abstract要約: AbstentionBenchは、20の多様なデータセットにわたる禁忌を評価するためのベンチマークである。 微調整による推論は、数学や科学の分野でも無視される。
• 参考スコア（独自算出の注目度）: 32.871820908561936
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: For Large Language Models (LLMs) to be reliably deployed in both everyday and high-stakes domains, knowing when not to answer is equally critical as answering correctly. Real-world user queries, which can be underspecified, ill-posed, or fundamentally unanswerable, require LLMs to reason about uncertainty and selectively abstain -- i.e., refuse to answer definitively. However, abstention remains understudied, without a systematic evaluation framework for modern LLMs. In this work, we introduce AbstentionBench, a large-scale benchmark for holistically evaluating abstention across 20 diverse datasets, including questions with unknown answers, underspecification, false premises, subjective interpretations, and outdated information. Evaluating 20 frontier LLMs reveals abstention is an unsolved problem, and one where scaling models is of little use. While recent reasoning LLMs have shown impressive results in complex problem solving, surprisingly, we find that reasoning fine-tuning degrades abstention (by $24\%$ on average), even for math and science domains on which reasoning models are explicitly trained. We find that while a carefully crafted system prompt can boost abstention in practice, it does not resolve models' fundamental inability to reason about uncertainty. We release AbstentionBench to foster research into advancing LLM reliability.
• Abstract（参考訳）: 大きな言語モデル(LLM)が日々のドメインと高い領域の両方に確実にデプロイされるためには、答えるかどうかを知ることは、正解するのと同じくらい重要である。 現実世界のユーザクエリは、不明確で、不適切で、あるいは基本的には解決できないが、LCMは不確実性を推論し、選択的に停止することを要求する。 しかし、現代LLMの体系的な評価枠組みを使わずに、棄権はいまだに検討されている。 本研究では,未知の回答,不特定性,前提条件,主観的解釈,陳腐化情報などを含む20種類のデータセットを対象とした棄権評価のための大規模ベンチマークであるAbstentionBenchを紹介する。 20のフロンティア LLM を評価すると、棄権は未解決の問題であり、スケーリングモデルはほとんど役に立たない。 LLMの最近の推論は、複雑な問題解決において驚くべき結果を示しているが、驚くべきことに、微調整による推論は、推論モデルが明示的に訓練されている数学や科学の領域でさえ(平均で24 %)無視される。 慎重に構築されたシステムプロンプトは、実際には棄権を高めることができるが、不確実性について推論できないモデルの基本的障害を解決しない。 我々はLLMの信頼性向上の研究を促進するためにAbstentionBenchをリリースする。

関連論文リスト

• Understanding the Relationship between Prompts and Response Uncertainty in Large Language Models [55.332004960574004]
  大規模言語モデル(LLM)は意思決定に広く使用されているが、特に医療などの重要なタスクにおける信頼性は十分に確立されていない。 本稿では,LSMが生成する応答の不確実性が,入力プロンプトで提供される情報とどのように関連しているかを検討する。 本稿では,LLMが応答を生成する方法を説明し,プロンプトと応答の不確実性の関係を理解するためのプロンプト応答の概念モデルを提案する。
  論文  参考訳（メタデータ） (2024-07-20T11:19:58Z)
• Semantic Density: Uncertainty Quantification for Large Language Models through Confidence Measurement in Semantic Space [14.715989394285238]
  既存のLarge Language Models (LLM) には、ユーザが生成するレスポンスごとに不確実性/信頼度を計測するための固有の機能がない。 本稿では,これらの課題に対処する新しい枠組みを提案する。 意味密度は、意味空間における確率分布の観点から各応答の不確かさ/自信情報を抽出する。
  論文  参考訳（メタデータ） (2024-05-22T17:13:49Z)
• Think Twice Before Trusting: Self-Detection for Large Language Models through Comprehensive Answer Reflection [90.71323430635593]
  本稿では, LLM生成解を超える包括的解答空間を考察した, 新たな自己検出パラダイムを提案する。 このパラダイムに基づいて、2段階のフレームワークを導入し、まずまずLLMに各候補の回答を反映し、正当化するように指示する。 このフレームワークは、優れた自己検出のための既存のアプローチとシームレスに統合できる。
  論文  参考訳（メタデータ） (2024-03-15T02:38:26Z)
• Examining LLMs' Uncertainty Expression Towards Questions Outside Parametric Knowledge [35.067234242461545]
  大規模言語モデル(LLM)は、適切な応答を生成するのに十分なパラメトリック知識が不足している状況において不確実性を表現する。 本研究の目的は,このような状況下でのLCMの行動の体系的調査であり,誠実さと役に立つことのトレードオフを強調することである。
  論文  参考訳（メタデータ） (2023-11-16T10:02:40Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。