論文の概要: Beyond "I Don't Know": Evaluating LLM Self-Awareness in Discriminating Data and Model Uncertainty

• arxiv url: http://arxiv.org/abs/2604.17293v1
• Date: Sun, 19 Apr 2026 07:15:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.442449
• Title: Beyond "I Don't Know": Evaluating LLM Self-Awareness in Discriminating Data and Model Uncertainty
• Title（参考訳）: I Don't Know"を超えて - データとモデル不確かさの識別におけるLLM自己認識の評価
• Authors: Jingyi Ren, Ante Wang, Yunghwei Lai, Xiaolong Wang, Linlu Gong, Weitao Li, Weizhi Ma, Yang Liu,
• Abstract要約: UA-Benchは、知識集約型タスクと推論集約型タスクにまたがる6つのデータセットから抽出された3500以上の質問のベンチマークである。 18のフロンティアLCMの評価は、最先端のモデルでさえ、データの不確実性とモデルの不確実性を確実に識別するのに苦労していることを示している。 思考モードにおけるQwen3-4B-Instruct-2507とQwen3-8Bの両方の実験結果から,提案手法は解答精度を保ちながら不確実性が向上することが示された。
• 参考スコア（独自算出の注目度）: 19.65441892575154
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reliable Large Language Models (LLMs) should abstain when confidence is insufficient. However, prior studies often treat refusal as a generic "I don't know'', failing to distinguish input-level ambiguity (data uncertainty) from capability limitations (model uncertainty). This lack of distinction limits downstream action decisions like requesting clarification or invoking external tools. In this work, we introduce UA-Bench, a benchmark of over 3,500 questions drawn from six datasets spanning knowledge-intensive and reasoning-intensive tasks, designed to evaluate explicit uncertainty attribution. An evaluation of 18 frontier LLMs shows that even state-of-the-art models struggle to reliably discriminate between data uncertainty and model uncertainty, and that high answer accuracy does not necessarily imply strong uncertainty attribution ability. To narrow this gap, we propose a lightweight data synthesis and reinforcement learning strategy. Experiments on both Qwen3-4B-Instruct-2507 and Qwen3-8B in thinking mode show that the proposed method improves uncertainty attribution while preserving answer accuracy. Our code and data are publicly available now.
• Abstract（参考訳）: 信頼性の低い大規模言語モデル(LLM)は、信頼性が不十分な場合には、廃止されるべきである。 しかし、先行研究では拒否を一般的な「知らない」として扱うことが多く、入力レベルの曖昧さ(データ不確実性)と能力制限(モデル不確実性)を区別できない。 この区別の欠如は、明確化の要求や外部ツールの呼び出しといった下流のアクション決定を制限する。 本研究では,知識集約型タスクと推論集約型タスクを対象とする6つのデータセットから抽出した3500以上の質問のベンチマークであるUA-Benchを紹介する。 18のフロンティアLCMの評価は、最先端モデルでさえ、データの不確実性とモデルの不確実性を確実に識別するのに苦労し、高い解答精度が必ずしも強い不確実性帰属能力を示すものではないことを示している。 このギャップを狭めるために、我々は軽量なデータ合成と強化学習戦略を提案する。 思考モードにおけるQwen3-4B-Instruct-2507とQwen3-8Bの両方の実験結果から,提案手法は解答精度を保ちながら不確実性が向上することが示された。 私たちのコードとデータは、現在公開されています。

関連論文リスト

• Can LLMs Detect Their Confabulations? Estimating Reliability in Uncertainty-Aware Language Models [24.72990207218907]
  LLM(Large Language Models)は、畳み込み(confabulation)として知られる、流動的だが不正なコンテンツを生成する傾向にある。 本研究では、文脈内情報がモデル行動にどのように影響するか、LLMが信頼できない応答を識別できるかを検討する。
  論文  参考訳（メタデータ） (2025-08-11T16:12:36Z)
• LoGU: Long-form Generation with Uncertainty Expressions [49.76417603761989]
  不確実性を伴う長文生成(LoGU)の課題について紹介する。 不確実性抑制と不確実性誤認の2つの主要な課題を特定します。 当社のフレームワークでは,原子的クレームに基づく不確実性を改善するため,分割・分散戦略を採用している。 提案手法が精度を向上し,幻覚を低減し,応答の包括性を維持できることを示す。
  論文  参考訳（メタデータ） (2024-10-18T09:15:35Z)
• MAQA: Evaluating Uncertainty Quantification in LLMs Regarding Data Uncertainty [10.154013836043816]
  データ不確実性の存在下での過去の不確実性定量化手法について検討する。 以上の結果から,従来の手法はシングル・アンサー・セッティングに比べて比較的困難であったことが示唆された。 我々は,データ不確実性が存在する場合でも,エントロピーと一貫性に基づく手法がモデル不確実性を効果的に推定することを示した。
  論文  参考訳（メタデータ） (2024-08-13T11:17:31Z)
• Uncertainty-Based Abstention in LLMs Improves Safety and Reduces Hallucinations [63.330182403615886]
  大きな言語モデル(LLM)の実践的デプロイに対する大きな障壁は、信頼性の欠如である。 このことが特に顕著な3つの状況は、正しさ、未解決の質問に対する幻覚、安全性である。 人間のように、不確実性を理解する能力があるため、私たちが知らない質問への答えを控えるべきです。
  論文  参考訳（メタデータ） (2024-04-16T23:56:38Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Improving the Reliability of Large Language Models by Leveraging Uncertainty-Aware In-Context Learning [76.98542249776257]
  大規模言語モデルはしばしば「ハロシン化」の課題に直面している 本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-07T12:06:53Z)
• Ambiguity Meets Uncertainty: Investigating Uncertainty Estimation for Word Sense Disambiguation [5.55197751179213]
  既存の教師付き手法は、WSDを分類タスクとして扱い、優れたパフォーマンスを実現した。 本稿では,WSD 向けに設計されたベンチマークにおける不確実性推定(UE)を広範囲に研究する。 本研究では, モデルが適切に設計されたテストシナリオにおいて, 選択されたUEスコアを用いて, モデルによるデータとモデルの不確実性を捕捉する能力について検討し, モデルの不確実性を十分に反映するが, モデルの不確実性を過小評価する。
  論文  参考訳（メタデータ） (2023-05-22T15:18:15Z)
• Approaching Neural Network Uncertainty Realism [53.308409014122816]
  自動運転車などの安全クリティカルなシステムには、定量化または少なくとも上限の不確実性が不可欠です。 マハラノビス距離に基づく統計的テストにより、厳しい品質基準である不確実性リアリズムを評価します。 自動車分野に採用し、プレーンエンコーダデコーダモデルと比較して、不確実性リアリズムを大幅に改善することを示した。
  論文  参考訳（メタデータ） (2021-01-08T11:56:12Z)
• Uncertainty as a Form of Transparency: Measuring, Communicating, and Using Uncertainty [66.17147341354577]
  我々は,モデル予測に関連する不確実性を推定し,伝達することにより,相補的な透明性の形式を考えることについて議論する。 モデルの不公平性を緩和し、意思決定を強化し、信頼できるシステムを構築するために不確実性がどのように使われるかを説明する。 この研究は、機械学習、可視化/HCI、デザイン、意思決定、公平性にまたがる文学から引き出された学際的レビューを構成する。
  論文  参考訳（メタデータ） (2020-11-15T17:26:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。