論文の概要: Do Large Language Models Know What They Don't Know II? A Fully Behavioral, Non-Cognitive Measure of Epistemic Honesty

• arxiv url: http://arxiv.org/abs/2609.07879v1
• Date: Mon, 07 Sep 2026 18:40:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.501037
• Title: Do Large Language Models Know What They Don't Know II? A Fully Behavioral, Non-Cognitive Measure of Epistemic Honesty
• Title（参考訳）: 大規模言語モデルは、自分が知らないことを知っているかII : 完全な行動的、非認知的評価法
• Abstract要約: 大規模言語モデル(LLM)は、しばしば自信を持ち、雄弁で、よく理解されている。 彼らは知らないことを知っていますか。 我々は,LLMがその知識の境界を適切に認識するかどうかを評価するための新しい指標を開発した。
• 参考スコア（独自算出の注目度）: 8.148357447770893
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are frequently confident, eloquent, and well versed. A natural question arises: do they know what they don't know? To answer this question, we borrow the concept of epistemic honesty and develop a novel metric to systematically evaluate whether an LLM appropriately acknowledges the boundaries of its knowledge. In this work, we introduce the Epistemic Honesty Quotient (EHQ), which reports three observable sub-scores across two operational axes (epistemic restraint and substantive-answer calibration), and construct EHQ-3000, a 3,000-question benchmark spanning Fabricated Entity, Post-Cutoff Event, Hyper-Niche True, and Context-Conditioned Questions. From a frozen registry of 21 model API routes, 15 completed the protocol after endpoint and eligibility checks; 14 entered the confirmatory analysis because severe provider-side truncation made one route's score indeterminate. The study reveals substantial variation across models, including a difference that can not be explained by their capability to extract explicitly available information. Composite EHQ ranges from 0.31 to 0.81 across the analysed panel, despite near-ceiling performance on the document-grounded capability probe. The two restraint criteria overlap strongly under the present category composition, whereas substantive-answer calibration varies across models and does not reliably co-vary with restraint; however, the small panel leaves substantial uncertainty. Thus, EHQ reveals behavioral differences that are not visible to conventional correctness-based assessment, while also showing why dataset composition, provider behavior, and confidence elicitation must remain part of the interpretation.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、しばしば自信を持ち、雄弁で、よく理解されている。 自然の疑問が生まれます。彼らは自分が知らないことを知っていますか? この疑問に答えるために、我々は、認識的誠実さの概念を借用し、LLMがその知識の境界を適切に認識するかどうかを体系的に評価する新しい指標を開発する。 本研究では,2つの操作軸にまたがる観測可能な3つのサブスコアを報告するEmstemic Honesty Quotient(EHQ)を紹介し,Fabricated Entity,Post-Cutoff Event,Hyper-Niche True,Context-Conditioned Questionsにまたがる3000のクエストベンチマークであるEHQ-3000を構築した。 21のモデルAPIルートの凍結されたレジストリから、15のエンドポイントと適性チェックが完了した。 この研究は、明らかに利用可能な情報を抽出する能力によって説明できない違いを含む、モデル間でのかなりのバリエーションを明らかにしている。 複合型EHQは、分析パネル全体にわたって0.31から0.81の範囲に及んでいる。 2つの抑止基準は, 現行のカテゴリー構成では重なり合うが, 実体・問合せキャリブレーションはモデルによって異なり, 抑止基準と確実に一致しないが, 小さいパネルはかなりの不確実性を残している。 このように、EHQは従来の正確性に基づく評価では見えない行動の違いを明らかにし、なぜデータセットの合成、提供者行動、信頼性評価が解釈の一部でなければならないのかを示した。

関連論文リスト

• Noēsis: Deterministic-First Retrieval with Two-Tier Context Hydration for Factuality-Critical Queries on Small Local Models [0.0]
  我々は、Noesisアーキテクチャの決定論的第一のクエリプレーンであるNoesisを提示する。 ノイズは生成前にすべての決定論的判断を下す。 報告されたすべての値は、その正確なソースと構築による位置にトレース可能である。
  論文  参考訳（メタデータ） (2026-09-07T15:49:16Z)
• The Imperfective Paradox Is Not Necessarily in Large Language Models: A Benchmark Failure Before a Model Failure [42.25959731143407]
  本稿では,ベンチマークと結論について検討し,概念的および評価的ミス・スペクテーションに大きく影響していることを示す。 厳格なNLI標準の下では、グループAのインスタンスの76%は、決定を明示的に除外していない。 イベントセマンティックなNLIを多段階推論問題として定式化し、中間的意味決定と最終的な予測の両方を評価する。
  論文  参考訳（メタデータ） (2026-08-25T18:00:18Z)
• Comparing Large Language Models on Scrum Certification-Style Questions: Accuracy, Stability, and Error Patterns [0.19674381684480705]
  大規模言語モデル(LLM)は、試験や認定スタイルの質問応答タスクでますます使われている。 本稿では,993のスクラム認定スタイルの質問に対して,現代LLMであるtextitGPT-5 mini, textitGemini 3 Flash, textitDeepSeek Chat 3.2の性能評価を行った。
  論文  参考訳（メタデータ） (2026-06-29T23:37:56Z)
• LLMs Show No Signs Of Individuated Metacognition [0.023227405857540805]
  20大言語モデルから二項信頼判断を分解する。 信頼性が異なる2つのモデルも性能が異なるかどうかを問う。 いずれの検査領域においても,有意な弁別メタ認知の証拠は見つからない。
  論文  参考訳（メタデータ） (2026-05-22T23:54:33Z)
• Walking Through Uncertainty: An Empirical Study of Uncertainty Estimation for Audio-Aware Large Language Models [54.041320081289996]
  音声対応大言語モデル(ALLM)における不確実性推定に関する最初の系統的研究について述べる。 予測エントロピー、長さ正規化エントロピー、意味エントロピー、個別意味エントロピー、P(True)を含む5つの代表的な手法をベンチマークする。 まず、意味レベルと検証ベースの手法は、一般的な音声推論ベンチマークにおけるトークンレベルベースラインを一貫して上回ります。
  論文  参考訳（メタデータ） (2026-04-28T12:56:22Z)
• PassiveQA: A Three-Action Framework for Epistemically Calibrated Question Answering via Supervised Finetuning [0.0]
  不完全情報の下では、モデルが解答、解答、Ask、Abstainを判断しなければならない。 本稿では,教師付き微調整によりモデル行動と情報満足度を整合させる3つのアクション・フレームワークであるPassiveQAを提案する。 提案手法は,構造化情報状態表現,知識グラフ基底コンテキスト,および不足変数と決定推論を明示的にモデル化した微調整プランナーを統合する。
  論文  参考訳（メタデータ） (2026-04-06T09:54:16Z)
• AI Knows What's Wrong But Cannot Fix It: Helicoid Dynamics in Frontier LLMs Under High-Stakes Decisions [51.56484100374058]
  ヘリコイド力学(Helicoid dynamics)は、その2番目のドメインの特定の障害状態に与えられる名前である。 システムは巧みに働き、エラーに陥り、何がうまくいかなかったかを正確に名付け、さらに高度な技術で同じパターンを再現する。 この先進的な事例シリーズは、7つの主要なシステムにまたがる体制を文書化する。
  論文  参考訳（メタデータ） (2026-03-12T05:25:49Z)
• Decomposed Prompting Does Not Fix Knowledge Gaps, But Helps Models Say "I Don't Know" [47.930782177987446]
  大規模言語モデルは、クローズドブックの質問応答において知識限界を認識するのに苦労することが多く、自信ある幻覚へと繋がる。 我々は、モデルスケールの異なるDirect、Assistive、Incrementalの3つのタスク等価プロンプトとマルチホップQAベンチマークを評価した。 幻覚が一致している間に事実知識が安定しているため、クロスレジームは内部の不確実性の正確なシグナルを与える。
  論文  参考訳（メタデータ） (2026-02-04T18:39:58Z)
• Encyclo-K: Evaluating LLMs with Dynamically Composed Knowledge Statements [78.87065404966002]
  既存のベンチマークは、主に質問レベルで質問をキュレートする。 ベンチマーク構築をゼロから再考するステートメントベースのベンチマークであるEncyclo-Kを提案する。
  論文  参考訳（メタデータ） (2025-12-31T13:55:54Z)
• CLEAR-3K: Assessing Causal Explanatory Capabilities in Language Models [3.137688620241855]
  CLEAR-3Kは、ある文が別の文を因果的に説明するかどうかを言語モデルが判断できるかどうかを評価するために設計された、3000のアサーション推論質問のデータセットである。 各質問は、意味的関連性と真の因果的説明的関係を区別するために、アサーションとアサーションのペアと挑戦言語モデルを示す。
  論文  参考訳（メタデータ） (2025-06-20T17:35:36Z)
• Certainly Uncertain: A Benchmark and Metric for Multimodal Epistemic and Aleatoric Awareness [106.52630978891054]
  視覚言語AIシステムに特有の不確実性の分類法を提案する。 また、精度と校正誤差の両方によく相関する新しい計量信頼度重み付き精度を導入する。
  論文  参考訳（メタデータ） (2024-07-02T04:23:54Z)
• Improving the Reliability of Large Language Models by Leveraging Uncertainty-Aware In-Context Learning [76.98542249776257]
  大規模言語モデルはしばしば「ハロシン化」の課題に直面している 本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-07T12:06:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。