論文の概要: Self-Aware Knowledge Probing: Evaluating Language Models' Relational Knowledge through Confidence Calibration

• arxiv url: http://arxiv.org/abs/2601.18901v1
• Date: Mon, 26 Jan 2026 19:11:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-28 15:26:51.034851
• Title: Self-Aware Knowledge Probing: Evaluating Language Models' Relational Knowledge through Confidence Calibration
• Title（参考訳）: 自己認識型知識探索:信頼度校正による言語モデルの関係知識の評価
• Authors: Christopher Kissling, Elena Merdjanovska, Alan Akbik,
• Abstract要約: 既存の知識プローブは、予測精度や精度などのメトリクスを通じてモデル機能を評価する。 モデル信頼性の3つのモダリティを網羅した,リレーショナル知識のための新しいキャリブレーション探索フレームワークを提案する。 我々の分析によると、ほとんどのモデル、特にマスキングの目的で事前訓練されたモデルは、過信されている。
• 参考スコア（独自算出の注目度）: 10.249145599960748
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Knowledge probing quantifies how much relational knowledge a language model (LM) has acquired during pre-training. Existing knowledge probes evaluate model capabilities through metrics like prediction accuracy and precision. Such evaluations fail to account for the model's reliability, reflected in the calibration of its confidence scores. In this paper, we propose a novel calibration probing framework for relational knowledge, covering three modalities of model confidence: (1) intrinsic confidence, (2) structural consistency and (3) semantic grounding. Our extensive analysis of ten causal and six masked language models reveals that most models, especially those pre-trained with the masking objective, are overconfident. The best-calibrated scores come from confidence estimates that account for inconsistencies due to statement rephrasing. Moreover, even the largest pre-trained models fail to encode the semantics of linguistic confidence expressions accurately.
• Abstract（参考訳）: 知識探索は、言語モデル(LM)が事前学習中に獲得した関係知識を定量化する。 既存の知識プローブは、予測精度や精度などのメトリクスを通じてモデル機能を評価する。 このような評価はモデルの信頼性を考慮せず、信頼性スコアの校正に反映される。 本稿では,(1)本質的信頼,(2)構造的一貫性,(3)意味的基盤の3つのモードを網羅した,関係知識のための新たなキャリブレーション探索フレームワークを提案する。 10の因果関係と6つのマスキング言語モデルの広範な分析により、ほとんどのモデル、特にマスキング目的で事前訓練されたモデルは、過信であることが明らかとなった。 最も適格なスコアは、ステートメントの言い直しによる不整合を考慮に入れた信頼度推定によるものである。 さらに、最大の事前学習モデルでさえ、言語的信頼表現のセマンティクスを正確にエンコードすることができない。

関連論文リスト

• ConfTuner: Training Large Language Models to Express Their Confidence Verbally [58.63318088243125]
  大規模言語モデル(LLM)は、科学、法律、医療といった高度な領域にますます展開されている。 LLMは、しばしば「過信」(overconfidence)として知られる、高い信頼で誤った答えを生成するために観察される。
  論文  参考訳（メタデータ） (2025-08-26T09:25:32Z)
• Rewarding Doubt: A Reinforcement Learning Approach to Calibrated Confidence Expression of Large Language Models [34.59785123314865]
  LLM(Large Language Models)の安全かつ信頼性の高い使用には、その回答に対する信頼性の正確な表現が必要である。 そこで本研究では,LLMを直接微調整し,評価された信頼度を,実際の質問に対する回答とともに表現できる新しい強化学習手法を提案する。
  論文  参考訳（メタデータ） (2025-03-04T13:48:50Z)
• Language Models Prefer What They Know: Relative Confidence Estimation via Confidence Preferences [62.52739672949452]
  言語モデル(LM)は、ユーザーがアウトプットの誤りを検知し、必要であれば人間の専門家に延期するのに役立つ、信頼性の高い信頼推定を提供する必要がある。 本稿では,相対的信頼度推定法を提案する。そこでは,相互に質問をマッチングし,モデルに信頼度を相対的に判断するよう求める。 各質問を、他の質問に対する「プレイヤー」として扱い、モデルの選好を一致結果として扱うことで、モデルの信頼性選好を信頼スコアに変換するために、Elo評価やBradley-Terryのようなランクアグリゲーション手法を使うことができる。
  論文  参考訳（メタデータ） (2025-02-03T07:43:27Z)
• Confidence Under the Hood: An Investigation into the Confidence-Probability Alignment in Large Language Models [14.5291643644017]
  信頼性・確率アライメントの概念を紹介します。 モデルの内部と信頼感の一致を調査する。 分析したモデルのうち、OpenAIのGPT-4は信頼性と信頼性のアライメントが最強であった。
  論文  参考訳（メタデータ） (2024-05-25T15:42:04Z)
• Calibrating the Confidence of Large Language Models by Eliciting Fidelity [52.47397325111864]
  RLHFのようなテクニックで最適化された大規模な言語モデルは、有用で無害な点において優れた整合性を実現している。 調整後、これらの言語モデルはしばしば過剰な自信を示し、表現された自信は正確さの度合いで正確に校正しない。 本稿では,言語モデルの信頼度を推定するプラグイン・アンド・プレイ手法を提案する。
  論文  参考訳（メタデータ） (2024-04-03T11:36:12Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• Improving the Reliability of Large Language Models by Leveraging Uncertainty-Aware In-Context Learning [76.98542249776257]
  大規模言語モデルはしばしば「ハロシン化」の課題に直面している 本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-07T12:06:53Z)
• Improving the Reliability for Confidence Estimation [16.952133489480776]
  信頼度推定は、デプロイ中のモデルの予測出力の信頼性を評価することを目的としたタスクである。 これまでの研究は、信頼度推定モデルが持つべき2つの重要な特性を概説してきた。 信頼度推定モデルにおいて、両方の品質を同時に改善できるメタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-13T06:34:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。