論文の概要: Do We Know What LLMs Don't Know? A Study of Consistency in Knowledge Probing

• arxiv url: http://arxiv.org/abs/2505.21701v2
• Date: Fri, 30 May 2025 14:39:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 15:03:35.334207
• Title: Do We Know What LLMs Don't Know? A Study of Consistency in Knowledge Probing
• Title（参考訳）: LLMが知らないことを知っているか? : 知識探索における一貫性の研究
• Authors: Raoyuan Zhao, Abdullatif Köksal, Ali Modarressi, Michael A. Hedderich, Hinrich Schütze,
• Abstract要約: 大型言語モデル(LLM)の信頼性は幻覚の傾向によって損なわれている。 このようなギャップを探索する方法は、キャリブレーションベースからプロンプトベースまで様々である。
• 参考スコア（独自算出の注目度）: 44.71770036192593
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The reliability of large language models (LLMs) is greatly compromised by their tendency to hallucinate, underscoring the need for precise identification of knowledge gaps within LLMs. Various methods for probing such gaps exist, ranging from calibration-based to prompting-based methods. To evaluate these probing methods, in this paper, we propose a new process based on using input variations and quantitative metrics. Through this, we expose two dimensions of inconsistency in knowledge gap probing. (1) Intra-method inconsistency: Minimal non-semantic perturbations in prompts lead to considerable variance in detected knowledge gaps within the same probing method; e.g., the simple variation of shuffling answer options can decrease agreement to around 40%. (2) Cross-method inconsistency: Probing methods contradict each other on whether a model knows the answer. Methods are highly inconsistent -- with decision consistency across methods being as low as 7% -- even though the model, dataset, and prompt are all the same. These findings challenge existing probing methods and highlight the urgent need for perturbation-robust probing frameworks.
• Abstract（参考訳）: 大規模言語モデル(LLM)の信頼性は幻覚の傾向によって著しく損なわれ、LLM内の知識ギャップを正確に識別する必要性が強調されている。 このようなギャップを探索する方法は、キャリブレーションベースからプロンプトベースまで様々である。 本稿では,これらの探索手法を評価するために,入力のバリエーションと定量値を用いた新しい手法を提案する。 これにより,知識ギャップ探索における不整合の2つの次元を明らかにする。 1) メソッド内不整合: プロンプトにおける最小の非意味的摂動は, 検出された知識ギャップに大きなばらつきをもたらし, 例えば, シャッフル解答オプションの簡単なバリエーションは, 約40%の一致を減少させることができる。 2) クロスメソッドの不整合性: モデルが解答を知っているかどうかを判断する手法は互いに矛盾する。 モデル、データセット、プロンプトはすべて同じですが、メソッド間の決定一貫性は7%以下です。 これらの知見は,既存の探索手法に挑戦し,摂動汚濁防止フレームワークの緊急ニーズを強調した。

関連論文リスト

• How Reliable are Causal Probing Interventions? [3.173096780177902]
  Causal Probingは、その表現の介入がアウトプットに与える影響を調べることによって、基礎モデルを分析することを目的としている。 近年の研究では、いくつかの主要な因果探索法の理論的根拠に疑問が投げかけられている。
  論文  参考訳（メタデータ） (2024-08-28T03:45:49Z)
• MINDE: Mutual Information Neural Diffusion Estimation [7.399561232927219]
  確率変数間の相互情報(MI)を推定するための新しい手法を提案する。 スコアベース拡散モデルを用いて、スコア関数間の差分として2つの密度間のクルバック・リーブラーの偏差を推定する。 副産物として,確率変数のエントロピーの推定も可能である。
  論文  参考訳（メタデータ） (2023-10-13T11:47:41Z)
• Composed Image Retrieval with Text Feedback via Multi-grained Uncertainty Regularization [73.04187954213471]
  粗い検索ときめ細かい検索を同時にモデル化する統合学習手法を提案する。 提案手法は、強いベースラインに対して+4.03%、+3.38%、+2.40%のRecall@50精度を達成した。
  論文  参考訳（メタデータ） (2022-11-14T14:25:40Z)
• There and Back Again: Revisiting Backpropagation Saliency Methods [87.40330595283969]
  正当性法は,各入力サンプルの重要度マップを作成することによって,モデルの予測を説明する。 このような手法の一般的なクラスは、信号のバックプロパゲートと結果の勾配の分析に基づいている。 本稿では,そのような手法を統一可能な単一のフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-06T17:58:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。