論文の概要: Do We Know What LLMs Don't Know? A Study of Consistency in Knowledge Probing
- arxiv url: http://arxiv.org/abs/2505.21701v2
- Date: Fri, 30 May 2025 14:39:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-02 15:03:35.334207
- Title: Do We Know What LLMs Don't Know? A Study of Consistency in Knowledge Probing
- Title（参考訳）: LLMが知らないことを知っているか? : 知識探索における一貫性の研究
- Authors: Raoyuan Zhao, Abdullatif Köksal, Ali Modarressi, Michael A. Hedderich, Hinrich Schütze,
- Abstract要約: 大型言語モデル(LLM)の信頼性は幻覚の傾向によって損なわれている。
このようなギャップを探索する方法は、キャリブレーションベースからプロンプトベースまで様々である。
- 参考スコア（独自算出の注目度）: 44.71770036192593
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The reliability of large language models (LLMs) is greatly compromised by their tendency to hallucinate, underscoring the need for precise identification of knowledge gaps within LLMs. Various methods for probing such gaps exist, ranging from calibration-based to prompting-based methods. To evaluate these probing methods, in this paper, we propose a new process based on using input variations and quantitative metrics. Through this, we expose two dimensions of inconsistency in knowledge gap probing. (1) Intra-method inconsistency: Minimal non-semantic perturbations in prompts lead to considerable variance in detected knowledge gaps within the same probing method; e.g., the simple variation of shuffling answer options can decrease agreement to around 40%. (2) Cross-method inconsistency: Probing methods contradict each other on whether a model knows the answer. Methods are highly inconsistent -- with decision consistency across methods being as low as 7% -- even though the model, dataset, and prompt are all the same. These findings challenge existing probing methods and highlight the urgent need for perturbation-robust probing frameworks.
- Abstract（参考訳）: 大規模言語モデル(LLM)の信頼性は幻覚の傾向によって著しく損なわれ、LLM内の知識ギャップを正確に識別する必要性が強調されている。
このようなギャップを探索する方法は、キャリブレーションベースからプロンプトベースまで様々である。
本稿では,これらの探索手法を評価するために,入力のバリエーションと定量値を用いた新しい手法を提案する。
これにより,知識ギャップ探索における不整合の2つの次元を明らかにする。
1) メソッド内不整合: プロンプトにおける最小の非意味的摂動は, 検出された知識ギャップに大きなばらつきをもたらし, 例えば, シャッフル解答オプションの簡単なバリエーションは, 約40%の一致を減少させることができる。
2) クロスメソッドの不整合性: モデルが解答を知っているかどうかを判断する手法は互いに矛盾する。
モデル、データセット、プロンプトはすべて同じですが、メソッド間の決定一貫性は7%以下です。
これらの知見は,既存の探索手法に挑戦し,摂動汚濁防止フレームワークの緊急ニーズを強調した。
関連論文リスト
- Uncertainty Quantification for LLMs through Minimum Bayes Risk: Bridging Confidence and Consistency [66.96286531087549]
大規模言語モデル(LLM)のための不確実性定量化(UQ)手法は、様々なアプローチを含んでいる。
本稿では,モデル信頼度と出力整合性を統合する新しい手法を提案する。
我々は,質問応答,抽象要約,機械翻訳など,様々なタスクに対するアプローチを評価する。
論文 参考訳（メタデータ） (2025-02-07T14:30:12Z) - Improving Uncertainty Quantification in Large Language Models via Semantic Embeddings [11.33157177182775]
大規模言語モデル(LLM)における正確な不確実性の定量化は、信頼性の高いデプロイメントに不可欠である。
LLMにおける意味的不確実性を測定するための現在の最先端手法は、厳密な双方向の包含基準に依存している。
本研究では,意味的不確実性のよりスムーズでロバストな推定を実現するためにセマンティックな埋め込みを利用する新しい手法を提案する。
論文 参考訳（メタデータ） (2024-10-30T04:41:46Z) - How Reliable are Causal Probing Interventions? [3.173096780177902]
Causal Probingは、その表現の介入がアウトプットに与える影響を調べることによって、基礎モデルを分析することを目的としている。
近年の研究では、いくつかの主要な因果探索法の理論的根拠に疑問が投げかけられている。
論文 参考訳（メタデータ） (2024-08-28T03:45:49Z) - Combining Confidence Elicitation and Sample-based Methods for
Uncertainty Quantification in Misinformation Mitigation [6.929834518749884]
誤情報緩和に対処する主要な候補として、大規模言語モデルが登場している。
既存のアプローチは幻覚や過信的な予測に苦しむ。
本稿では, 直接信頼誘導法とサンプルベース整合性法の両方を活用する不確実性定量化フレームワークを提案する。
論文 参考訳（メタデータ） (2024-01-13T16:36:58Z) - One step closer to unbiased aleatoric uncertainty estimation [71.55174353766289]
そこで本研究では,観測データのアクティブデノイズ化による新しい推定手法を提案する。
幅広い実験を行うことで,提案手法が標準手法よりも実際のデータ不確実性にはるかに近い近似を与えることを示す。
論文 参考訳（メタデータ） (2023-12-16T14:59:11Z) - Towards stable real-world equation discovery with assessing
differentiating quality influence [52.2980614912553]
一般的に用いられる有限差分法に代わる方法を提案する。
我々は,これらの手法を実問題と類似した問題に適用可能であること,および方程式発見アルゴリズムの収束性を確保する能力の観点から評価する。
論文 参考訳（メタデータ） (2023-11-09T23:32:06Z) - MINDE: Mutual Information Neural Diffusion Estimation [7.399561232927219]
確率変数間の相互情報(MI)を推定するための新しい手法を提案する。
スコアベース拡散モデルを用いて、スコア関数間の差分として2つの密度間のクルバック・リーブラーの偏差を推定する。
副産物として,確率変数のエントロピーの推定も可能である。
論文 参考訳（メタデータ） (2023-10-13T11:47:41Z) - Composed Image Retrieval with Text Feedback via Multi-grained
Uncertainty Regularization [73.04187954213471]
粗い検索ときめ細かい検索を同時にモデル化する統合学習手法を提案する。
提案手法は、強いベースラインに対して+4.03%、+3.38%、+2.40%のRecall@50精度を達成した。
論文 参考訳（メタデータ） (2022-11-14T14:25:40Z) - There and Back Again: Revisiting Backpropagation Saliency Methods [87.40330595283969]
正当性法は,各入力サンプルの重要度マップを作成することによって,モデルの予測を説明する。
このような手法の一般的なクラスは、信号のバックプロパゲートと結果の勾配の分析に基づいている。
本稿では,そのような手法を統一可能な単一のフレームワークを提案する。
論文 参考訳（メタデータ） (2020-04-06T17:58:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。