論文の概要: From Confidence to Collapse in LLM Factual Robustness
- arxiv url: http://arxiv.org/abs/2508.16267v2
- Date: Tue, 26 Aug 2025 11:54:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-27 13:17:04.042642
- Title: From Confidence to Collapse in LLM Factual Robustness
- Title（参考訳）: LLMファクチュアルロバストネスの信頼性から崩壊へ
- Authors: Alina Fastowski, Bardh Prenkaj, Gjergji Kasneci,
- Abstract要約: 生成プロセスの観点から,現実的ロバスト性を測定するための原則的アプローチを導入する。
FRS(Factual Robustness Score)は、デコード条件における摂動に対する事実の安定性を定量化する新しい計量である。
- 参考スコア（独自算出の注目度）: 21.27503954808115
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Ensuring the robustness of factual knowledge in LLMs is critical for reliable applications in tasks such as question answering and reasoning. However, existing evaluation methods predominantly focus on performance-based metrics, often investigating from the perspective of prompt perturbations, which captures only the externally triggered side of knowledge robustness. To bridge this gap, we introduce a principled approach to measure factual robustness from the perspective of the generation process by analyzing token distribution entropy in combination with temperature scaling sensitivity. These two factors build the Factual Robustness Score (FRS), a novel metric which quantifies the stability of a fact against perturbations in decoding conditions, given its initial uncertainty. To validate our approach, we conduct extensive experiments on 5 LLMs across 3 closed-book QA datasets (SQuAD, TriviaQA, and HotpotQA). We show that factual robustness varies significantly -- smaller models report an FRS of $0.76$, larger ones $0.93$ -- with accuracy degrading by ~$60\%$ under increased uncertainty. These insights demonstrate how entropy and temperature scaling impact factual accuracy, and lay a foundation for developing more robust knowledge retention and retrieval in future models.
- Abstract（参考訳）: LLMにおける事実知識の堅牢性を保証することは、質問応答や推論といったタスクにおける信頼性の高い応用にとって重要である。
しかし、既存の評価手法は主にパフォーマンスベースのメトリクスに焦点をあて、しばしば急激な摂動の観点から調査し、外部から引き起こされる知識の堅牢性のみを捉えている。
このギャップを埋めるために,トークン分布エントロピーを温度スケーリング感度と組み合わせて解析することにより,生成過程の観点から実効性を測定するための原則的アプローチを導入する。
これらの2つの要因がFRS(Factual Robustness Score)を構築する。これは、最初の不確実性を考えると、デコード条件における摂動に対する事実の安定性を定量化する新しい計量である。
提案手法を検証するため,3つのクローズドブックQAデータセット(SQuAD,TriviaQA,HotpotQA)にまたがる5つのLLM実験を行った。
より小さなモデルでは FRS が 0.76$ で、より大きいモデルは0.93$ で、精度は ~60\% に低下する。
これらの知見はエントロピーと温度のスケーリングが事実の精度にどのように影響するかを示し、将来のモデルにおけるより堅牢な知識保持と検索の基盤を築き上げている。
関連論文リスト
- Towards Harmonized Uncertainty Estimation for Large Language Models [22.58034272573749]
不確実性推定によって世代間の信頼性を定量化することが不可欠である。
CUE(Corrector for Uncertainity Estimation:不確かさ推定のためのコレクタ)を提案する。
論文 参考訳（メタデータ） (2025-05-25T10:17:57Z) - Token-Level Uncertainty Estimation for Large Language Model Reasoning [24.56760223952017]
大きな言語モデル(LLM)は印象的な機能を示していますが、その出力品質はさまざまなアプリケーションシナリオで相容れないままです。
本稿では, LLMの自己評価と, 数学的推論における生成品質の自己向上を可能にするトークンレベルの不確実性推定フレームワークを提案する。
論文 参考訳（メタデータ） (2025-05-16T22:47:32Z) - Enhancing LLM Reliability via Explicit Knowledge Boundary Modeling [48.15636223774418]
大規模言語モデル(LLM)は、不一致の自己認識に起因する幻覚の傾向にある。
本稿では,高速かつ低速な推論システムを統合し,信頼性とユーザビリティを調和させる明示的知識境界モデリングフレームワークを提案する。
論文 参考訳（メタデータ） (2025-03-04T03:16:02Z) - Towards Fully Exploiting LLM Internal States to Enhance Knowledge Boundary Perception [58.62352010928591]
大きな言語モデル(LLM)は様々なタスクにまたがって優れたパフォーマンスを示すが、しばしば知識境界を正確に測定するのに苦労する。
本稿では,LLMの内部状態を有効利用して,効率性やリスクの観点から知識境界に対する認識を高める方法について検討する。
論文 参考訳（メタデータ） (2025-02-17T11:11:09Z) - Estimating LLM Uncertainty with Evidence [66.51144261657983]
本稿では,大規模言語モデルにおける非結合トークンの不確実性を推定するためのフレームワークとして,ロジッツ誘発トークン不確実性(LogTokU)を提案する。
我々は,LogTokUの実装にエビデンスモデリングを採用し,その不確実性を推定して下流タスクを導出する。
論文 参考訳（メタデータ） (2025-02-01T03:18:02Z) - A Survey on Uncertainty Toolkits for Deep Learning [3.113304966059062]
ディープラーニング(DL)における不確実性推定のためのツールキットに関する第1回調査について述べる。
モデリングおよび評価能力に関する11のツールキットについて検討する。
最初の2つは、それぞれのフレームワークに大きな柔軟性とシームレスな統合を提供するが、最後の2つは、より大きな方法論的スコープを持っている。
論文 参考訳（メタデータ） (2022-05-02T17:23:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。