Fugu-MT 論文翻訳(概要): From Confidence to Collapse in LLM Factual Robustness

論文の概要: From Confidence to Collapse in LLM Factual Robustness

arxiv url: http://arxiv.org/abs/2508.16267v2
Date: Tue, 26 Aug 2025 11:54:16 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-27 13:17:04.042642
Title: From Confidence to Collapse in LLM Factual Robustness
Title（参考訳）: LLMファクチュアルロバストネスの信頼性から崩壊へ
Authors: Alina Fastowski, Bardh Prenkaj, Gjergji Kasneci,
Abstract要約: 生成プロセスの観点から,現実的ロバスト性を測定するための原則的アプローチを導入する。 FRS(Factual Robustness Score)は、デコード条件における摂動に対する事実の安定性を定量化する新しい計量である。
参考スコア（独自算出の注目度）: 21.27503954808115
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Ensuring the robustness of factual knowledge in LLMs is critical for reliable applications in tasks such as question answering and reasoning. However, existing evaluation methods predominantly focus on performance-based metrics, often investigating from the perspective of prompt perturbations, which captures only the externally triggered side of knowledge robustness. To bridge this gap, we introduce a principled approach to measure factual robustness from the perspective of the generation process by analyzing token distribution entropy in combination with temperature scaling sensitivity. These two factors build the Factual Robustness Score (FRS), a novel metric which quantifies the stability of a fact against perturbations in decoding conditions, given its initial uncertainty. To validate our approach, we conduct extensive experiments on 5 LLMs across 3 closed-book QA datasets (SQuAD, TriviaQA, and HotpotQA). We show that factual robustness varies significantly -- smaller models report an FRS of $0.76$, larger ones $0.93$ -- with accuracy degrading by ~$60\%$ under increased uncertainty. These insights demonstrate how entropy and temperature scaling impact factual accuracy, and lay a foundation for developing more robust knowledge retention and retrieval in future models.
Abstract（参考訳）: LLMにおける事実知識の堅牢性を保証することは、質問応答や推論といったタスクにおける信頼性の高い応用にとって重要である。しかし、既存の評価手法は主にパフォーマンスベースのメトリクスに焦点をあて、しばしば急激な摂動の観点から調査し、外部から引き起こされる知識の堅牢性のみを捉えている。このギャップを埋めるために,トークン分布エントロピーを温度スケーリング感度と組み合わせて解析することにより,生成過程の観点から実効性を測定するための原則的アプローチを導入する。これらの2つの要因がFRS(Factual Robustness Score)を構築する。これは、最初の不確実性を考えると、デコード条件における摂動に対する事実の安定性を定量化する新しい計量である。提案手法を検証するため,3つのクローズドブックQAデータセット(SQuAD,TriviaQA,HotpotQA)にまたがる5つのLLM実験を行った。より小さなモデルでは FRS が 0.76$ で、より大きいモデルは0.93$ で、精度は ~60\% に低下する。これらの知見はエントロピーと温度のスケーリングが事実の精度にどのように影響するかを示し、将来のモデルにおけるより堅牢な知識保持と検索の基盤を築き上げている。

関連論文リスト

ReasonBENCH: Benchmarking the (In)Stability of LLM Reasoning [2.1461777157838724]
ReasonBENCHは,大規模言語モデル(LLM)推論における基盤不安定性を定量化する最初のベンチマークである。異なる領域からのタスク全体で、推論戦略とモデルの大部分は高い不安定性を示す。我々はさらに、解答率と安定性のトレードオフに対するプロンプト、モデル家族、スケールの影響を解析する。
論文参考訳（メタデータ） (2025-12-08T18:26:58Z)
Confidence-Based Response Abstinence: Improving LLM Trustworthiness via Activation-Based Uncertainty Estimation [7.3923284353934875]
本稿では,大規模言語モデル(LLM)出力の正しさと密接に一致したRAGシステムにおける信頼度推定手法を提案する。提案手法は、生のフィードフォワードネットワーク(FFN)を自己回帰信号として活用することにより、事前の不確実性定量化手法を拡張した。我々の結果は、アクティベーションに基づく信頼度モデリングが、信頼性の高いRAGデプロイメントへのスケーラブルでアーキテクチャを意識したパスを提供することを示した。
論文参考訳（メタデータ） (2025-10-15T16:55:56Z)
Towards Harmonized Uncertainty Estimation for Large Language Models [22.58034272573749]
不確実性推定によって世代間の信頼性を定量化することが不可欠である。 CUE(Corrector for Uncertainity Estimation:不確かさ推定のためのコレクタ)を提案する。
論文参考訳（メタデータ） (2025-05-25T10:17:57Z)
Token-Level Uncertainty Estimation for Large Language Model Reasoning [24.56760223952017]
大きな言語モデル(LLM)は印象的な機能を示していますが、その出力品質はさまざまなアプリケーションシナリオで相容れないままです。本稿では, LLMの自己評価と, 数学的推論における生成品質の自己向上を可能にするトークンレベルの不確実性推定フレームワークを提案する。
論文参考訳（メタデータ） (2025-05-16T22:47:32Z)
Enhancing LLM Reliability via Explicit Knowledge Boundary Modeling [48.15636223774418]
大規模言語モデル(LLM)は、不一致の自己認識に起因する幻覚の傾向にある。本稿では,高速かつ低速な推論システムを統合し,信頼性とユーザビリティを調和させる明示的知識境界モデリングフレームワークを提案する。
論文参考訳（メタデータ） (2025-03-04T03:16:02Z)
Towards Fully Exploiting LLM Internal States to Enhance Knowledge Boundary Perception [58.62352010928591]
大きな言語モデル(LLM)は様々なタスクにまたがって優れたパフォーマンスを示すが、しばしば知識境界を正確に測定するのに苦労する。本稿では,LLMの内部状態を有効利用して,効率性やリスクの観点から知識境界に対する認識を高める方法について検討する。
論文参考訳（メタデータ） (2025-02-17T11:11:09Z)
Estimating LLM Uncertainty with Evidence [66.51144261657983]
本稿では,大規模言語モデルにおける非結合トークンの不確実性を推定するためのフレームワークとして,ロジッツ誘発トークン不確実性(LogTokU)を提案する。我々は,LogTokUの実装にエビデンスモデリングを採用し,その不確実性を推定して下流タスクを導出する。
論文参考訳（メタデータ） (2025-02-01T03:18:02Z)
Uncertainty is Fragile: Manipulating Uncertainty in Large Language Models [79.76293901420146]
大規模言語モデル(LLM)は、出力の信頼性が不可欠である様々な高い領域で採用されている。本研究では,不確実性推定の脆弱性を調査し,攻撃の可能性を探る。攻撃者がLSMにバックドアを埋め込むことができ、入力中の特定のトリガーによって起動されると、最終的な出力に影響を与えることなくモデルの不確実性を操作できることを示す。
論文参考訳（メタデータ） (2024-07-15T23:41:11Z)
Rigorous Probabilistic Guarantees for Robust Counterfactual Explanations [80.86128012438834]
モデルシフトに対する反ファクトの堅牢性を計算することはNP完全であることを示す。本稿では,頑健性の厳密な推定を高い保証で実現する新しい確率論的手法を提案する。
論文参考訳（メタデータ） (2024-07-10T09:13:11Z)
Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。本稿では,LLMのための不確実性分解フレームワークについて述べる。提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
論文参考訳（メタデータ） (2023-11-15T05:58:35Z)
Improving the Reliability of Large Language Models by Leveraging Uncertainty-Aware In-Context Learning [76.98542249776257]
大規模言語モデルはしばしば「ハロシン化」の課題に直面している本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
論文参考訳（メタデータ） (2023-10-07T12:06:53Z)
A Survey on Uncertainty Toolkits for Deep Learning [3.113304966059062]
ディープラーニング(DL)における不確実性推定のためのツールキットに関する第1回調査について述べる。モデリングおよび評価能力に関する11のツールキットについて検討する。最初の2つは、それぞれのフレームワークに大きな柔軟性とシームレスな統合を提供するが、最後の2つは、より大きな方法論的スコープを持っている。
論文参考訳（メタデータ） (2022-05-02T17:23:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。