論文の概要: From Unreliable to Usable: Decomposing Failure Modes and Confidence Signals in LLM Entity Extraction - Evidence from Cyber Threat Intelligence
- arxiv url: http://arxiv.org/abs/2610.20417v1
- Date: Wed, 14 Oct 2026 16:13:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:16.247762
- Title: From Unreliable to Usable: Decomposing Failure Modes and Confidence Signals in LLM Entity Extraction - Evidence from Cyber Threat Intelligence
- Title（参考訳）: 信頼できないものから使用可能なものへ: LLMエンティティ抽出における障害モードと信頼信号の分解 -サイバー脅威情報からの証拠
- Abstract要約: 大規模言語モデル (LLM) のフル長文書からの抽出では, 信頼性が著しく低いことが報告されている。
フラッグシップ層制御による2つの次世代低コストLCMの事前登録と凍結評価を行う。
ゼロコストの自己整合性-周波数階層化は、6つのテストスプリットモデル型細胞すべてにおいて、事前登録された上位30%の精度-ゲインバーを通過させる。
- 参考スコア（独自算出の注目度）: 0.18049490005680824
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Audits of large language model (LLM) extraction from full-length documents report severe unreliability, leaving two questions open: what the failures actually consist of, and whether confidence signals can turn unreliable output into usable output. We run a preregistered, fully frozen evaluation of two new-generation low-cost LLMs (DeepSeek-V4-Flash, GLM-5.3-Flash) with a flagship-tier control (GPT-6.1-Sol) on a public corpus of 354 incident campaigns (315 unique reports, 630 model-report evaluations), scoring extraction quality against gold, confidence calibration, and robustness to single-sentence perturbations. Three findings emerge. (1) Unreliability persists across tiers: micro precision is 0.03-0.34 and verbalized calibration error (ECE) 0.53-0.94 across both splits; the gap does not close at the flagship tier. (2) The dominant failure is not hallucination: a full mention census plus a three-tier annotation of 360 sampled candidates (two independent LLM annotators from vendors outside the evaluated set, Cohen's kappa = 0.79 on the preregistered acceptance line, fully disclosed) back-projects to 65.6% background mentions and 19.9% gold-scope gaps, with only 1.2% unsupported candidates. (3) Confidence ranks but does not verify: zero-cost self-consistency-frequency tiering passes a preregistered top-30% precision-gain bar in all six test-split model-type cells (4/6 on train), the zero-cost text-frequency x SC frequency combination wins 3, ties 2, loses 1 across cells, yet relation-level counterfactuals on all 45 targets show that a single misattribution sentence flips high-confidence judgments in 95.6-100% of cases, and even a background sentence explicitly marked as unrelated still binds a fake vulnerability in up to 26.7% of them. We conclude with a deployment boundary: confidence tiering may set review priorities, never truth.
- Abstract（参考訳）: 長大な言語モデル (LLM) をフル長の文書から抽出した聴取者は、重大な信頼性の欠如を報告し、2つの疑問が浮かび上がっている。
我々は,354件のインシデントキャンペーン(315件のユニークなレポート,630件のモデルレポート評価)の公開コーパス上で,フラッグ級制御(GPT-6.1-Sol)を備えた2種類の新世代低コストLCM(DeepSeek-V4-Flash,GLM-5.3-Flash)の事前登録,凍結評価を行い,ゴールドに対する抽出品質,信頼性校正,単一文摂動に対する堅牢性を評価した。
3つの発見がある。
1)微視的精度は0.03-0.34であり, 両分割で弁別校正誤差(ECE) 0.53-0.94 である。
2) 主要な失敗は幻覚ではない: 完全な言及された国勢調査と360個のサンプル候補の3段階の注釈(評価対象外のベンダーからの2つの独立したLCMアノテーション、登録済み受理ライン上のCohen's kappa = 0.79、完全に開示されている) バックプロジェクトから65.6%のバックグラウンド参照と19.9%のゴールドスコープギャップ。
(3) 信頼度ランキングは検証されていない: ゼロコストの自己整合性頻度階層は、6つのテストスプリットモデル型細胞(列車では4/6)で事前登録された上位30%の精度ゲインバーを通過し、ゼロコストのテキスト周波数xSC周波数結合が3, ties 2が勝利し、セル間で1が失われる。
信頼性階層化はレビューの優先順位を設定します。
関連論文リスト
- An Analysis of Training-Free Self-Reported Confidence in Language Models [13.820419805749436]
我々は,回答で言語化された信頼度,ポストホックな$P(mathrmTrue)$,同じ100のTriviaQA質問でさらに3世代と合意する,3つのトレーニング自由信号を分析した。
1つのモデルから9つのエラーのうち4つと、もう1つのモデルから8つのエラーが一致したサンプルサポートを受けており、自己一貫性が共有された誤解を増幅できることを示している。
論文 参考訳（メタデータ） (2026-09-17T15:10:28Z) - Unmatched Does Not Mean False: Incomplete Reference Sets Can Reverse Calibration Rankings in Open-Ended Theory-of-Mind Tracking [0.5735035463793009]
Open-ended Theory-of-Mind (ToM) トラッカーは有限参照を欠く有効な信念を出力する。
有限参照+マーチャントパイプラインは、不正な出力をマークし、適切なスコアモデル選択をリバース可能なプロキシラベルを生成する。
論文 参考訳（メタデータ） (2026-08-26T11:36:31Z) - Calibrated Trust, Not Sharper Prediction: An Empirical Test of Uncertainty Fusion [0.0]
法的AIにおける繰り返しの提案は、ケースアウトの予測を改善することである。
実際に1000件の欧州人権裁判所でテストしています。
論文 参考訳（メタデータ） (2026-07-11T09:58:09Z) - Catching One in Five: LLM-as-Judge Blind Spots in Production Multi-Turn Transaction Agents [45.148328075418156]
デプロイされた多ターン食品・飲料注文エージェントについて検討し,実際の品質問題の数を測定した。
私たちの盲点分類は、失敗はランダムではなく構造化されていることを示している。
プロダクションマルチターンエージェントでは、自動判断はリグレッションフロアであり、人間のレビューの代わりにはならない。
論文 参考訳（メタデータ） (2026-06-09T02:11:01Z) - Evidence-Grounded Ensemble Diagnosis of 802.11 Packet Captures: A Multi-Stage Pipeline with Deterministic Reliability Scoring [1.0170129555792935]
802.11パケットキャプチャの診断には、専門家のプロトコル知識が必要で、遅く、エンジニア間で一貫性がなく、スケールできない。
LLMベースのアプローチは、キャプチャーから欠落するが製造されたプロトコルイベントを聴取し、未校正された信頼スコアを生成し、テスト中のモデルによって黄金の基準が共同生成されると評価バイアスを被る。
PROBEは3つの障害に対処する多段階パイプラインである。
論文 参考訳（メタデータ） (2026-06-05T03:39:58Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - VERDI: Single-Call Confidence Estimation for Verification-Based LLM Judges via Decomposed Inference [0.0]
VERDI(verification-Decomposed Inference Inference)は、構造化された裁判官から信頼を抽出する手法である。
VERDIは各評価をサブチェックに分解し、3つの構造信号を導出する。
3つの公開ベンチマークで、VERDIはGPT-4.1-miniでAUROC 0.72-0.91、GPT-5.4-miniで0.66-0.80を達成した。
論文 参考訳（メタデータ） (2026-05-11T23:39:19Z) - Measuring Five-Nines Reliability: Sample-Efficient LLM Evaluation in Saturated Benchmarks [45.86413490112477]
大規模言語モデル(LLM)は信頼性に敏感なアプリケーションで使用される。
厳密な信頼境界を持つ稀な失敗確率を推定するには、違法に大きなLSM推論サイズが必要である。
そこで本研究では,クロスエントロピー手法を用いて,故障確率入力に集中したサンプリング分布を学習する。
論文 参考訳（メタデータ） (2026-05-11T20:23:44Z) - CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。
ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
論文 参考訳（メタデータ） (2025-10-02T02:14:33Z) - Probabilistic Soundness Guarantees in LLM Reasoning Chains [37.440902632372904]
ARES(Autoregressive Reasoning Entailment Stability)は、事前に検証された前提のみに基づいて、各推論ステップを評価する確率的フレームワークである。
ARESは4つのベンチマークで最先端のパフォーマンスを達成し、非常に長い合成推論チェーン上で優れた堅牢性を示す。
論文 参考訳（メタデータ） (2025-07-17T09:40:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。