論文の概要: TRACE: Single-Pass Decoding-Trace Risk Localization for Generation Calibration
- arxiv url: http://arxiv.org/abs/2609.35387v1
- Date: Mon, 28 Sep 2026 15:19:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-02 05:58:27.095386
- Title: TRACE: Single-Pass Decoding-Trace Risk Localization for Generation Calibration
- Title（参考訳）: TRACE: ジェネレーションキャリブレーションのためのシングルパスデコード-トレースリスクローカライゼーション
- Abstract要約: 本稿では,デコード時間不確かさを3段階の軌跡として扱うTRACEを提案する。
TRACE+はラベルなしのリスクスコアを生成し、TRACE+は保持されたスプリットを使用してトレースのみの特徴を確率に分類する。
その結果,復号時間リスクのローカライズはキャリブレーションに対する一般的なアプローチであることがわかった。
- 参考スコア（独自算出の注目度）: 9.739155028567083
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reliable confidence estimation is essential for large language model deployment. However, answer-level calibration remains challenging because generation errors are often localized: a response may be fluent and high-probability overall while still failing at a critical number, entity, or factual claim. Existing estimators compress token probabilities, sequence likelihoods, entropy, or beam statistics into a global score, which can dilute such local risk signals. We propose TRACE, a single-pass, decoded-answer-preserving confidence estimator that treats decoding-time uncertainty as a trajectory through three steps: (i) recording token-level surprisal and predictive entropy during decoding, (ii) applying local risk operators to preserve uncertainty spikes, and (iii) converting localized trace risk into answer-level confidence. TRACE produces a label-free risk score, while TRACE+ calibrates trace-only features into probabilities using a held-out split, without extra generations or external verifiers. We evaluate four tasks against 19 calibration baselines, and TRACE+ reduces Brier from 0.149 to 0.137 and improves AUROC from 0.758 to 0.792 over the strongest likelihood baseline. Across seven LLMs, TRACE+ improves over the best non-TRACE baseline pool from 0.136 to 0.120 Brier and from 0.764 to 0.817 AUROC. Results show that localizing decoding-time risk provides a general approach to calibration.
- Abstract（参考訳）: 大規模言語モデルのデプロイメントには信頼性の高い信頼性推定が不可欠だ。
しかしながら、生成エラーがしばしば局所化されるため、答えレベルのキャリブレーションは難しいままである。
既存の推定器はトークン確率、シーケンス確率、エントロピー、ビーム統計を大域的なスコアに圧縮し、そのような局所的なリスク信号を希薄化する。
提案するTRACEは,デコード時間不確かさを3つのステップによるトラジェクタとして扱う,シングルパス・デコード・アンサー保存信頼度推定器である。
一 復号中にトークン単位の副次的及び予測的エントロピーを記録すること。
二 地域リスクオペレーターに不確実性スパイクの保全を施し、
三 局所的トレースリスクを回答レベルの信頼度に変換すること。
TRACE+ はラベルなしのリスクスコアを生成し、TRACE+ はトレースのみの特徴を、余分な世代や外部検証なしで、保持された分割を使って、確率に分類する。
我々は,19のキャリブレーションベースラインに対して4つのタスクを評価し,TRACE+ は Brier を0.149 から0.137 に削減し,AUROC を 0.758 から 0.792 に改善する。
TRACE+は7つのLCMで最高の非TRACEベースラインプールを0.136から0.1120 Brierに改善し、0.764から0.817 AUROCに改善した。
その結果,復号時間リスクのローカライズはキャリブレーションに対する一般的なアプローチであることがわかった。
関連論文リスト
- Trustworthy RAG: An Evaluation Agent for Detecting Misinformation and Knowledge Poisoning in Generative AI Systems [1.7327102304628392]
Retrieval-Augmented Generation (RAG) は、Large Language Model (LLM) を外部知識で出力する。
本稿では,自然言語推論(NLI)の事実検証,関連性重み付けによる5信号毒素検出,信頼指数T = 0.4 F + 0.35 C + 0.25 (1 - P) を組み合わせた評価エージェントを提案する。
Llama 3.3 70BのTrathfulQAでは、エージェントは91%の精度と100%の精度に達し、インストラクションインジェクションで100%リコールされる。
論文 参考訳（メタデータ） (2026-08-21T13:42:41Z) - Adaptive Finite-Budget Training for CVaR Risk-Aware Q-Learning [7.373349445059511]
リスク対応Q-ラーニング(RaQL)は、動的リスク目標に対するモデルフリーで2時間スケールの推定手段を提供する。
本稿では,CVaR(Conditional Value-at-Risk) RaQLの適応型トレーニングコントローラを提案し,これを日々のBitcoin取引タスクで評価する。
論文 参考訳（メタデータ） (2026-08-05T00:26:22Z) - Cybersecurity Detection Classification with Reasoning-enabled Language Models [50.72675435043546]
セキュリティオペレーションセンター(SOC)の大きな問題は、警告疲労である。
以前の作業では、大きな言語モデル(LLM)がトリアージラベルを直接出力するように促すか、あるいは微調整するが、検出が真の脅威であるかどうかを判断するよう訓練することはない。
我々は、実際の人間ラベルのWindowsエンドポイント検出に対して、推論可能なトリアージ分類器(CoT)を訓練する。
論文 参考訳（メタデータ） (2026-07-30T16:22:13Z) - Conformal Changepoint Localization and Root Cause Analysis with Corrupted Observations [55.76952683833966]
本稿では,データ破損時の信頼性設定サイズを低減するために,重み付きCONCH(W-CONCH)と重み付きCROC(W-CROC)を提案する。
画像ベースおよび実世界の変化点と根本原因ベンチマークの実験は、不確実性ベースの重み付けが信頼性セットのサイズを大幅に減少させることを示している。
論文 参考訳（メタデータ） (2026-07-29T05:16:59Z) - Discovery of Hidden Miscalibration Regimes [52.452902154360565]
モデルは何らかの入力を体系的に過信し、他人を過信することがある。
対応する誤校正分野を定義し,それを推定するための診断フレームワークを提案する。
提案手法は,入力空間のキャリブレーションを意識した表現を学習し,学習幾何学におけるカーネルの平滑化による符号付き局所的誤校正を推定する。
論文 参考訳（メタデータ） (2026-05-13T13:07:50Z) - PRISM: Generation-Time Detection and Mitigation of Secret Leakage in Multi-Agent LLM Pipelines [19.04544141221272]
PRISMは,情報漏洩を発生時の逐次的リスク蓄積問題として扱うリアルタイムディフェンスである。
各復号ステップにおいて、PRISMは語彙的、構造的、情報理論的、行動的、文脈的特徴にまたがる16の信号を校正リスクスコアに結合する。
PRISMは精度が1.000、リコールが0.712でF1 = 0.832を達成する。
論文 参考訳（メタデータ） (2026-05-11T14:11:41Z) - Know When You're Wrong: Aligning Confidence with Correctness for LLM Error Detection [0.0]
大規模言語モデル(LLM)は、ますます重要な意思決定システムにデプロイされている。
出力アンカートークン確率に基づく正規化信頼スコアを導入する。
これにより、最小限のオーバーヘッドでエラーや幻覚を直接検出できる。
論文 参考訳（メタデータ） (2026-02-18T07:05:12Z) - Conformal Lesion Segmentation for 3D Medical Images [82.92159832699583]
本稿では,データ駆動しきい値の校正をコンフォーマル化することで,テスト時間FNRが目標許容値以下であることを保証する,リスク制約付きフレームワークを提案する。
5つのバックボーンモデルにまたがる6つの3D-LSデータセット上でのCLSの統計的健全性と予測性能を検証し,臨床実践におけるリスク認識セグメンテーションの展開に関する実用的な知見を得た。
論文 参考訳（メタデータ） (2025-10-19T08:21:00Z) - Coverage-Guaranteed Speech Emotion Recognition via Calibrated Uncertainty-Adaptive Prediction Sets [0.0]
しばしば感情的な抑圧と突然のアウトバーストによって引き起こされる道路の怒りは、衝突や攻撃的な行動を引き起こすことによって道路の安全を著しく脅かす。
音声感情認識技術は、ネガティブな感情を早期に識別し、タイムリーな警告を発することにより、このリスクを軽減することができる。
本稿では,予測精度を統計的に厳格に保証するリスク制御予測フレームワークを提案する。
論文 参考訳（メタデータ） (2025-03-24T12:26:28Z) - Binary Classification with Confidence Difference [100.08818204756093]
本稿では,信頼性差分法 (ConfDiff) という,弱教師付き二項分類問題について考察する。
本稿では,この問題に対処するためのリスク一貫性のあるアプローチを提案し,推定誤差が最適収束率と一致することを示す。
また,整合性や収束率も証明されたオーバーフィッティング問題を緩和するためのリスク補正手法も導入する。
論文 参考訳（メタデータ） (2023-10-09T11:44:50Z) - Safe Deployment for Counterfactual Learning to Rank with Exposure-Based
Risk Minimization [63.93275508300137]
本稿では,安全な配置を理論的に保証する新たなリスク認識型対実学習ランク法を提案する。
提案手法の有効性を実験的に検証し,データが少ない場合の動作不良の早期回避に有効であることを示す。
論文 参考訳（メタデータ） (2023-04-26T15:54:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。