Fugu-MT 論文翻訳(概要): Selective Risk Certification for LLM Outputs via Information-Lift Statistics: PAC-Bayes, Robustness, and Skeleton Design

論文の概要: Selective Risk Certification for LLM Outputs via Information-Lift Statistics: PAC-Bayes, Robustness, and Skeleton Design

arxiv url: http://arxiv.org/abs/2509.12527v2
Date: Thu, 25 Sep 2025 01:55:13 GMT
ステータス: 翻訳完了
システム内更新日: 2025-09-26 12:02:33.895479
Title: Selective Risk Certification for LLM Outputs via Information-Lift Statistics: PAC-Bayes, Robustness, and Skeleton Design
Title（参考訳）: PAC-Bayes, Robustness, Skeleton Design
Authors: Sanjeda Akter, Ibne Farabi Shihab, Anuj Sharma,
Abstract要約: 我々は,モデル確率を骨格ベースラインと比較し,重み付き境界の下で有効なPAC-Bayesに証拠を蓄積する情報リフト証明書を開発した。 8つのデータセットにまたがって77.2%のカバレッジを2%のリスクで達成し、最近の2023～2024のベースラインを8.6～15.1ポイント上回った。
参考スコア（独自算出の注目度）: 6.908972852063454
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large language models frequently generate confident but incorrect outputs, requiring formal uncertainty quantification with abstention guarantees. We develop information-lift certificates that compare model probabilities to a skeleton baseline, accumulating evidence into sub-gamma PAC-Bayes bounds valid under heavy-tailed distributions. Across eight datasets, our method achieves 77.2\% coverage at 2\% risk, outperforming recent 2023-2024 baselines by 8.6-15.1 percentage points, while blocking 96\% of critical errors in high-stakes scenarios vs 18-31\% for entropy methods. Limitations include skeleton dependence and frequency-only (not severity-aware) risk control, though performance degrades gracefully under corruption.
Abstract（参考訳）: 大規模言語モデルは、しばしば自信があるが誤った出力を生成し、不確かさの保証を伴う形式的不確かさの定量化を必要とする。我々は,モデル確率を骨格ベースラインと比較し,重み付き分布下で有効なサブガンマPAC-Bayes境界に証拠を蓄積する情報リフト証明書を開発した。 8つのデータセットにわたって、我々の手法は77.2\%のカバレッジを2\%のリスクで達成し、最近の2023-2024のベースラインを8.6～15.1ポイント上回った。制限には骨格依存や周波数のみのリスクコントロールが含まれるが、性能は汚職下で優雅に低下する。

関連論文リスト

BAPE: Learning an Explicit Bayes Classifier for Long-tailed Visual Recognition [78.70453964041718]
現在のディープラーニングアルゴリズムは通常、後部確率を簡易に推定することで最適分類器を解く。この単純な手法は、厳密にバランスのとれた学術ベンチマークデータセットに有効であることが証明されている。しかし、これは現実世界の長い尾のデータ分布には適用できない。本稿では,データ分布のより正確な理論的推定を行う新しい手法(BAPE)を提案する。
論文参考訳（メタデータ） (2025-06-29T15:12:50Z)
Principled Input-Output-Conditioned Post-Hoc Uncertainty Estimation for Regression Networks [1.4671424999873808]
不確実性は安全性に敏感なアプリケーションでは重要であるが、予測性能に悪影響を及ぼすため、市販のニューラルネットワークから排除されることが多い。本稿では,従来の入力と凍結モデルの両方に補助モデルを適用することにより,回帰タスクにおけるポストホック不確実性推定のための理論的基盤となるフレームワークを提案する。
論文参考訳（メタデータ） (2025-06-01T09:13:27Z)
Quantifying Prediction Consistency Under Fine-Tuning Multiplicity in Tabular LLMs [10.494477811252034]
微調整多重度は分類タスクにおけるタブラル LLM に現れる。我々の研究は、タブラルLLMにおける微調整多重性というこのユニークな挑戦を定式化する。本稿では,コストのかかるモデル再訓練を伴わずに,個々の予測の一貫性を定量化する手法を提案する。
論文参考訳（メタデータ） (2024-07-04T22:22:09Z)
Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文参考訳（メタデータ） (2024-06-05T16:35:30Z)
Distributionally Robust Skeleton Learning of Discrete Bayesian Networks [9.46389554092506]
我々は、潜在的に破損したデータから一般的な離散ベイズネットワークの正確なスケルトンを学習する問題を考察する。本稿では,有界ワッサーシュタイン距離(KL)における分布群に対する最も有害なリスクを,経験的分布へのKL分散を最適化することを提案する。本稿では,提案手法が標準正規化回帰手法と密接に関連していることを示す。
論文参考訳（メタデータ） (2023-11-10T15:33:19Z)
On the Variance, Admissibility, and Stability of Empirical Risk Minimization [80.26309576810844]
2乗損失を持つ経験的リスク最小化(ERM)は、極小最適誤差率に達する可能性がある。軽微な仮定では、ERMの準最適性はばらつきよりも大きなバイアスによるものでなければならない。また、我々の推定は、非ドンスカー類に対するCaponnetto と Rakhlin (2006) の主な結果を補完する ERM の安定性を示唆している。
論文参考訳（メタデータ） (2023-05-29T15:25:48Z)
Provable Adversarial Robustness for Fractional Lp Threat Models [136.79415677706612]
分数L_pの「ノルム」で区切られた攻撃はまだ十分に検討されていない。いくつかの望ましい性質を持つ防衛法を提案する。証明可能な(認証された)堅牢性を提供し、ImageNetにスケールし、(高い確率ではなく)決定論的保証を得る。
論文参考訳（メタデータ） (2022-03-16T21:11:41Z)
Robust PAC$^m$: Training Ensemble Models Under Misspecification and Outliers [46.38465729190199]
PAC-ベイズ理論は、ベイズ学習によって最小化された自由エネルギー基準が、ギブス予想器の一般化誤差に束縛されていることを証明している。この研究は、一般化されたスコア関数とPAC$m$アンサンブル境界を組み合わせた、新しい堅牢な自由エネルギー基準を示す。
論文参考訳（メタデータ） (2022-03-03T17:11:07Z)
Self-Certifying Classification by Linearized Deep Assignment [65.0100925582087]
そこで我々は,PAC-Bayesリスク認定パラダイム内で,グラフ上のメトリックデータを分類するための新しい深層予測器のクラスを提案する。 PAC-Bayesの最近の文献とデータに依存した先行研究に基づいて、この手法は仮説空間上の後続分布の学習を可能にする。
論文参考訳（メタデータ） (2022-01-26T19:59:14Z)
RATT: Leveraging Unlabeled Data to Guarantee Generalization [96.08979093738024]
ラベルのないデータを利用して一般化境界を生成する手法を紹介します。境界が0-1経験的リスク最小化に有効であることを証明します。この作業は、見えないラベル付きデータが利用できない場合でも、ディープネットの一般化を証明するためのオプションを実践者に提供します。
論文参考訳（メタデータ） (2021-05-01T17:05:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。