論文の概要: Hierarchy-Aware Supervised Uncertainty Estimation for Black-box LLM Taxonomic Reasoning

• arxiv url: http://arxiv.org/abs/2608.22839v1
• Date: Mon, 24 Aug 2026 06:05:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.904002
• Title: Hierarchy-Aware Supervised Uncertainty Estimation for Black-box LLM Taxonomic Reasoning
• Title（参考訳）: ブラックボックスLDMの分類的推論における階層性を考慮した不確実性推定
• Abstract要約: 大規模言語モデル(LLM)は、科学的な意思決定支援にますます使われている。 ブラックボックスLLMによる階層型分類推論の不確実性評価について検討した。 我々は、階級別正当性を予測するために、階層型監督による軽量な教師付き推定器を訓練する。
• 参考スコア（独自算出の注目度）: 8.203355513491818
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly used for scientific decision support, yet reliable confidence estimation remains difficult in black-box settings. We study uncertainty estimation for hierarchical taxonomic reasoning generated by a black-box LLM in a long-tailed biodiversity monitoring pipeline. Using proxy features extracted by an open-source tool LLM, we train lightweight supervised estimators with hierarchy-aware supervision to predict rank-wise correctness. Across three tool LLMs, the supervised estimators consistently outperform a token-likelihood baseline for micro discrimination and selective prediction under a single global rejection threshold, improving micro AUROC from 0.57 to 0.75--0.80. The best results are achieved by a rank-specific multi-head design (H3), suggesting that accounting for hierarchical output structure is important when a unified abstention rule is required. Our code is publicly available at https://github.com/uoguelph-mlrg/hierarchy-aware-llm-uq
• Abstract（参考訳）: 大規模言語モデル (LLM) は科学的決定支援にますます利用されているが、ブラックボックス設定では信頼性の高い信頼推定が難しい。 我々は,長い尾を持つ生物多様性モニタリングパイプラインにおいて,ブラックボックスLLMが生み出す階層的分類学的推論の不確実性について検討した。 オープンソースツールLLMによって抽出されたプロキシ機能を用いて、階層型監視による軽量教師付き推定器を訓練し、ランクワイドの正確性を予測する。 3つのツール LLM 全体で、教師付き推定器は、単一グローバルな拒絶しきい値の下で、マイクロ識別と選択予測のためのトークン様のベースラインを一貫して上回り、マイクロAUROC を 0.57 から 0.75-0.80 に改善した。 その結果,階層構造を考慮した多面体設計(H3)が達成され,統一的禁制ルールが要求される場合,階層的な出力構造を考慮に入れることが重要であることが示唆された。 私たちのコードはhttps://github.com/uoguelph-mlrg/hierarchy-aware-llm-uqで公開されています。

関連論文リスト

• ProbPlug: A Plugin Uncertainty Network for Reliable Confidence in LLM Binary Classification [32.450111854944005]
  本稿では,バイナリ分類のための軽量信頼度推定フレームワークProbPlugを紹介する。 ProbPlugは、凍結した大きな言語モデルから抽出された内部トークン機能を使って出力が正しいかどうかを予測する。 実験の結果, ProbPlugは信頼性の高い信頼性評価を提供し, 追加オーバーヘッドを無視して分類性能を向上し, タスク間の高度な一般化を示すことがわかった。
  論文  参考訳（メタデータ） (2026-09-09T13:00:22Z)
• LLM-as-a-Verifier: A General-Purpose Verification Framework [74.40111651545979]
  本稿では,汎用検証フレームワーク LLM-as-a-Verifier を紹介する。 追加のトレーニングを必要とせずに、エージェントタスクに対してきめ細かいフィードバックを提供する。 いくつかのベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-07-06T17:59:35Z)
• Robust LLM Performance Certification via Constrained Maximum Likelihood Estimation [14.465019747508604]
  制約付き最大自由度推定(MLE)に基づくLLM故障率推定の新しい,実用的で効率的なアプローチを提案する。 我々は、予測パワー推論(PPI)のような最先端のベースラインに対して、包括的な実証研究を通じてアプローチを検証する。
  論文  参考訳（メタデータ） (2026-03-11T21:48:40Z)
• From Stochastic Answers to Verifiable Reasoning: Interpretable Decision-Making with LLM-Generated Code [0.0]
  大規模言語モデル(LLM)は、高い意思決定にますます使われている。 ブラックボックスモデルはそれらの推論を曖昧にし、最近のLCMベースのルールシステムはサンプル単位の評価に依存している。 我々は,LLMをインスタンスごとの評価器ではなくコードジェネレータとして再フレーミングすることを提案する。
  論文  参考訳（メタデータ） (2026-02-28T00:27:29Z)
• Reasoning with Confidence: Efficient Verification of LLM Reasoning Steps via Uncertainty Heads [104.9566359759396]
  データ駆動の不確実性スコアに基づくステップレベルの推論検証の軽量な代替案を提案する。 本研究は, LLMの内部状態が不確実性を符号化し, 信頼性の高い検証信号として機能することが示唆された。
  論文  参考訳（メタデータ） (2025-11-09T03:38:29Z)
• Supervised Optimism Correction: Be Confident When LLMs Are Sure [91.7459076316849]
  教師付き微調整とオフライン強化学習の間には,新たな理論的関係が確立されている。 広く使われているビームサーチ法は、許容できない過度な最適化に悩まされていることを示す。 本稿では,トークンレベル$Q$-value推定のための簡易かつ効果的な補助的損失を導入したSupervised Optimism Correctionを提案する。
  論文  参考訳（メタデータ） (2025-04-10T07:50:03Z)
• PredictaBoard: Benchmarking LLM Score Predictability [50.47497036981544]
  大きな言語モデル(LLM)は予測不能に失敗することが多い。 これは、安全なデプロイメントを保証する上で、大きな課題となる。 PredictaBoardは,新しいベンチマークフレームワークである。
  論文  参考訳（メタデータ） (2025-02-20T10:52:38Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Evaluating Uncertainty-based Failure Detection for Closed-Loop LLM Planners [10.746821861109176]
  大型言語モデル(LLM)は、ロボットタスクのためのゼロショットタスクプランナーとして、目覚ましいパフォーマンスをみせている。 しかし、以前の研究のオープンループの性質は、LSMベースの計画がエラーを起こしやすく、脆弱である。 本研究では,不確実性に基づくMLLM故障検出装置をベースとした,閉ループLLMに基づくKnowLoop計画のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-01T12:52:06Z)
• Uncertainty Quantification with Pre-trained Language Models: A Large-Scale Empirical Analysis [120.9545643534454]
  パイプラインは校正誤差を最小限に抑えることが重要であり、特に安全クリティカルな応用において重要である。 パイプラインの背景には,(1)PLMの選択と(2)サイズ,(3)不確実性定量化器の選択,(4)微調整損失の選択など,さまざまな考察がある。 1) PLM符号化にELECTRAを使用し、(2) 可能であればより大きなPLMを使用し、(3) 不確実性定量化にTemp Scalingを使用し、(4) 微調整にFocal Lossを使用する。
  論文  参考訳（メタデータ） (2022-10-10T14:16:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。