論文の概要: Estimating the Black-box LLM Uncertainty with Distribution-Aligned Adversarial Distillation

• arxiv url: http://arxiv.org/abs/2605.05777v1
• Date: Thu, 07 May 2026 07:09:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.589183
• Title: Estimating the Black-box LLM Uncertainty with Distribution-Aligned Adversarial Distillation
• Title（参考訳）: 配向逆蒸留によるブラックボックスLCMの不確かさの推定
• Authors: Huizi Cui, Huan Ma, Qilin Wang, Yuhang Gao, Changqing Zhang,
• Abstract要約: 本稿では,大規模言語モデルの出力分布の高品質な領域を学習するために,軽量プロキシモデルを誘導する世代識別アーキテクチャを提案する。 プロキシモデルを用いてブラックボックスLSMの特定の応答を再現し、エビデンス学習に基づいて対応する不確実性を推定する。
• 参考スコア（独自算出の注目度）: 26.477248267616527
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have progressed rapidly in complex reasoning and question answering, yet LLM hallucination remains a central bottleneck that hinders practical deployment, especially for commercial black-box LLMs accessible only via APIs. Existing uncertainty quantification methods typically depend on computationally expensive multiple sampling or internal parameters, which prevents real-time estimation and fails to capture information implicit in the black-box reasoning process. To address this issue, we propose Distribution-Aligned Adversarial Distillation (DisAAD), which introduces a generation-discrimination architecture to guide a lightweight proxy model to learn the high-quality regions of the output distribution of the black-box LLM, thus effectively endowing it with the ability to know whether the black-box LLM knows or not. Subsequently, we use the proxy model to reproduce the specific responses of the black-box LLM and estimate the corresponding uncertainty based on evidence learning. Extensive experiments have verified the effectiveness and promise of our proposed method, indicating that a proxy model even one that only accounts for 1\% of the target LLM's size can achieve reliable uncertainty quantification.
• Abstract（参考訳）: 大規模言語モデル(LLM)は複雑な推論と質問応答において急速に進歩しているが、LLM幻覚は、特にAPI経由でのみアクセス可能な商用のブラックボックスLSMにとって、実用的なデプロイメントを妨げる中心的なボトルネックであり続けている。 既存の不確実性定量化手法は一般に計算コストのかかる多重サンプリングや内部パラメータに依存しており、これはリアルタイムな推定を防ぎ、ブラックボックス推論プロセスで暗黙的な情報を取得するのに失敗する。 この問題に対処するため,我々は,ブラックボックスLLMの出力分布の高品質な領域を学習するための軽量プロキシモデルを誘導する世代識別アーキテクチャを導入し,ブラックボックスLLMが知っているかどうかを効果的に判断するDisAAD(Distributed-Aligned Adversarial Distillation)を提案する。 その後、プロキシモデルを用いて、ブラックボックスLSMの特定の応答を再現し、エビデンス学習に基づいて対応する不確実性を推定する。 大規模実験により提案手法の有効性と可能性を検証し, 目標LLMの約1倍の大きさのプロキシモデルであっても, 信頼性の高い不確実性定量化が達成できることを示した。

関連論文リスト

• Deep Learning-based Method for Expressing Knowledge Boundary of Black-Box LLM [5.711910452650628]
  大規模言語モデル(LLM)は目覚ましい成功を収めているが、コンテンツ生成の歪み(幻覚)の出現は、その実践的応用を制限している。 本稿では,ブラックボックスLLMの知識境界を表現する深層学習に基づくLSCL(LLM-Supervised Confidence Learning)を提案する。
  論文  参考訳（メタデータ） (2026-02-11T12:42:59Z)
• Reasoning with Confidence: Efficient Verification of LLM Reasoning Steps via Uncertainty Heads [104.9566359759396]
  データ駆動の不確実性スコアに基づくステップレベルの推論検証の軽量な代替案を提案する。 本研究は, LLMの内部状態が不確実性を符号化し, 信頼性の高い検証信号として機能することが示唆された。
  論文  参考訳（メタデータ） (2025-11-09T03:38:29Z)
• WakenLLM: Evaluating Reasoning Potential and Stability in LLMs via Fine-Grained Benchmarking [34.350505059394536]
  大規模言語モデル(LLM)は、推論タスクにおいて未知のラベルを頻繁に出力する。 我々は、モデル非能力に起因する未知の出力の一部を定量化するフレームワーク、WakenLLMを紹介した。
  論文  参考訳（メタデータ） (2025-07-22T03:21:48Z)
• Uncertainty-Aware Hybrid Inference with On-Device Small and Remote Large Language Models [49.48313161005423]
  ハイブリッド言語モデル(HLM)アーキテクチャは、モバイル端末で動作する小さな言語モデル(SLM)と、無線ネットワークの基地局(BS)にホストされる大きな言語モデル(LLM)を統合する。 HLMトークン生成プロセスは、投機的推論の原則に従っている: SLMの語彙分布はLSMにアップロードされ、LPMによって再サンプリングされる。 本研究では,不確実性を考慮したHLM (Uncertainty-aware opportunistic HLM) という新しいHLM構造を提案する。
  論文  参考訳（メタデータ） (2024-12-17T09:08:18Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Uncertainty Estimation and Quantification for LLMs: A Simple Supervised Approach [6.209293868095268]
  LLMにおける不確実性推定と校正の問題について検討する。 LLMの応答の不確かさを推定するためにラベル付きデータセットを利用する教師付きアプローチを提案する。 本手法は,ブラックボックス,グレイボックス,ホワイトボックスなど,モデルアクセシビリティの異なるレベルに適応し,実装が容易である。
  論文  参考訳（メタデータ） (2024-04-24T17:10:35Z)
• Assessing the Reliability of Large Language Model Knowledge [78.38870272050106]
  大規模言語モデル(LLM)は、知識探索タスクにおける高い性能のため、知識ベースとして扱われてきた。 LLMが実際に正しい答えを連続的に生成する能力をどのように評価するか。 LLMの信頼性を直接測定するための新しい指標であるMOdel kNowledge relIabiliTy score (MONITOR)を提案する。
  論文  参考訳（メタデータ） (2023-10-15T12:40:30Z)
• Generating with Confidence: Uncertainty Quantification for Black-box Large Language Models [37.63939774027709]
  自然言語生成(NLG)に特化した大規模言語モデル(LLM)が,最近,有望な機能を示すようになった。 我々は、信頼できない結果が無視されるか、さらなる評価のために得られるような、選択的なNLG*に適用し、いくつかの信頼/不確実性対策を提案し、比較する。 その結果, セマンティックな分散の簡易な測定は, LLM応答の質の信頼性を予測できることがわかった。
  論文  参考訳（メタデータ） (2023-05-30T16:31:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。