論文の概要: ProbPlug: A Plugin Uncertainty Network for Reliable Confidence in LLM Binary Classification

• arxiv url: http://arxiv.org/abs/2609.10122v1
• Date: Wed, 09 Sep 2026 13:00:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:09.030362
• Title: ProbPlug: A Plugin Uncertainty Network for Reliable Confidence in LLM Binary Classification
• Title（参考訳）: ProbPlug: LLMバイナリ分類における信頼性信頼のためのプラグイン不確実性ネットワーク
• Abstract要約: 本稿では,バイナリ分類のための軽量信頼度推定フレームワークProbPlugを紹介する。 ProbPlugは、凍結した大きな言語モデルから抽出された内部トークン機能を使って出力が正しいかどうかを予測する。 実験の結果, ProbPlugは信頼性の高い信頼性評価を提供し, 追加オーバーヘッドを無視して分類性能を向上し, タスク間の高度な一般化を示すことがわかった。
• 参考スコア（独自算出の注目度）: 32.450111854944005
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have achieved strong performance across a broad range of classification settings, yet the reliability of their predictions remains a major obstacle to deployment in high-stakes scenarios. Although confidence estimation for LLMs has been widely studied, confidence calibration for LLM-based classification remains underexplored. We introduce ProbPlug, a lightweight confidence estimation framework for LLM-based binary classification, which predicts whether an output is correct using internal token features extracted from a frozen LLM. ProbPlug employs a self-attention module to aggregate hidden representations and can be integrated into the original inference pipeline without modifying the base model. Experiments across multiple tasks involving both text-based and multimodal large models show that ProbPlug provides more reliable confidence estimates, improves classification performance with negligible additional overhead, and exhibits strong generalization across tasks. These results indicate that ProbPlug serves as a practical solution for confidence estimation in LLM-based classification. Our code is publicly available at Github.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、幅広い分類設定において強力なパフォーマンスを達成しているが、その予測の信頼性は、ハイテイクなシナリオにおけるデプロイメントの大きな障害である。 LLMの信頼性評価は広く研究されているが, LLM分類の信頼性校正はいまだに未検討である。 本稿では,LLMを用いたバイナリ分類のための軽量信頼度推定フレームワークProbPlugを紹介し,凍結したLLMから抽出した内部トークン特徴を用いて,出力が正しいかどうかを予測する。 ProbPlugは、隠された表現を集約するために自己アテンションモジュールを使用し、ベースモデルを変更せずにオリジナルの推論パイプラインに統合できる。 テキストベースおよびマルチモーダル大モデルの両方を含む複数のタスクに対する実験により、ProbPlugはより信頼性の高い信頼度推定を提供し、無視できる追加オーバーヘッドで分類性能を改善し、タスク間の強力な一般化を示す。 これらの結果から, ProbPlug は LLM 分類における信頼度推定の実践的解法として機能することが示唆された。 私たちのコードはGithubで公開されています。

関連論文リスト

• Instinct vs. Reflection: Unifying Token and Verbalized Confidence in Multimodal Large Models [11.878003218072765]
  MLLM(Multimodal Large Language Models)は、様々な知覚や推論タスクにおいて例外的な機能を示す。 二重チャネル信号とチャネル間の整合性を融合して正当性を推定するモノトーン信頼融合フレームワークを提案する。 各種オープンソースおよびクローズドソースMLLMの実験結果から,本手法は信頼性の高い推定値が得られることがわかった。
  論文  参考訳（メタデータ） (2026-04-19T06:07:39Z)
• Intra-Class Probabilistic Embeddings for Uncertainty Estimation in Vision-Language Models [7.5752750293638735]
  コントラッシブ・ビジョン言語モデルに対するトレーニング不要・ポストホック不確実性推定手法を提案する。 我々の手法はVLM非依存であり、微調整を必要とせず、分散シフトに対する堅牢性を示し、1クラスにつき10のトレーニングイメージで効果的に機能する。
  論文  参考訳（メタデータ） (2025-11-27T01:48:27Z)
• Towards Reliable and Practical LLM Security Evaluations via Bayesian Modelling [1.0266286487433585]
  新しい大規模言語モデル(LLM)アーキテクチャを採用する前に、脆弱性を正確に理解することが重要である。 既存の評価を信頼することは困難であり、しばしばLLMから結論を導き出す。 インジェクション攻撃の迅速化を目的としたLCM脆弱性評価のための,原則的かつ実用的なエンドツーエンドフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-07T09:22:22Z)
• Mind the Generation Process: Fine-Grained Confidence Estimation During LLM Generation [63.49409574310576]
  大規模言語モデル(LLM)は自信過剰を示し、信頼度の高いスコアを誤った予測に割り当てる。 本研究では,テキスト生成中に高精度できめ細かな信頼スコアを提供する信頼度推定手法であるFineCEを紹介する。 論文で使用されたコードとすべてのベースラインはGitHubで公開されている。
  論文  参考訳（メタデータ） (2025-08-16T13:29:35Z)
• Self-ensemble: Mitigating Confidence Mis-calibration for Large Language Models [67.62810111789338]
  大規模言語モデルでは,複数問合せ質問に対する信頼度歪みが問題となる。 この問題を解決するために自己組織化を提案する。 3つのLLMおよびデータセットの実験結果から,自己アンサンブルが信頼歪問題に包括的に対処できることが示されている。
  論文  参考訳（メタデータ） (2025-06-02T17:59:29Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• CSS: Contrastive Semantic Similarity for Uncertainty Quantification of LLMs [1.515687944002438]
  テキストペアの不確実性を測定するための類似性特徴を求めるモジュールであるContrastive Semantic similarityを提案する。 我々は,3つの大規模言語モデル (LLM) を用いて,複数のベンチマーク質問応答データセットについて広範な実験を行った。 提案手法は,LLMの信頼性の高い応答を,同等のベースラインよりも高い精度で推定できることを示す。
  論文  参考訳（メタデータ） (2024-06-05T11:35:44Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)
• Assessing the Reliability of Large Language Model Knowledge [78.38870272050106]
  大規模言語モデル(LLM)は、知識探索タスクにおける高い性能のため、知識ベースとして扱われてきた。 LLMが実際に正しい答えを連続的に生成する能力をどのように評価するか。 LLMの信頼性を直接測定するための新しい指標であるMOdel kNowledge relIabiliTy score (MONITOR)を提案する。
  論文  参考訳（メタデータ） (2023-10-15T12:40:30Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。