論文の概要: Beyond Confidence: Rethinking Self-Assessments for Performance Prediction in LLMs
- arxiv url: http://arxiv.org/abs/2605.07806v1
- Date: Fri, 08 May 2026 14:41:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-11 19:43:39.122041
- Title: Beyond Confidence: Rethinking Self-Assessments for Performance Prediction in LLMs
- Title（参考訳）: 信頼性を超えて - LLMのパフォーマンス予測のための自己評価を再考する
- Abstract要約: モデル自己評価の多次元的視点を提案する。
我々は自信とともに6つの評価に基づく自己評価の次元を導き出す。
能力に関する評価の次元、特に努力と能力は、一貫して一致し、信頼性よりも優れています。
- 参考スコア（独自算出の注目度）: 3.532798393283516
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) are increasingly used in settings where reliable self-assessment is critical. Assessing model reliability has evolved from using probabilistic correctness estimates to, more recently, eliciting verbalized confidence. Confidence, however, has been shown to be an inconsistent and overoptimistic predictor of model correctness. Drawing on cognitive appraisal theory, a framework from human psychology that decomposes self-evaluation into multiple components, we propose a multidimensional perspective on model self-assessment. We elicit six appraisal-based dimensions of self-assessment, alongside confidence, and evaluate their utility for predicting model failure across 12 LLMs and 38 tasks spanning eight domains. We find that competence-related appraisal dimensions, particularly effort and ability, consistently match or outperform confidence across most settings. Effort additionally yields less overoptimistic estimates that remain stable across model sizes. In contrast, affective dimensions provide marginally predictive signals. Furthermore, the most informative dimension varies systematically with task characteristics: effort is most predictive for reasoning-intensive tasks, while ability and confidence dominate on retrieval-oriented tasks. Broadly, our findings indicate that structured multidimensional self-assessment is a promising approach to improving the reliability and safety of language model deployment across diverse real-world settings.
- Abstract（参考訳）: 大きな言語モデル(LLM)は、信頼性の高い自己評価が重要であるような環境で、ますます使われています。
モデルの信頼性を評価することは、確率論的正当性の推定から、より最近では、言語化された信頼を引き出すまで進化してきた。
しかし、信頼はモデル正しさの不整合で過度に最適化された予測因子であることが示されている。
自己評価を複数の構成要素に分解する人間心理学の枠組みである認知評価理論に基づいて,モデル自己評価の多次元的視点を提案する。
評価に基づく6つの自己評価次元を信頼性とともに提案し、8つの領域にまたがる12のLLMと38のタスクにまたがるモデル故障を予測するための有用性を評価した。
コンピテンス関連の評価次元、特に努力と能力は、ほとんどの設定において一貫して一致または優れています。
さらに、モデルサイズ全体にわたって安定な、過度に最適化された見積もりが得られない。
対照的に、感情的な次元は極端に予測的な信号を与える。
作業は推論集約的なタスクに対して最も予測的であり、能力と信頼性は検索指向のタスクに支配的である。
概ね,構造化多次元自己評価は,多様な実世界の環境における言語モデル展開の信頼性と安全性を向上させるための,有望なアプローチであると考えられた。
関連論文リスト
- Benchmarking Trustworthiness of SLMs: Pre-trained vs. Compressed [53.558457942993186]
小言語モデルは、リソース制約のあるシナリオにおいて有望な可能性を提供します。
SLMを構築するための既存のアプローチは、通常、スクラッチからコンパクトモデルを訓練するか、より大きな事前訓練されたモデルを圧縮するかの2つの経路をたどる。
本研究では, 公正性, 堅牢性, プライバシー, 倫理など, 複数次元にわたるSLMの信頼性を総合的に評価する。
論文 参考訳（メタデータ） (2026-08-12T12:14:02Z) - Reinforcement Learning with Metacognitive Feedback Elicits Faithful Uncertainty Expression in LLMs [60.80435138270317]
本稿では,メタ認知的フィードバックによる強化学習を忠実な校正問題に適用する。
実験により、RLMFは様々なタスクにおいて汎用的で最先端のFCを実現することが示された。
RLMFは標準のRLを最大63%上回り、モデルの性能限界を評価し表現する能力を高めている。
論文 参考訳（メタデータ） (2026-06-30T17:56:01Z) - Linking Perception, Confidence and Accuracy in MLLMs [15.540652692247098]
信頼駆動強化学習(CDRL)は、感度を高め、モデルの信頼性を堅牢に調整するために、オリジナルノイズイメージペアを使用する。
信頼性を考慮したテスト時間スケーリング(CA-TTS)は、信頼性信号によって導かれる自己整合性、自己回帰、視覚的自己チェックモジュールを動的に調整する。
統合されたフレームワークは、4つのベンチマークで一貫性のある8.8%のアップで、最先端の新たな結果を確立します。
論文 参考訳（メタデータ） (2026-03-12T16:47:42Z) - On Calibration of Large Language Models: From Response To Capability [66.59139960234326]
大規模言語モデル(LLM)は汎用的な問題解決手段として広くデプロイされている。
本稿では,クエリ上でモデルが期待する精度を目標とするキャリブレーションを提案する。
我々の結果は、キャパシティ校正された信頼度がpass@$k$予測と推論予算割り当てを改善することを示している。
論文 参考訳（メタデータ） (2026-02-14T01:07:45Z) - Confidence Estimation for LLMs in Multi-turn Interactions [48.081802290688394]
この研究は、マルチターン相互作用における信頼度推定に関する最初の体系的研究である。
そこで我々は,2つの主要なデシラタに基礎を置く形式的評価枠組みを構築した。
我々の研究は、より信頼性が高く信頼性の高い会話エージェントを開発するための基礎的な方法論を提供する。
論文 参考訳（メタデータ） (2026-01-05T14:58:04Z) - BrowseConf: Confidence-Guided Test-Time Scaling for Web Agents [58.05949210993854]
本研究では,長期にわたる行動の後,言語化された信頼度スコアを用いて,検索エージェントが自身の信頼を伝達できるかどうかを検討する。
本研究では,信頼度スコアを用いて回答の質を判断し,信頼度レベルに達するまで再度試すテスト時間スケーリング(TTS)手法を提案する。
論文 参考訳（メタデータ） (2025-10-27T15:58:51Z) - Seeing is Believing, but How Much? A Comprehensive Analysis of Verbalized Calibration in Vision-Language Models [15.158475816860427]
不確実性は、現代のAIシステムの信頼性と信頼性を評価するために不可欠である。
モデルが自然言語を通して信頼を表現する言語化された不確実性は、軽量で解釈可能なソリューションとして現れています。
しかし、視覚言語モデル(VLM)におけるその効果は未だ十分に研究されていない。
論文 参考訳（メタデータ） (2025-05-26T17:16:36Z) - On the Fairness, Diversity and Reliability of Text-to-Image Generative Models [68.62012304574012]
マルチモーダル生成モデルは 信頼性 公正性 誤用の可能性について 批判的な議論を巻き起こしました
埋め込み空間におけるグローバルおよびローカルな摂動に対する応答を解析し、モデルの信頼性を評価するための評価フレームワークを提案する。
提案手法は, 信頼できない, バイアス注入されたモデルを検出し, 組込みバイアスの証明をトレースするための基礎となる。
論文 参考訳（メタデータ） (2024-11-21T09:46:55Z) - Confidence Under the Hood: An Investigation into the Confidence-Probability Alignment in Large Language Models [14.5291643644017]
信頼性・確率アライメントの概念を紹介します。
モデルの内部と信頼感の一致を調査する。
分析したモデルのうち、OpenAIのGPT-4は信頼性と信頼性のアライメントが最強であった。
論文 参考訳（メタデータ） (2024-05-25T15:42:04Z) - Multi-Perspective Consistency Enhances Confidence Estimation in Large
Language Models [27.63938857490995]
本研究は,大規模言語モデルの信頼性評価の改善に焦点を当てる。
言語モデルにおける自己認識の脆弱さを考慮して,マルチパースペクティブ・一貫性(MPC)法を提案する。
8つの公開データセットの実験結果は、我々のMPCが最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2024-02-17T13:37:39Z) - Improving the Reliability for Confidence Estimation [16.952133489480776]
信頼度推定は、デプロイ中のモデルの予測出力の信頼性を評価することを目的としたタスクである。
これまでの研究は、信頼度推定モデルが持つべき2つの重要な特性を概説してきた。
信頼度推定モデルにおいて、両方の品質を同時に改善できるメタラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-13T06:34:23Z) - Plex: Towards Reliability using Pretrained Large Model Extensions [69.13326436826227]
我々は,視覚と言語モダリティのための事前訓練された大規模モデル拡張であるViT-PlexとT5-Plexを開発した。
Plexは信頼性タスク間の最先端性を大幅に改善し、従来のプロトコルを単純化する。
最大1Bパラメータまでのモデルサイズに対するスケーリング効果と,最大4B例までのデータセットサイズを事前トレーニングした。
論文 参考訳（メタデータ） (2022-07-15T11:39:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。