論文の概要: Also Small Models Can Reasonably Self-Evaluate Their Confidence

• arxiv url: http://arxiv.org/abs/2609.39478v1
• Date: Wed, 30 Sep 2026 10:42:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.587687
• Title: Also Small Models Can Reasonably Self-Evaluate Their Confidence
• Title（参考訳）: また、小さなモデルも自信を自尊心で評価できる
• Abstract要約: モデルスケールと領域特異性が自己評価された信頼信号の品質に与える影響について検討する。 より小さなモデルでは、精度が低いにもかかわらず、合理的な自己評価の信頼性が得られ、リソース制約のあるデプロイメントで実現可能であることが示唆されている。
• 参考スコア（独自算出の注目度）: 2.1571015928577637
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This study systematically evaluates self-evaluation-based uncertainty quantification across different language models of varying sizes on question-answering tasks spanning general to specialized knowledge domains. Using various self-evaluation methods where models judge their own predictions, we examine how model scale and domain specificity affect the quality of self-assessed confidence signals. Our results reveal that while accuracy predictably declines with smaller models and more specialized domains, the reliability of self-evaluated confidence remains largely stable across both dimensions. This independence means the most capable model is not necessarily the best at self-assessing prediction reliability. These findings suggest that smaller models can achieve reasonable self-assessed confidence despite lower accuracy, making them viable for resource-constrained deployments.
• Abstract（参考訳）: 本研究は,各言語モデルにおける自己評価に基づく不確実性定量化を,一般から専門的な知識領域にまたがる質問応答課題に基づいて体系的に評価する。 モデルが自身の予測を判断する様々な自己評価手法を用いて、モデルスケールとドメイン特異性が自己評価された信頼信号の品質に与える影響について検討する。 その結果、より小さなモデルやより専門的な領域で精度は予測通りに低下するが、自己評価された信頼の信頼性は両次元にわたって大きく安定していることが明らかとなった。 この独立性は、最も有能なモデルが必ずしも予測信頼性の自己評価に最適であるとは限らないことを意味する。 これらの結果から,より小型のモデルでは精度が低いにもかかわらず合理的な自己評価の信頼性が得られ,資源制約による展開が可能であることが示唆された。

関連論文リスト

• Latent Confidence Alignment for LLM Self-Assessment [8.73168195475753]
  本稿では,モデル能力と項目難易度を指標として,モデル自己評価と潜在誤り確率との整合性を測定するためのモデルベース潜在能力フレームワークとメタ認知的視点を提案する。 20モデルを用いた医療領域データセットの実験は,提案手法がモデル能力に影響を与えることなく自己評価品質を向上させることを示す。
  論文  参考訳（メタデータ） (2026-06-20T08:13:31Z)
• Beyond Confidence: Rethinking Self-Assessments for Performance Prediction in LLMs [3.532798393283516]
  モデル自己評価の多次元的視点を提案する。 我々は自信とともに6つの評価に基づく自己評価の次元を導き出す。 能力に関する評価の次元、特に努力と能力は、一貫して一致し、信頼性よりも優れています。
  論文  参考訳（メタデータ） (2026-05-08T14:41:35Z)
• On Calibration of Large Language Models: From Response To Capability [66.59139960234326]
  大規模言語モデル(LLM)は汎用的な問題解決手段として広くデプロイされている。 本稿では,クエリ上でモデルが期待する精度を目標とするキャリブレーションを提案する。 我々の結果は、キャパシティ校正された信頼度がpass@$k$予測と推論予算割り当てを改善することを示している。
  論文  参考訳（メタデータ） (2026-02-14T01:07:45Z)
• BrowseConf: Confidence-Guided Test-Time Scaling for Web Agents [58.05949210993854]
  本研究では,長期にわたる行動の後,言語化された信頼度スコアを用いて,検索エージェントが自身の信頼を伝達できるかどうかを検討する。 本研究では,信頼度スコアを用いて回答の質を判断し,信頼度レベルに達するまで再度試すテスト時間スケーリング(TTS)手法を提案する。
  論文  参考訳（メタデータ） (2025-10-27T15:58:51Z)
• Confidence Under the Hood: An Investigation into the Confidence-Probability Alignment in Large Language Models [14.5291643644017]
  信頼性・確率アライメントの概念を紹介します。 モデルの内部と信頼感の一致を調査する。 分析したモデルのうち、OpenAIのGPT-4は信頼性と信頼性のアライメントが最強であった。
  論文  参考訳（メタデータ） (2024-05-25T15:42:04Z)
• Measuring and Modeling Uncertainty Degree for Monocular Depth Estimation [50.920911532133154]
  単分子深度推定モデル(MDE)の本質的な不適切さと順序感性は、不確かさの程度を推定する上で大きな課題となる。 本稿では,MDEモデルの不確かさを固有確率分布の観点からモデル化する。 新たなトレーニング正規化用語を導入することで、驚くほど単純な構成で、余分なモジュールや複数の推論を必要とせずに、最先端の信頼性で不確実性を推定できる。
  論文  参考訳（メタデータ） (2023-07-19T12:11:15Z)
• Conservative Prediction via Data-Driven Confidence Minimization [70.93946578046003]
  機械学習の安全性クリティカルな応用においては、モデルが保守的であることが望ましいことが多い。 本研究では,不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-08T07:05:36Z)
• Approaching Neural Network Uncertainty Realism [53.308409014122816]
  自動運転車などの安全クリティカルなシステムには、定量化または少なくとも上限の不確実性が不可欠です。 マハラノビス距離に基づく統計的テストにより、厳しい品質基準である不確実性リアリズムを評価します。 自動車分野に採用し、プレーンエンコーダデコーダモデルと比較して、不確実性リアリズムを大幅に改善することを示した。
  論文  参考訳（メタデータ） (2021-01-08T11:56:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。