論文の概要: Evaluating Token Probabilities as Confidence Estimators in Human Behavior Simulations: A Case Study in Luxembourgish Next Like Prediction

• arxiv url: http://arxiv.org/abs/2611.07735v1
• Date: Thu, 05 Nov 2026 09:45:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.64294
• Title: Evaluating Token Probabilities as Confidence Estimators in Human Behavior Simulations: A Case Study in Luxembourgish Next Like Prediction
• Title（参考訳）: 人の行動シミュレーションにおける信頼度推定器としてのトークン確率の評価:ルクセンブルクの次回予測を事例として
• Abstract要約: ノイズの多いデジタルトレースデータでは、モデルの性能は正しい結果を予測するだけでなく、キャリブレーションにも依存する、と我々は主張する。 本稿では,オープンウェイトLDMのトークン確率が,Next Like Predictionタスクにおける信頼度推定に役立てられるかどうかをケーススタディで検証する。
• 参考スコア（独自算出の注目度）: 2.5450067638785945
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language models (LLMs) are increasingly used to simulate human behavior, their operational validity is typically assessed through accuracy alone, implicitly treating human behavior as deterministic. We argue that on noisy digital trace data, a model's performance depends not only on predicting the correct outcome but on its calibration. We present a case study testing whether the token probabilities of open-weight LLMs can serve as confidence estimates in a Next Like Prediction task: predicting how a user of the Luxembourgish news platform RTL.lu rates a comment, conditioned on their prior interactions. Evaluating Ministral 3 (3B, 8B), we find that, with in-context learning only, the tested models are overconfident and are outperformed on accuracy and calibration by a simple statistical baseline. Accuracy and calibration do not move together: scaling from 3B to 8B improves accuracy while degrading calibration, and longer behavioral histories raise accuracy while confidence declines. Task-specific supervised fine-tuning acts as an effective calibration intervention, reducing Expected Calibration Error from 0.2 to 0.006 while improving accuracy from 0.536 to 0.758. We conclude that confidence estimation should be evaluated alongside accuracy to improve validity when using LLM-based agents.
• Abstract（参考訳）: 大規模言語モデル (LLMs) は人間の行動のシミュレートにますます利用されているため、その運用の有効性は一般に正確性だけで評価され、人間の行動は決定論的であると暗黙的に扱う。 ノイズの多いデジタルトレースデータでは、モデルの性能は正しい結果を予測するだけでなく、キャリブレーションにも依存する、と我々は主張する。 本稿では,Luxembourg のニュースプラットフォーム RTL.lu の利用者が,これまでのインタラクションを前提としたコメントを評価することで,オープンウェイト LLM のトークン確率が信頼度推定に役立てられるかどうかを,ケーススタディで検証する。 ミニストラル3(3B,8B)を評価すると、文脈内学習のみの場合、テストされたモデルは過度に信頼され、単純な統計ベースラインによる精度とキャリブレーションに優れることがわかった。 3Bから8Bへのスケーリングはキャリブレーションを劣化させながら精度を向上し、より長い行動履歴は信頼性を高め、信頼性は低下する。 タスク固有の微調整は効果的な校正介入として機能し、期待される校正誤差を0.2から0.006に低減し、精度は0.536から0.758に向上した。 LLMをベースとしたエージェントの精度向上のために,信頼性評価を精度良く行う必要があると結論付けた。

関連論文リスト

• Beyond Confidence: Rethinking Uncertainty Calibration in Deep Code Models [11.136449698197174]
  信頼性スコアや不確実性指標を含む既存の測定基準が選択予測の導出に有効かどうかを検討する。 7つのコードモデルを用いた欠陥予測と脆弱性検出の系統的研究を行う。 強い不確実性信号であっても、キャリブレーションが不十分で、高信頼度端での分離が限定的であることが判明した。
  論文  参考訳（メタデータ） (2026-10-15T04:43:41Z)
• Enhancing Deep Neural Network Reliability with Refinement and Calibration [13.95050907050228]
  ディープニューラルネットワーク(DNN)は高い予測精度を達成するが、信頼度推定はしばしば信頼できない。 これはキャリブレーションモデルの研究を動機付けており、キャリブレーションはモデルの予測された信頼度がいかに正確性を示すかを測定する。 本稿では,改良を明示的に促進し,教師付きコントラスト学習によって最適化できる新しい損失関数を提案する。
  論文  参考訳（メタデータ） (2026-05-22T05:43:41Z)
• On Calibration of Large Language Models: From Response To Capability [66.59139960234326]
  大規模言語モデル(LLM)は汎用的な問題解決手段として広くデプロイされている。 本稿では,クエリ上でモデルが期待する精度を目標とするキャリブレーションを提案する。 我々の結果は、キャパシティ校正された信頼度がpass@$k$予測と推論予算割り当てを改善することを示している。
  論文  参考訳（メタデータ） (2026-02-14T01:07:45Z)
• Mitigating LLM Hallucination via Behaviorally Calibrated Reinforcement Learning [32.32593439144886]
  振舞い校正された強化学習により、小さなモデルは不確実な定量化においてフロンティアモデルを超えることができる。 当社のモデルでは,GPT-5の0.207を超える精度向上率(0.806)を挑戦的なドメイン内評価において達成している。
  論文  参考訳（メタデータ） (2025-12-22T22:51:48Z)
• Calibrating Language Models with Adaptive Temperature Scaling [58.056023173579625]
  本稿では,各トークンの温度スケーリングパラメータを予測するポストホックキャリブレーション法であるAdaptive Temperature Scaling (ATS)を紹介する。 ATSは、以前のキャリブレーション法と比較して、3つの下流自然言語評価ベンチマークで10-50%以上のキャリブレーションを改善する。
  論文  参考訳（メタデータ） (2024-09-29T22:54:31Z)
• Calibrated Uncertainty Quantification for Operator Learning via Conformal Prediction [95.75771195913046]
  本稿では, リスク制御型量子ニューラル演算子, 分布のない有限サンプル機能キャリブレーション等式予測法を提案する。 関数領域上の点の期待値として定義されるカバレッジ率に関する理論的キャリブレーションを保証する。 2次元ダーシー流と3次元自動車表面圧力予測タスクに関する実験結果から,我々の理論的結果が検証された。
  論文  参考訳（メタデータ） (2024-02-02T23:43:28Z)
• Just Ask for Calibration: Strategies for Eliciting Calibrated Confidence Scores from Language Models Fine-Tuned with Human Feedback [91.22679548111127]
  信頼できる現実世界の予測システムは、よく校正された信頼スコアを生成するべきである。 出力トークンとして出力される言語的信頼度は、通常、モデルの条件付き確率よりも良く校正されていることを示す。
  論文  参考訳（メタデータ） (2023-05-24T10:12:33Z)
• Better Uncertainty Calibration via Proper Scores for Classification and Beyond [15.981380319863527]
  各校正誤差を適切なスコアに関連付ける適切な校正誤差の枠組みを導入する。 この関係は、モデルのキャリブレーションの改善を確実に定量化するために利用することができる。
  論文  参考訳（メタデータ） (2022-03-15T12:46:08Z)
• T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
  有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。 誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。 我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
  論文  参考訳（メタデータ） (2022-03-03T16:58:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。