論文の概要: Confident at the moment of action: belief miscalibration in LLM play under hidden information

• arxiv url: http://arxiv.org/abs/2608.24691v1
• Date: Tue, 25 Aug 2026 15:18:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:35.060224
• Title: Confident at the moment of action: belief miscalibration in LLM play under hidden information
• Title（参考訳）: 行動の瞬間の確証--隠された情報の下でのLLMにおける信念の誤校正
• Abstract要約: エージェントシステムは、モデル自身の主張する信頼に対するアクションをますますゲートし、信頼は行動の瞬間の正確性を追跡すると仮定する。 我々はこれを秘密裏に、王族の地位を秘密裏に、断片間で繰り返し移動できる秘密情報チェス変種でテストする。 このパターンを示すモデルは、その信念が持つゲームにまだ勝てる可能性があるため、結果のみの評価がそれを検出できない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Agentic systems increasingly gate actions on a model's own stated confidence, which assumes confidence tracks correctness at the moment of acting. We test this in a hidden-information chess variant where royal status can be secretly, repeatedly relocated between pieces, and where an agent's stated probability distribution over the opponent's hidden royal piece -- elicited every turn, separately from the move it chooses -- is scored against ground truth recoverable after the game. Across two independent batches, captures made at high stated confidence ($\geq 0.5$) about the hidden piece's location were correct in 1 of 62 cases. The calibration deficit is concentrated almost entirely in these events: 99.3% of it in the original batch, 98.7% in the replication. The same pattern, in weaker form, orders consistently (point estimates only; most pairwise gaps are not statistically distinguishable at this sample size) across four further model configurations spanning a second provider -- reported as scope for the finding, not as evidence that capability predicts calibration: a same-model comparison at a fixed external leaderboard score shows a deliberation-budget change alone moves the metric by nearly as much as a large cross-model gap. In a separate seat, conventional evaluation axes -- legality, cost, latency, completion rate -- can dissociate entirely from belief quality, with the configuration winning on every conventional axis producing the worst belief quality tested. A model exhibiting this pattern can still win the game its belief was about, which is why outcome-only evaluation would not detect it.
• Abstract（参考訳）: エージェントシステムは、モデル自身の主張する信頼に対するアクションをますますゲートし、信頼は行動の瞬間の正確性を追跡すると仮定する。 我々は、これを秘密裏に、秘密裏に、王族の地位を駒間で繰り返し移動させ、敵の隠れた王族作品に対して、エージェントが主張する確率分布を -- 選択した動きとは別に -- 引き起こした― が、ゲーム後に回復可能な地上真実に対して得点される、隠れた情報チェスの変種でテストする。 2つの独立したバッチで、隠されたピースの位置に関する高い信頼度(\geq 0.5$)で撮影されたキャプチャは、62件中1件で正しかった。 キャリブレーションの欠陥はほぼ全てこれらの事象に集中しており、99.3%はオリジナルのバッチで、98.7%は複製で集中している。 同じパターンは、より弱い形で、一貫した順序(点推定のみ、ほとんどのペアワイズギャップは、このサンプルサイズでは統計的に区別できない)で、第2のプロバイダにまたがる4つのモデル構成が、キャリブレーションを予測できるという証拠としてではなく、発見のスコープとして報告されている。 別の席では、従来の評価軸 -- 合法性、コスト、レイテンシ、完了率 -- は、信念の質から完全に解離し、テストされた最悪の信念の質を生み出すすべての従来の軸に勝利する。 このパターンを示すモデルは、その信念が持つゲームにまだ勝てる可能性があるため、結果のみの評価がそれを検出できない。

関連論文リスト

• When Confidence Signals Disagree: Local and Global Confidence in Autoregressive Language Models [0.0]
  自己回帰言語モデルにおいて,異なる信頼度が経験的に交換可能であるかを検討する。 MMLU と ARC Challenge 全体では、2つの信号は弱い相関関係にあり、その正しさと大きく異なる。 より大きい局所-グローバル信頼ギャップは、より高い回答エントロピー、より明確なサンプル回答、低いモーダル・アンサー濃度と関連している。
  論文  参考訳（メタデータ） (2026-09-15T10:08:48Z)
• Reliability analysis for BraTS-GoAT segmentation: a controlled robustness study of deep-ensemble uncertainty [5.504955093712013]
  ディープネットワークは脳腫瘍を正確に分配するが、入力がトレーニングデータと異なる場合、静かに失敗する可能性がある。 モデルセグメントがどの程度優れているのか、その不確実性はいつ間違っているのかを尋ねる。
  論文  参考訳（メタデータ） (2026-08-13T13:27:21Z)
• When LLMs Agree, Are They Right? Auditing Self-Consistency and Cross-Model Agreement as Confidence Signals [0.0]
  LLM-as-judgeは、企業パイプラインでAIシステムを評価する上で、ますますデフォルトになっている。 判断者間の整合性、あるいはモデル自身のサンプルが正当性を示していることを示す。 大規模なクロスランナー研究において、合意がいつ有用なプロキシであるかを問う。
  論文  参考訳（メタデータ） (2026-07-09T02:46:51Z)
• Verifiable Rewards for Calibrated Probabilistic Forecasting [3.77661940418406]
  報酬による強化学習は、調整された確率予測器を訓練することができる。 本研究では,予測自体が校正された出力であり,ラベルがひとつの結果であるアレータリック予測について検討する。 過去の成果から推定した状態条件付き経験的勝利率である,検証可能なラベルなし報酬を導入する。
  論文  参考訳（メタデータ） (2026-06-30T20:42:45Z)
• LLMs Show No Signs Of Individuated Metacognition [0.023227405857540805]
  20大言語モデルから二項信頼判断を分解する。 信頼性が異なる2つのモデルも性能が異なるかどうかを問う。 いずれの検査領域においても,有意な弁別メタ認知の証拠は見つからない。
  論文  参考訳（メタデータ） (2026-05-22T23:54:33Z)
• Discovery of Hidden Miscalibration Regimes [52.452902154360565]
  モデルは何らかの入力を体系的に過信し、他人を過信することがある。 対応する誤校正分野を定義し,それを推定するための診断フレームワークを提案する。 提案手法は,入力空間のキャリブレーションを意識した表現を学習し,学習幾何学におけるカーネルの平滑化による符号付き局所的誤校正を推定する。
  論文  参考訳（メタデータ） (2026-05-13T13:07:50Z)
• Belief Memory: Agent Memory Under Partial Observability [56.41506249481312]
  本稿では,メモリパラダイムを観測毎に1つの結論にシフトし,その確率で複数の結論を導出するBeliefMemを提案する。 BeliefMemは決定論的パラダイムが破棄されるという不確実性を保ち、エージェントが高い信頼を持って行動することを可能にする。 LoCoMoとALFWorldベンチマークの実証的な評価は、限られたデータであっても、BeliefMemが最高の平均パフォーマンスを達成することを示している。
  論文  参考訳（メタデータ） (2026-05-07T02:03:13Z)
• The Illusion of Certainty: Decoupling Capability and Calibration in On-Policy Distillation [67.26315138466312]
  モデルロールアウトから経験的信頼性を推定するキャリブレーション対応のOPDフレームワークであるCaOPDを提案する。 本研究は, 能力蒸留が信頼性を示唆するものではないこと, 信頼性をポストトレーニングの本質的な目的として扱うべきであることを明らかにする。
  論文  参考訳（メタデータ） (2026-04-18T04:43:40Z)
• CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
  隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。 ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
  論文  参考訳（メタデータ） (2025-10-02T02:14:33Z)
• Beyond calibration: estimating the grouping loss of modern neural networks [68.8204255655161]
  適切なスコアリングルール理論は、キャリブレーション損失が与えられた場合、個々のエラーを特徴づける欠片がグループ化損失であることを示している。 視覚およびNLPにおける現代のニューラルネットワークアーキテクチャは、特に分散シフト設定においてグループ化損失を示す。
  論文  参考訳（メタデータ） (2022-10-28T07:04:20Z)
• Don't Just Blame Over-parametrization for Over-confidence: Theoretical Analysis of Calibration in Binary Classification [58.03725169462616]
  理論上は、過剰パラメトリゼーションは過剰信頼の唯一の理由ではない。 我々は、ロジスティック回帰は本質的に信頼過剰であり、実現可能で、非パラメータな設定であることを示す。 おそらく驚くことに、過剰な信頼が常にそうであるとは限らないことも示します。
  論文  参考訳（メタデータ） (2021-02-15T21:38:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。