論文の概要: Temperature, Not Knowledge: What Recursive Self-Training and Its Remedies Do to a Language Model's Confidence

• arxiv url: http://arxiv.org/abs/2611.01059v1
• Date: Sat, 31 Oct 2026 15:55:24 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 20:03:24.832458
• Title: Temperature, Not Knowledge: What Recursive Self-Training and Its Remedies Do to a Language Model's Confidence
• Title（参考訳）: 温度、知識ではなく:再帰的な自己学習とその改善が言語モデルの信頼性に果たすもの
• Abstract要約: 本研究では,Qwen3-1.7Bにおける5ラウンドの自己学習ループについて,比較法として3種の種子を用いて検討した。 正確さと全体的な差別はほとんど変わらないが、自信は深まり、最も自信のある答えは信頼性が低下する。
• 参考スコア（独自算出の注目度）: 0.3525984766628294
• License:
• Abstract: Recursive self-training can collapse language models, and many proposed remedies target overconfidence, yet their effects on confidence are rarely measured. We study a five-round self-training loop on Qwen3-1.7B, using three seeds per compared method, and distinguish confidence temperature (drift from a calibrated starting point) from discrimination (ranking correct answers above incorrect ones). Accuracy and overall discrimination remain nearly unchanged, but confidence sharpens and the most confident answers become less reliable. Matching predictive entropy to the calibrated starting model each round recalibrates nearly as well as label-based temperature fitting, at both 1.7B and 8B. Sharpening is not inherent to self-training: exact samples from a model's distribution have zero expected gradient. Instead, most drift comes from fitting each generated answer twice, with top-p truncation contributing the rest; removing both keeps entropy on generated outputs flat. Remedies affect the two properties differently: truncated cross-entropy, an entropy bonus, and single-pass training preserve temperature without improving discrimination, while focal loss and multi-sample targets improve discrimination but cause underconfidence. Reference-data mixing also overshoots. Pairing a ranking-improving loss with label-free recalibration achieves both.
• Abstract（参考訳）: 再帰的な自己学習は言語モデルを崩壊させ、多くの改善案は過信を目標としているが、信頼に対する影響はまれである。 本研究は,Qwen3-1.7Bにおける5ラウンドの自己学習ループについて比較法3種を用いて検討し,信頼性温度(検定開始点と検定開始点とのドリフト)を識別(誤答を正す)と区別した。 正確さと全体的な差別はほとんど変わらないが、自信は深まり、最も自信のある答えは信頼性が低下する。 各ラウンドのキャリブレーション開始モデルの予測エントロピーは1.7Bと8Bの両方でラベルベースの温度調整とほぼ同等に調整される。 シャープニングは自己学習に固有のものではなく、モデルの分布からの正確なサンプルは期待される勾配がゼロである。 代わりに、ほとんどのドリフトは生成された各回答を2回フィッティングし、トップpのトランケーションが残りに寄与する。 治療は2つの特性に異なる影響を及ぼす: 切り離されたクロスエントロピー、エントロピーボーナス、シングルパストレーニングは、差別を改善することなく温度を保ち、焦点損失とマルチサンプルターゲットは差別を改善するが、自信不足を引き起こす。 参照データミキシングもオーバーシュートである。 ラベルのない再校正によるランキング改善損失のペアリングは、両方を達成する。

関連論文リスト

• Revar3r: gauge-aware perturbation uncertainty for feed-forward 3d reconstruction [0.1749935196721634]
  凍結した3Dモデルがその出力フレームが分数的に回転するため、等価な入力を処理する場合であっても、正しく再構成された遠点が不確かである。 この研究は、シーンの広さで成長し、望まれる信号に圧倒される可能性のある、クローズドな、エラーに依存しない分散項を導出する。 VGGT、3、MASt3Rを6つのデータセットで比較すると、すべてのバックボーン上の同じ推定器は18の条件のうち15の条件でAUSEの信頼性を低くする。
  論文  参考訳（メタデータ） (2026-10-06T07:29:54Z)
• Beyond Verbalized Confidence: Calibrating Reasoners with Differentiable Readouts [57.65087348754571]
  検証可能な報酬(RLVR)による強化学習は、モデルに正しい回答を与えるよう推論するモデルを訓練するが、その信頼性が校正されることは保証しない。 近年の手法では、RLVRループ内のキャリブレーションを、モデルが応答に付随して数値的信頼度を持たせることで訓練しているが、これらはすべてテキストとしてサンプリングすることで信頼性を得る。 我々は、サンプリングを決定論的読み出しに置き換えるためにCREDO(Confidence REaDOut)を提案する。
  論文  参考訳（メタデータ） (2026-09-28T10:47:41Z)
• DirEAG: Dirichlet Evidence Aggregation for Calibrating Verbalized Confidence in Mathematical Reasoning [2.867517731896504]
  ブラックボックスの言語的信頼度は、大きな言語モデルでは校正が難しい。 本稿では,ディリクレ証拠集約法であるDirEAGを提案する。
  論文  参考訳（メタデータ） (2026-08-21T03:48:25Z)
• $TCP_α$: Margin-Controlled Confidence estimation for reliable Music Information Retrieval [7.679660052685777]
  ディープニューラルネットワークは、しばしば過信であり、誤った予測にも高い信頼を割り当てる。 既存のターゲットは、重複する信頼値を正しい予測と間違った予測に割り当てる一方、決定境界付近のエラーは正しい予測と区別できない信頼スコアを受け取る。 提案するTCP_$は,不特定サンプルに対してマージン制御されたペナルティを導入することで,これらの制限を解消する新しい信頼度ターゲットである。
  論文  参考訳（メタデータ） (2026-08-20T17:58:50Z)
• The Illusion of Certainty: Decoupling Capability and Calibration in On-Policy Distillation [67.26315138466312]
  モデルロールアウトから経験的信頼性を推定するキャリブレーション対応のOPDフレームワークであるCaOPDを提案する。 本研究は, 能力蒸留が信頼性を示唆するものではないこと, 信頼性をポストトレーニングの本質的な目的として扱うべきであることを明らかにする。
  論文  参考訳（メタデータ） (2026-04-18T04:43:40Z)
• Improving Semantic Uncertainty Quantification in Language Model Question-Answering via Token-Level Temperature Scaling [55.29156356409814]
  現状のアプローチ,特に温度の固定化は,系統的に誤校正され,識別性に欠けるセマンティックな信頼性分布を生じさせることを示す。 一つの温度を最適化することは、適切な帰納バイアスをもたらすと我々は主張するが、驚くほど単純だが効果的な解であることを示した。
  論文  参考訳（メタデータ） (2026-04-08T15:00:32Z)
• Temper-Then-Tilt: Principled Unlearning for Generative Models through Tempering and Classifier Guidance [51.532841645285835]
  本研究では,タスクを目標分布に対する密度比推定としてフレーミングすることで,大規模生成モデルにおける機械学習について検討する。 左折集合がシャープで集中したデータ分布を表す場合、有限サンプルで忠実に解けないことを示す。 本稿では,基本モデルを凍結し,二段階の推論手法を適用したTemper-Then-Tilt Unlearning(T3-Unlearning)を提案する。
  論文  参考訳（メタデータ） (2026-02-10T19:08:40Z)
• Shrinking Class Space for Enhanced Certainty in Semi-Supervised Learning [59.44422468242455]
  そこで我々はShrinkMatchと呼ばれる新しい手法を提案し、不確実なサンプルを学習する。 それぞれの不確実なサンプルに対して、元の Top-1 クラスを単に含むスランク類空間を適応的に求める。 次に、スランク空間における強と弱に強化された2つのサンプル間の整合正則化を課し、識別的表現を試みます。
  論文  参考訳（メタデータ） (2023-08-13T14:05:24Z)
• Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
  ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。 入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。 CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
  論文  参考訳（メタデータ） (2022-07-13T14:13:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。