論文の概要: Chain-of-Thought Entropy as a Reliability Signal: A Preregistered Reproduction
- arxiv url: http://arxiv.org/abs/2609.19606v1
- Date: Thu, 17 Sep 2026 02:40:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:54.071409
- Title: Chain-of-Thought Entropy as a Reliability Signal: A Preregistered Reproduction
- Title（参考訳）: 信頼性信号としてのチェーン・オブ・ソート・エントロピー--事前登録された再生
- Abstract要約: 本研究は2026年に報告されたZhao解離の独立した複製である。
大言語モデルの連鎖エントロピー軌道の形状は、最終的な答えが正しいかどうかを予測し、その全エントロピー降下の大きさは予測しない。
再現はGSM8KとMATH-500ベンチマークテストセットを4つのオープンウェイトモデルで横断する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This empirical study is an independent reproduction of the dissociation Zhao reported in 2026. The shape of a large language model's chain-of-thought entropy trajectory predicts whether the final answer is correct, while the magnitude of its total entropy drop does not. The dissociation merits reproduction because the magnitude half rests on a single 300-problem run with one model at one seed, while the shape half was reported at full scale on both benchmarks and on a second model family. Registered at OSF before any confirmatory run, the reproduction crosses the complete GSM8K and MATH-500 benchmark test sets with four open-weight models including one reasoning-distilled model of a kind the original did not test. The shape signal replicates. The magnitude signal divides by setting. On the anchor model the accuracy gap between monotone and non-monotone chains is +9.6 percentage points on GSM8K and +27.5 on MATH-500, while the rank correlation of the total entropy drop with correctness is -0.018 on GSM8K and +0.414 on MATH-500. On the reasoning-distilled model the binary form of the shape signal fires on about one chain in a hundred, too few to estimate the registered contrast, while the graded violation count remains predictive there. In an exploratory comparison the final-step entropy alone outperforms the binary shape flag in all eight model-by-benchmark cells by ROC area, and in six or seven by the risk-coverage area the original reports, depending on an integration range the original does not state. The study contributes a reproduction of the shape signal at full test-set scale under seven documented protocol differences, a map of the settings where the magnitude signal holds and fails, and measurements of four protocol dependencies the original does not report.
- Abstract（参考訳）: この実証的研究は2026年に報告された解離の独立した複製である。
大言語モデルの連鎖エントロピー軌道の形状は、最終的な答えが正しいかどうかを予測し、その全エントロピー降下の大きさは予測しない。
この解離は、大きさの半分が1つの300プロブレムランで1つの種で1つのモデルで1つのモデルで残り、形状半分がベンチマークと2番目のモデルファミリーでフルスケールで報告されたため、生殖に有益である。
確認実行前にOSFに登録された再現版は、GSM8KとMATH-500ベンチマークテストセットを4つのオープンウェイトモデルで横断する。
形状信号は複製される。
等級信号は設定によって分割される。
アンカーモデルでは、モノトン鎖と非モノトン鎖の精度差は、GSM8Kで+9.6ポイント、MATH-500で+27.5ポイント、全エントロピー滴の正しさによるランク相関はGSM8Kで-0.018ポイント、MATH-500で+0.414ポイントである。
推理蒸留モデルでは、形状信号のバイナリ形式は、100個程度のチェーンに発射され、登録されたコントラストを推定するには少なすぎる。
探索的比較において、最終段階エントロピーは、ROC領域によって8つのモデル・バイ・ベンチマーク細胞の2次形状フラグよりも優れており、リスク・カバー領域によって6、7では、元のレポートが、統合範囲に応じて、元のレポートが記載されていない。
本研究は、7つの文書化プロトコルの違いの下で、全テストセットスケールでの形状信号の再生に寄与し、大きさ信号が保持され、失敗する設定のマップと、オリジナルが報告していない4つのプロトコル依存関係の測定を行った。
関連論文リスト
- Adaptive Record Consistency in a Schulman-Type Model [0.0]
古典的なフィードバックによって実験が接続された場合, 逆因果モデルが観測可能な記録を保存するかどうかを適応測定により検証する。
有限幅, コプラナー型, 正ラップコーシー伝搬重みを持つソースに対して, 厳密かつ定量的な組成制約を定めている。
論文 参考訳（メタデータ） (2026-09-14T06:35:14Z) - Token Budget Saturation and Mechanistic Early Detection of Reasoning Non-Convergence in Chain-of-Thought Models [1.4563514298965277]
チェーン・オブ・シント推論モデルはバイモーダル収束パターンを示す。
世代は、(収束しない)トークン予算内で終了するか、(収束しない)結論に達することなくそれを排気する
AIME 1983-2024では収束世代が90.3%、非収束世代は6.6%であり、全体の収束率は62.0%である。
論文 参考訳（メタデータ） (2026-07-23T15:37:04Z) - CUSUM-Shaped Inference-Time Monitoring and Targeted Re-Decoding for Quantized Small Language Model Reasoning [0.6999740786886536]
MGT-Bは、事前サンプリングの不確かさと変性の特徴の重なり合う窓を、位置条件による経験的尾の確率にマップする。
ログしきい値h=10のマニュアル選択後に最初に観察された問題同一性に対して,その効果が持続するかどうかを検証した。
どちらの分析も確証がなく、実証的要因は有効な電子プロセスや電子検出器として確立されていない。
論文 参考訳（メタデータ） (2026-07-22T13:34:17Z) - Retraining Seeks Stable Signals [36.28189225382996]
非ゼロ安定信号が存在する場合、繰り返しリスク最小化はこの安定信号の方向と幾何的に収束することを示す。
これは、モデルが目標に与える影響が安定信号に対して任意に大きいとしても事実である。
正規化は、一般化を促進するのではなく、能動性を制御する力として自然に現れる。
論文 参考訳（メタデータ） (2026-07-17T04:48:02Z) - Modeling Normal Is All You Need: Joint Latent Clustering for Anomaly Detection in Multimodal Cyber-Physical Systems [47.027290803102666]
通常の行動は、多くの不均衡で、曲がりくねった、細い範囲の運営体制の結合である。
我々は正規法則を、共同学習された潜在表現と明示的なガウス混合モードクラスタリングでモデル化する。
ポイント調整のない生のポイントワイドメトリクス、自明な検出困難分割、頻度整合F1、列車正規化のみのキャリブレーションを意図的に評価する。
論文 参考訳（メタデータ） (2026-07-07T10:10:00Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - Before the First Token: Scale-Dependent Emergence of Hallucination Signals in Autoregressive Language Models [6.5607014897534865]
7個の自己回帰変換器の幻覚表現の時間的ダイナミクスについて検討した。
4M以下のモデルでは、生成位置毎に確率レベルプローブの精度を示す。
7Bスケールでは、Pythia-6.9Bは平坦な時間プロファイルを、Qwen2.5-7Bは支配的な前世代効果を示す。
論文 参考訳（メタデータ） (2026-03-20T02:30:01Z) - Variational Inference for Bayesian MIDAS Regression [0.0]
線形重みパラメータージネーションを用いた回帰のための座標アセント変分推論 (CAVI) アルゴリズムを開発した。
CAVIは、107xから1,772xのスピードアップを達成しつつ、ブロックギブスサンプリングベンチマークとほぼ同一の後方手段を生成する。
重み関数パラメータは、すべてのcon gurationに対して優れたキャリブレーション(カバーは92%以上)を維持している。
論文 参考訳（メタデータ） (2026-02-23T08:51:26Z) - Causal Understanding by LLMs: The Role of Uncertainty [43.87879175532034]
近年の論文では、LLMは因果関係分類においてほぼランダムな精度を達成している。
因果的事例への事前曝露が因果的理解を改善するか否かを検討する。
論文 参考訳（メタデータ） (2025-09-24T13:06:35Z) - Ensemble of Convolution Neural Networks on Heterogeneous Signals for
Sleep Stage Scoring [63.30661835412352]
本稿では,脳波以外の追加信号の利用の利便性について検討し,比較する。
最も優れたモデルである深部分離畳み込みニューラルネットワークのアンサンブルは86.06%の精度を達成した。
論文 参考訳（メタデータ） (2021-07-23T06:37:38Z) - On Multitask Loss Function for Audio Event Detection and Localization [37.91770573529112]
複数ラベルのイベント検出と局所化の両方を回帰問題として定式化するマルチタスク回帰モデルを提案する。
不均一な損失関数の共通結合は、同次平均二乗誤差損失が収束と性能の向上につながるのに対して、ネットワークがデータに不適合であることを示す。
論文 参考訳（メタデータ） (2020-09-11T16:59:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。