論文の概要: Prefix-Safe Bayesian Belief Tracking for LLM Reasoning Reliability:Separating Calibration from Ranking
- arxiv url: http://arxiv.org/abs/2605.27712v1
- Date: Tue, 26 May 2026 21:37:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-28 17:38:55.558323
- Title: Prefix-Safe Bayesian Belief Tracking for LLM Reasoning Reliability:Separating Calibration from Ranking
- Title（参考訳）: LLM推論信頼性のためのプレフィックスセーフベイズ信念追跡:ランク付けからキャリブレーションを分離する
- Authors: Zhenghan Song, Yunyi Li, Yulong Liu,
- Abstract要約: 我々は、スカラースコア、テキストおよび自己検証マーカー、隠れクラスタ、トークンプールプローブ、潜在軌道特徴のための共通トラッカーを提供する。
MATH-500, GSM8K, AIME 2025, RIMO-N 上のオープンウェイトトレースは、確率品質とランキングを別々に生成した。
- 参考スコア（独自算出の注目度）: 4.85608817678651
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long reasoning traces need reliability estimates before final answers are known. We study prefix-conditioned eventual-success estimation, $P(y=1 \mid o_{1:t})$, using prefix-safe observations. Sequential Bayesian Belief Tracking (SBBT) calibrates observation likelihoods and recursively updates a two-state belief, providing a common tracker for scalar scores, text and self-verification markers, hidden clusters, token-pooling probes, and latent-trajectory features. Across generated open-weight traces on MATH-500, GSM8K, AIME 2025, and RIMO-N, probability quality and ranking separate: score-only SBBT often improves Brier, while AUROC gains require structure-aware evidence beyond strong prefix-safe baselines. In the strongest hard math setting, structure-aware observations reach +0.110 AUROC against standard prefix-safe baselines. Under a same-prefix classifier audit, MATH-500 text markers and RIMO-N self-verification signals remain positive. Together, these findings support SBBT as a calibration-aware online inference framework and expose an evidence regime: scalar scores mainly support probability quality, while structure-aware prefix signals support ranking only when strong prefix-safe baselines have not already absorbed the rank evidence.
- Abstract（参考訳）: 長い推論トレースには、最終的な答えが知られる前に信頼性の見積が必要である。
プレフィックスセーフな観測値を用いて,プレフィックス条件付き終末確率推定,$P(y=1 \mid o_{1:t})$について検討した。
SBBT (Sequential Bayesian Belief Tracking) は観測可能性の校正を行い、2状態の信念を再帰的に更新し、スカラースコア、テキストと自己検証マーカー、隠れクラスタ、トークンプールプローブ、潜在軌道特徴の共通トラッカーを提供する。
MATH-500, GSM8K, AIME 2025, RIMO-N 上のオープンウェイトトレースは、確率品質とランキングを別々に生成する。
最も強いハードな計算条件では、構造認識観測は標準プレフィックスセーフベースラインに対して+0.110 AUROCに達する。
MATH-500テキストマーカーとRIMO-N自己検証信号は、同じプリフィックス分類器監査の下では、正のままである。
これらの結果と合わせて、SBBTを校正対応オンライン推論フレームワークとしてサポートし、スカラースコアが主に確率品質をサポートする一方、構造対応プレフィックス信号は、強いプレフィックスセーフベースラインが既にランクエビデンスを吸収していない場合にのみランキングをサポートする。
関連論文リスト
- Are We Overconfident in Models and Results for Semi-Supervised 3D Medical Image Segmentation? [4.120238673372104]
半教師付き学習は、アノテーションのコストを削減する主要なパラダイムとなっている。
現在の進歩は2倍の過信問題によって曇っていると我々は主張する。
本稿では,二軸信頼性評価エンジン上に構築した三空間原理分割フレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-25T08:16:40Z) - Confidence-Aware Alignment Makes Reasoning LLMs More Reliable [65.44962502963378]
CASPOは、トークンレベルの信頼度とステップワイドな論理的正しさを、個別の報酬モデルをトレーニングせずに整合させるフレームワークである。
推論中、信頼を意識した思考(CaT)を提案し、不確実な推論枝を無視可能なO(V)レイテンシで動的に生成する。
10のベンチマークと複数のモデルファミリでの実験では、CASPOは推論の信頼性と推論効率を一貫して改善している。
論文 参考訳（メタデータ） (2026-05-08T07:08:25Z) - Alignment Imprint: Zero-Shot AI-Generated Text Detection via Provable Preference Discrepancy [51.887915969023965]
現代のLarge Language Models (LLMs) がアライメントされ、測定可能な分布インプリントが残されていることを示す。
高エントロピー領域における不安定性を軽減するため、ログライクなアライメント・アライメント・プレフレパシー(LAPD)を導入する。
LAPDはアライメントインプリントに基づく標準化された情報重み統計である。
論文 参考訳（メタデータ） (2026-04-18T09:12:24Z) - Evaluating Prompt Injection Defenses for Educational LLM Tutors: Security-Usability-Latency Trade-offs [51.56484100374058]
ガードレールの設計には、敵の堅牢性、良質なタスクのユーザビリティ、応答レイテンシの明確なトレードオフが伴う。
決定論的パターンフィルタ,構造検証,コンテキストサンドボックス,セッションレベルの動作チェックを組み合わせた,ドメイン固有のマルチレイヤセーフガードパイプラインの評価を行った。
NeMoは16.22パーセントのFPRと1.5パーセントのレイテンシで0パーセントのバイパスに達し、Prompt Guardは38.48パーセントのFPRと3.60パーセントのバイパスを実現している。
論文 参考訳（メタデータ） (2026-03-29T18:52:01Z) - SpatialBench-UC: Uncertainty-Aware Evaluation of Spatial Prompt Following in Text-to-Image Generation [0.0]
SpaceBench-UCは、ペアの空間関係を再現可能な小さなベンチマークである。
ベンチマークパッケージ、バージョン付きプロンプト、ピン付き構成、サンプルごとのチェッカー出力、レポートテーブルをリリースします。
安定拡散1.5, SD 1.5 BoxDiff, SD 1.4 GLIGENの3つのベースラインについて検討した。
論文 参考訳（メタデータ） (2026-01-19T23:37:10Z) - How Does Prefix Matter in Reasoning Model Tuning? [57.69882799751655]
推論(数学)、コーディング、安全性、事実性の3つのコアモデル機能にまたがる3つのR1シリーズモデルを微調整します。
その結果,プレフィックス条件付きSFTでは安全性と推論性能が向上し,Safe@1の精度は最大で6%向上した。
論文 参考訳（メタデータ） (2026-01-04T18:04:23Z) - Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。
次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。
ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
論文 参考訳（メタデータ） (2025-09-29T12:15:52Z) - TRUST-LAPSE: An Explainable and Actionable Mistrust Scoring Framework
for Model Monitoring [4.262769931159288]
連続モデル監視のための"ミストラスト"スコアリングフレームワークであるTRUST-LAPSEを提案する。
我々は,各入力サンプルのモデル予測の信頼性を,潜時空間埋め込みのシーケンスを用いて評価する。
AUROCs 84.1 (vision), 73.9 (audio), 77.1 (clinical EEGs)
論文 参考訳（メタデータ） (2022-07-22T18:32:38Z) - Probabilistic Ranking-Aware Ensembles for Enhanced Object Detections [50.096540945099704]
本稿では,検知器から箱を囲むことの信頼性を向上するPRAE(Probabilistic Ranking Aware Ensemble)という新しいアンサンブルを提案する。
また,異なる数の箱を扱う必要性によって生じる信頼の不均衡問題に対処するためのbanditアプローチも導入する。
論文 参考訳（メタデータ） (2021-05-07T09:37:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。