論文の概要: Diagnosing Multi-step Reasoning Failures in Black-box LLMs via Stepwise Confidence Attribution
- arxiv url: http://arxiv.org/abs/2605.19228v1
- Date: Tue, 19 May 2026 00:57:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-20 15:03:09.050162
- Title: Diagnosing Multi-step Reasoning Failures in Black-box LLMs via Stepwise Confidence Attribution
- Title（参考訳）: ステップワイド信頼属性によるブラックボックスLDMのマルチステップ推論障害の診断
- Authors: Xiaoou Liu, Tiejin Chen, Dengjia Zhang, Yaqing Wang, Lu Cheng, Hua Wei,
- Abstract要約: 我々は、生成した推論トレースのみに基づいてステップレベルの信頼性を割り当てる、クローズドソース LLM のためのフレームワークである Stepwise Confidence Attribution (SCA) を紹介する。
SCAは、推論エラーと強く相関する低信頼のステップを確実に特定します。
ステップレベルの信頼を利用して自己補正を導くことで、回答レベルのフィードバックよりも最大で13.5%の修正成功率が向上する。
- 参考スコア（独自算出の注目度）: 12.955460962298588
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models have achieved strong performance on reasoning tasks with objective answers by generating step-by-step solutions, but diagnosing where a multi-step reasoning trace might fail remains difficult. Confidence estimation offers a diagnostic signal, yet existing methods are restricted to final answers or require internal model access. In this paper, we introduce Stepwise Confidence Attribution (SCA), a framework for closed-source LLMs that assigns step-level confidence based only on generated reasoning traces. SCA applies the Information Bottleneck principle: steps aligning with consensus structures across correct solutions receive high confidence, while deviations are flagged as potentially erroneous. We propose two complementary methods: (1) NIBS, a non-parametric IB approach measuring consistency without graph structures, and (2) GIBS, a graph-based IB model that learns subgraphs through a differentiable mask to capture logical variability. Extensive experiments on mathematical reasoning and multi-hop question answering show that SCA reliably identifies low-confidence steps strongly correlated with reasoning errors. Moreover, using step-level confidence to guide self-correction improves the correction success rate by up to 13.5\% over answer-level feedback.
- Abstract（参考訳）: 大規模言語モデルは、ステップバイステップのソリューションを生成することによって、客観的な回答を伴う推論タスクにおいて、強力なパフォーマンスを達成したが、多段階の推論トレースが失敗する可能性のある診断は、依然として難しいままである。
信頼度推定は診断信号を提供するが、既存の方法は最終回答に制限されるか、内部モデルアクセスを必要とする。
本稿では、生成した推論トレースのみに基づいてステップレベルの信頼性を割り当てる、クローズドソースLCMのためのフレームワークであるStepwise Confidence Attribution(SCA)を紹介する。
SCAはInformation Bottleneckの原則を適用します。正しいソリューション間でコンセンサス構造と整合するステップは高い信頼性を受けます。
我々は,(1)グラフ構造を使わずに一貫性を測定する非パラメトリックIB手法であるNIBSと,(2)グラフベースのICBモデルであるGIBSを提案する。
数学的推論とマルチホップ質問応答に関する大規模な実験は、SCAが推論エラーと強く相関する低信頼度ステップを確実に特定していることを示している。
さらに、ステップレベルの信頼を利用して自己補正を導くことで、回答レベルのフィードバックよりも最大13.5\%の修正成功率が向上する。
関連論文リスト
- Confidence-Aware Alignment Makes Reasoning LLMs More Reliable [65.44962502963378]
CASPOは、トークンレベルの信頼度とステップワイドな論理的正しさを、個別の報酬モデルをトレーニングせずに整合させるフレームワークである。
推論中、信頼を意識した思考(CaT)を提案し、不確実な推論枝を無視可能なO(V)レイテンシで動的に生成する。
10のベンチマークと複数のモデルファミリでの実験では、CASPOは推論の信頼性と推論効率を一貫して改善している。
論文 参考訳（メタデータ） (2026-05-08T07:08:25Z) - On Calibration of Large Language Models: From Response To Capability [66.59139960234326]
大規模言語モデル(LLM)は汎用的な問題解決手段として広くデプロイされている。
本稿では,クエリ上でモデルが期待する精度を目標とするキャリブレーションを提案する。
我々の結果は、キャパシティ校正された信頼度がpass@$k$予測と推論予算割り当てを改善することを示している。
論文 参考訳（メタデータ） (2026-02-14T01:07:45Z) - TRACE: A Framework for Analyzing and Enhancing Stepwise Reasoning in Vision-Language Models [9.607579442309639]
本稿では,トランスペアレント推論と一貫性評価のためのフレームワークであるTRACEを紹介する。
TRACEleverages Auxiliary Reasoning Setsは複雑な問題を分解する。
実験の結果, ARS間の整合性は最終回答の正しさと相関していることがわかった。
TRACEは信頼できない推論パスと信頼できない推論パスを区別する信頼領域を定義する。
論文 参考訳（メタデータ） (2025-12-05T18:40:18Z) - Self-Evaluating LLMs for Multi-Step Tasks: Stepwise Confidence Estimation for Failure Detection [1.1087735229999818]
自己評価型大規模言語モデル(LLM)は、複雑な推論において有意義な信頼度推定を提供する。
ステップワイズ評価は一般的に、潜在的なエラーを検出する際の総合的なスコアよりも優れている。
論文 参考訳（メタデータ） (2025-11-10T18:19:51Z) - Stepwise Reasoning Checkpoint Analysis: A Test Time Scaling Method to Enhance LLMs' Reasoning [81.50681925980135]
本稿では,ステップワイズ推論チェックポイント分析(SRCA)を提案する。
本研究は,(1)中間チェックポイント回答による経路推論をグループ化して品質を確保しつつ多様性を維持するAnswer-Clustered Search,(2)最終決定にすべての中間回答を活用するCheckpoint Candidate Augmentationの2つの主要な戦略を取り入れた。
提案手法は経路均質化を効果的に低減し,高品質な中間結果を活用することにより耐故障機構を創出する。
論文 参考訳（メタデータ） (2025-05-23T12:42:50Z) - Step-KTO: Optimizing Mathematical Reasoning through Stepwise Binary Feedback [94.25162866972077]
Step-KTOは、プロセスレベルと結果レベルのバイナリフィードバックを組み合わせたトレーニングフレームワークである。
実験の結果,Step-KTOは最終回答の精度と中間推論の質の両方を著しく向上させることがわかった。
論文 参考訳（メタデータ） (2025-01-18T15:38:03Z) - Graph-based Confidence Calibration for Large Language Models [22.394717844099684]
本稿では,大規模言語モデルによって生成された複数の出力の自己整合性に基づいて,応答正当性を評価するための補助学習モデルを提案する。
提案手法は,複数応答間の一致を表現するために整合性グラフを構築し,グラフニューラルネットワーク(GNN)を用いて各応答の正しさを推定する。
論文 参考訳（メタデータ） (2024-11-03T20:36:44Z) - Unconditional Truthfulness: Learning Unconditional Uncertainty of Large Language Models [104.55763564037831]
我々は、注意マップ、現在の生成ステップにおける確率、および以前に生成されたトークンから繰り返し計算された不確実性スコアを利用する回帰モデルを訓練する。
評価の結果,提案手法は選択的生成に極めて有効であり,教師なしアプローチと教師なしアプローチに比較して大幅な改善が得られた。
論文 参考訳（メタデータ） (2024-08-20T09:42:26Z) - Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。
本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-05T16:35:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。