論文の概要: CoRA: Confidence-Rationale Alignment for Reliable Chain-of-Thought Reasoning

• arxiv url: http://arxiv.org/abs/2606.14961v1
• Date: Fri, 12 Jun 2026 21:10:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:32.540068
• Title: CoRA: Confidence-Rationale Alignment for Reliable Chain-of-Thought Reasoning
• Title（参考訳）: CoRA:信頼性の高いチェーン・オブ・ソート推論のための信頼性保証アライメント
• Authors: Juming Xiong, Weixin Liu, Kevin Guo, Congning Ni, Junchao Zhu, Chongyu Qu, Chao Yan, Katherine Brown, Avinash Baidya, Xiang Gao, Bradley Malin, Zhijun Yin,
• Abstract要約: CoT推論(Chain-of- Thought, CoT)はLLM性能を向上させることができるが、それに伴うCoT論理が不完全あるいは不十分な場合に、高い応答信頼度が誤解を招く可能性がある。 我々は、モデルがコミットした回答に対する信頼が、生成した根拠によって正当化されるかどうか、信頼-規制の整合性について研究する。 本稿では,GRPOに基づく強化学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 8.460516555473747
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Chain-of-thought (CoT) reasoning can improve LLM performance, but high answer confidence may be misleading when the accompanying CoT rationale is plausible yet incomplete or poorly supported. We study confidence--rationale alignment: whether a model's confidence in its committed answer is justified by its generated rationale. We introduce a GRPO-based reinforcement learning framework that jointly rewards answer correctness, committed-answer probability, and rubric-based rationale support, where the rubric assesses grounding, coherence, task match, and connection to the selected answer without revealing the gold answer to the judge. Across MedQA, MathQA, and OpenBookQA using three open-weight LLMs, our method reduces the confidence--rationale alignment error by up to 26.51% compared with untuned checkpoints, SFT, and correctness-only GRPO, while maintaining competitive accuracy and often improving calibration. These results show that reliable CoT reasoning requires not only confident answers, but rationales that substantively support them.
• Abstract（参考訳）: CoT推論(Chain-of- Thought, CoT)はLLM性能を向上させることができるが、それに伴うCoT論理が不完全あるいは不十分な場合に、高い応答信頼度が誤解を招く可能性がある。 我々は、モデルがコミットした回答に対する信頼が、生成した根拠によって正当化されるかどうか、信頼-規制の整合性について研究する。 我々は,GRPOに基づく強化学習フレームワークを導入し,回答の正当性,献身的回答確率,ルーブリックに基づく合理化支援を共同で行うことにより,判定者に対して金の回答を開示することなく,接地,一貫性,タスクマッチ,選択された回答への接続を評価する。 MedQA, MathQA, OpenBookQAの3つのオープンウェイトLCMを用いて, 未修正チェックポイント, SFT, 正当性のみのGRPOと比較して, 信頼度-調整アライメント誤差を最大26.51%削減し, 競争精度を維持し, 校正精度を向上する。 これらの結果は、信頼できるCoT推論には、自信のある回答だけでなく、それらを実質的に支援する根拠が必要であることを示している。

関連論文リスト

• Confidence-Aware Alignment Makes Reasoning LLMs More Reliable [65.44962502963378]
  CASPOは、トークンレベルの信頼度とステップワイドな論理的正しさを、個別の報酬モデルをトレーニングせずに整合させるフレームワークである。 推論中、信頼を意識した思考(CaT)を提案し、不確実な推論枝を無視可能なO(V)レイテンシで動的に生成する。 10のベンチマークと複数のモデルファミリでの実験では、CASPOは推論の信頼性と推論効率を一貫して改善している。
  論文  参考訳（メタデータ） (2026-05-08T07:08:25Z)
• Process Supervision of Confidence Margin for Calibrated LLM Reasoning [52.373121066425455]
  強化学習(RL)によるテスト時間計算のスケーリングは,大規模言語モデル(LLM)推論能力を向上させるための信頼性の高い経路として登場した。 しかし、結果に基づく報酬は、しばしばモデルに過信感を与え、幻覚、信頼できない信頼ベースの制御、不要な計算割り当てをもたらす。 本稿では,信頼性と信頼性を両立させるキャリブレーションを意識したRLフレームワークであるReinforcement Learning with Confidence Margin(textbfRLCM)を紹介する。
  論文  参考訳（メタデータ） (2026-04-25T14:40:13Z)
• FACT-E: Causality-Inspired Evaluation for Trustworthy Chain-of-Thought Reasoning [49.65751420291115]
  CoT(Chain-of-Thought)プロンプトはLSM推論を改善したが、モデルはしばしば不誠実な中間ステップを含むコヒーレントな説明を生成する。 我々は、CoTの品質を評価するための因果性に着想を得たフレームワークであるFACT-Eを提案する。 FACT-Eは推論・軌道選択を改善し、文脈内学習を強くすることを示す。
  論文  参考訳（メタデータ） (2026-04-12T15:35:08Z)
• Less Approximates More: Harmonizing Performance and Confidence Faithfulness via Hybrid Post-Training for High-Stakes Tasks [52.81286869496811]
  大規模な言語モデルは、自信を持って不正確な推論が現実世界の害を引き起こすような、ハイテイクなタスクにますますデプロイされている。 内的フィードバックからの教師なし強化学習と推論・トラス誘導型推論蒸留を併用して協調的に最適化することを提案する。 PRG方式のメトリクスを用いてRDとRLIFを適応的に重み付けするハイブリッドポストトレーニングフレームワークであるHyTuningを紹介する。
  論文  参考訳（メタデータ） (2026-04-09T16:50:11Z)
• Confidence Before Answering: A Paradigm Shift for Efficient LLM Uncertainty Estimation [47.91529693614168]
  既存の方法は、主に回答ファーストであり、回答を生成した後のみ信頼を生み出す。 モデルが答える前に信頼を出力する信頼第一パラダイムについて検討し、このスコアを正解する確率として解釈する。 我々は,信頼度校正と正解精度をセグメント化された信用代入を通じて協調的に最適化する強化学習フレームワークであるCoCAを提案する。
  論文  参考訳（メタデータ） (2026-03-06T04:03:13Z)
• CARE-RFT: Confidence-Anchored Reinforcement Finetuning for Reliable Reasoning in Large Language Models [27.69700706743494]
  本稿では,標準的な逆KL正規化をスキュー逆KL分散に置き換える新しい手法であるCARE-RFT(Confidence-Anchored Regularized Reinforcement Finetuning)を紹介する。 私たちの研究は、信頼に足る推論モデルと有能な推論モデルの両方を構築する上で、注意深い、信頼に足る正規化が鍵であることを証明しています。
  論文  参考訳（メタデータ） (2026-01-22T23:14:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。