論文の概要: Learning to Reason with Selective Internal Feedback
- arxiv url: http://arxiv.org/abs/2610.21392v1
- Date: Thu, 15 Oct 2026 07:08:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.244632
- Title: Learning to Reason with Selective Internal Feedback
- Title（参考訳）: 選択的内部フィードバックによる推論の学習
- Abstract要約: 本稿では、比較報酬構築と選択ポリシー更新を組み合わせた強化学習手法であるSIFを紹介する。
SIFは、複数のウィンドウとピアでランク付けされたトークンレベルの自己確実性プロファイルを比較し、両レベルの投票が十分なサポートを提供する場合にのみ、肯定的な報酬を割り当てる。
実験の結果、SIFの最終チェックポイントは、IntuitorとVigorの最良の検証ポイントよりも平均精度が高く、Qwen2.5-Math-1.5BではIntuitorよりも4.71ポイント上昇した。
- 参考スコア（独自算出の注目度）: 15.532616887327253
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement learning from internal feedback can improve language models without ground-truth answers or external verifiers. However, confidence and correctness can diverge during training, and continued optimization of average self-certainty can increase confidence while degrading reasoning accuracy. We introduce SIF, a reinforcement learning method that combines comparative reward construction with selective policy updates. SIF compares ranked token-level self-certainty profiles across multiple windows and peers, assigning positive rewards only when both levels of voting provide sufficient support. Sample and group level filtering determines which responses contribute to policy optimization. Experiments on three backbones across 12 mathematical and scientific reasoning benchmarks show that SIF's final checkpoints achieve higher average accuracy than the best-validation checkpoints of Intuitor and Vigor, with a gain of 4.71 percentage points over Intuitor on Qwen2.5-Math-1.5B. Further analyses show better retention of accuracy during continued optimization, while test-time training experiments demonstrate sustained improvements with as few as four rollouts per prompt.
- Abstract（参考訳）: 内部フィードバックからの強化学習は、根本的な答えや外部検証なしで言語モデルを改善することができる。
しかし、トレーニング中に自信と正しさが分散し、平均的な自己確実性の継続的な最適化は、推論精度を低下させながら信頼を高めることができる。
我々は、比較報酬構築と選択的ポリシー更新を組み合わせた強化学習手法であるSIFを紹介する。
SIFは、複数のウィンドウとピアでランク付けされたトークンレベルの自己確実性プロファイルを比較し、両レベルの投票が十分なサポートを提供する場合にのみ、肯定的な報酬を割り当てる。
サンプルとグループレベルのフィルタリングは、どのレスポンスがポリシー最適化に寄与するかを決定する。
12の数学的および科学的推論ベンチマークによる3つのバックボーンの実験では、SIFの最終チェックポイントは、IntuitorとVigorの最良の検証ポイントよりも高い平均精度を達成し、Qwen2.5-Math-1.5BではIntuitorよりも4.71ポイント向上した。
さらなる分析では、継続最適化中の精度の維持が向上し、テストタイムのトレーニング実験では、1プロンプトあたり4回のロールアウトで持続的な改善が示された。
関連論文リスト
- C3: Rethinking Process Supervision via Confidence-Guided Credit Correction in Multi-Turn Reinforcement Learning [10.652185354720578]
本稿では,信頼誘導型信用補正(C$3$)を提案する。
C$3$は望ましくない振る舞いに対応するスパンを識別し、有利な見積もりの後、選択的に正のクレジットを補正する。
結果より, 局所的信用補正は, 結果駆動型RLのプロセス管理に有効な方法であることがわかった。
論文 参考訳（メタデータ） (2026-10-14T07:18:13Z) - Semifactual Credit-Augmented Policy Optimization [26.851464193164947]
検証可能な報酬付き強化学習(RLVR)は、大規模言語モデルの推論能力を改善した。
本研究は,基礎となる問題とその答えを保存するための半実的な介入を通して,この感度について検討する。
トークンレベルの信用代入に半実的安定性を組み込んだ半実的信用増資政策最適化(SCAPO)を導入する。
論文 参考訳（メタデータ） (2026-09-30T17:59:56Z) - Shared Experience, Separate Learning: Companion Confidence Calibration for LLMs [72.45153081761715]
本研究では,能力向上とともに信頼度が学習されるエンファンコンカレント信頼度校正について検討する。
隠れ状態のロールアウトや検証者による正当性監視から軽量なコンパニオンを訓練する textbfCoCal を導入する。
Qwen3-8BとQwen3-14Bの実験は、タスク性能を犠牲にすることなく、CoCalが信頼性評価を改善することを示した。
論文 参考訳（メタデータ） (2026-09-27T16:25:09Z) - From Reward Signal to Visual Utility: A Controlled Audit of Medical VLM Post-Training [0.0]
教師付き微調整(SFT)と低ランク適応(LoRA)を比較した。
2,000のクリーンテスト質問に対して、言語モデルLoRA SFTは正像精度を+1.10ポイント変更した。
広範適応は言語モデルLoRA SFTよりも低い正像精度が得られる。
論文 参考訳（メタデータ） (2026-09-25T16:06:54Z) - SVR: Self-Verifying Refinement via Joint Verdict-Confidence Reinforcement Learning for Adaptive Test-Time Compute [62.3458279176813]
自己検証リファインメント(Self-Verifying Refinement)は、オラクルフリーのマルチターン強化学習フレームワークである。
自己検証を計算制御ポリシとして使用することを学ぶ。
マクロ平均精度は0.563で、平均で2.99回しか推測できない。
論文 参考訳（メタデータ） (2026-07-30T16:20:58Z) - Ranking-Aware Calibration for Reliable Multimodal Reinforcement Learning [28.00739954235118]
本稿では,2つの比較信号を用いて信頼度を監督する学習時間フレームワークであるRanding-Aware(RAC)を紹介する。
我々はQwen2.5-VL InternVL-3.5バックボーン上でRACをインスタンス化し、クリーンで破損した入力の下で6つのマルチモーダル推論ベンチマークで評価する。
論文 参考訳（メタデータ） (2026-05-16T13:51:29Z) - Confidence-Aware Alignment Makes Reasoning LLMs More Reliable [65.44962502963378]
CASPOは、トークンレベルの信頼度とステップワイドな論理的正しさを、個別の報酬モデルをトレーニングせずに整合させるフレームワークである。
推論中、信頼を意識した思考(CaT)を提案し、不確実な推論枝を無視可能なO(V)レイテンシで動的に生成する。
10のベンチマークと複数のモデルファミリでの実験では、CASPOは推論の信頼性と推論効率を一貫して改善している。
論文 参考訳（メタデータ） (2026-05-08T07:08:25Z) - Evaluating Prompt Injection Defenses for Educational LLM Tutors: Security-Usability-Latency Trade-offs [51.56484100374058]
ガードレールの設計には、敵の堅牢性、良質なタスクのユーザビリティ、応答レイテンシの明確なトレードオフが伴う。
決定論的パターンフィルタ,構造検証,コンテキストサンドボックス,セッションレベルの動作チェックを組み合わせた,ドメイン固有のマルチレイヤセーフガードパイプラインの評価を行った。
NeMoは16.22パーセントのFPRと1.5パーセントのレイテンシで0パーセントのバイパスに達し、Prompt Guardは38.48パーセントのFPRと3.60パーセントのバイパスを実現している。
論文 参考訳（メタデータ） (2026-03-29T18:52:01Z) - Confidence Before Answering: A Paradigm Shift for Efficient LLM Uncertainty Estimation [47.91529693614168]
既存の方法は、主に回答ファーストであり、回答を生成した後のみ信頼を生み出す。
モデルが答える前に信頼を出力する信頼第一パラダイムについて検討し、このスコアを正解する確率として解釈する。
我々は,信頼度校正と正解精度をセグメント化された信用代入を通じて協調的に最適化する強化学習フレームワークであるCoCAを提案する。
論文 参考訳（メタデータ） (2026-03-06T04:03:13Z) - Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty [59.97939500426759]
本稿ではRLCRについて述べる。RLCRは精度と信頼性を共同で向上する推論モデルを訓練する手法である。
多様なデータセット間で、RLCRは精度を損なうことなくキャリブレーションを大幅に改善することを示す。
また,言語的信頼度をテスト時に活用し,精度とキャリブレーションを向上させることも実証した。
論文 参考訳（メタデータ） (2025-07-22T17:56:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。