論文の概要: Can Language Models Learn to Reject Their Own Bad Reasoning Steps?

• arxiv url: http://arxiv.org/abs/2610.05976v1
• Date: Mon, 05 Oct 2026 08:27:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:45:38.508476
• Title: Can Language Models Learn to Reject Their Own Bad Reasoning Steps?
• Title（参考訳）: 言語モデルは、自分自身の悪い推論ステップを拒絶することを学ぶことができるか?
• Abstract要約: セルフステップ・リジェクション(SSR)は、ベースモデルの凍結を維持しながら、発電機のバックボーンに軽量のロラ受入ゲートを訓練する。 SSRは、生成されたトークンの1.21--1.40倍を用いて、シングルパスデコードよりも平均マクロ平均精度を5.4--10.1ポイント向上させる。
• 参考スコア（独自算出の注目度）: 29.52749228408909
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Verifier-guided decoding can prevent harmful reasoning steps from contaminating subsequent generation, but typically relies on an external learned verifier. We ask whether a language model can instead reject its own bad reasoning steps. We define a prefix's recoverability as the probability that the frozen generator can complete it correctly. Diagnostics show that adjacent recoverability changes are often difficult to resolve with practical Monte Carlo budgets, while same-prefix candidates exhibit a sparse low-recoverability tail. We introduce Self-Step Rejection (SSR), which trains a lightweight LoRA acceptance gate on the generator backbone while keeping the base model frozen. SSR uses confidence-qualified first-passage supervision: steps before the first resolved crossing of a root-relative recoverability barrier are accepted, the crossing step is rejected, and unresolved steps and suffixes are excluded. Training combines pointwise classification, same-prefix pairwise learning, and group-relative policy refinement using final-answer correctness. At inference, SSR accepts candidates or resamples from the unchanged prefix under rejection budgets, without an external learned verifier. Across three reasoning models and five mathematical reasoning benchmarks, SSR improves macro-average accuracy over single-pass decoding by 5.4--10.1 points using 1.21--1.40x as many generated tokens, and achieves the highest macro-average accuracy among evaluated step-level methods. Full-solution scaling methods require 4.47--8.27x the single-pass token cost for comparable performance.
• Abstract（参考訳）: 検証者誘導復号は、有害な推論ステップがその後の世代を汚染するのを防ぐことができるが、典型的には外部の学習された検証者に依存している。 言語モデルが自身の悪い推論ステップを拒否できるかどうかを問う。 我々は、プレフィックスの回復可能性について、凍結生成器が正しく完了できる確率として定義する。 診断では、モンテカルロの予算で隣接する回復可能性の変化を解消することはしばしば困難である。 本稿では, 自走式リジェクション (SSR) を導入し, ベースモデルの凍結を保ちながら, 発電機バックボーン上に軽量のLoRA受入ゲートを訓練する。 SSRは、信頼度認定された第1パスの監督を利用する: ルート相対的回復可能性障壁の最初の解決された交差を受理する前のステップを受理し、交差ステップを拒否し、未解決ステップと接尾辞を除外する。 トレーニングは、ポイントワイズ分類、同修正ペアワイズ学習、および最終回答正しさを用いたグループ相対的政策改善を組み合わせる。 推論時に、SSRは、外部学習検証者なしで、拒否予算の下で変更されていないプレフィックスから候補を受け入れ、再サンプリングする。 3つの推論モデルと5つの数学的推論ベンチマークで、SSRは1つのパスの復号よりも5.4--10.1ポイントのマクロ平均精度を、生成されたトークンの1.21--1.40倍で改善し、評価されたステップレベルのメソッドの中で最高のマクロ平均精度を達成する。 フルソリューションのスケーリングには、同等の性能のシングルパストークンコストの4.47--8.27倍が必要である。

関連論文リスト

• Controlled Decoding Attacks on Black-Box LLMs [68.46062477706256]
  Methodは、繰り返しサンプリングとアシスタント-継続を可能にする、テキストのみの継続インターフェイスを通じてジェイルブレイクを行うためのフレームワークである。 Risk-Gated Residual Controlは、進化する応答プレフィックスを使用して、配布の再構築と修正をいつ行うかを決定する。 Speculative Multi-Token Executionは、介入を必要としないドラフトプレフィックスの検証と受け入れによって、さらにターゲットコールを償却する。
  論文  参考訳（メタデータ） (2026-09-29T07:58:49Z)
• Reflective Recovery: A Self-Supervised Method for Reasoning by Learning from Mistakes [70.64622557376505]
  リフレクティブリカバリは、推論中のミスを認識し、修正するようにモデルに教える。 AIME 2025では30.0%から37.5%、Minervaでは37.6%から47.8%に精度が向上している。
  論文  参考訳（メタデータ） (2026-07-24T02:51:42Z)
• Learning with a Single Rollout via Monte Carlo Pass@k Critic [41.21709991031287]
  拡張学習におけるトークンレベルの利点を推定することは、エピソード体験コレクションのスケールアップが高価であるため困難である。 言語モデルのためのRLにおけるトークンレベルの信用代入を特徴とする単一ロールアウトポリシ最適化について検討する。 SR-PPOは、Pass@128の成功率の連続的な上昇とともに、安定した学習力学を示すことを示す。
  論文  参考訳（メタデータ） (2026-06-24T06:26:34Z)
• Conformal Certification of Reasoning Trace Prefixes [30.432255322700126]
  CROP(Conformal Reasoning Output Prefixes)は,クリーンアノテート認証のためのバリデーション非依存の校正手順である。 CROPをオーバー・アンド・アンダー・ホールドし、有効な中間的推論を保ち、下流の補修精度を向上させることを実証する。
  論文  参考訳（メタデータ） (2026-05-28T15:31:42Z)
• Beyond Final Answers: CRYSTAL Benchmark for Transparent Multimodal Reasoning Evaluation [3.23600523782706]
  CRYSTAL (Clear Reasoning via Yielded Steps, Traceability, and Logic)は6,372インスタンスの診断ベンチマークである。 本稿では,意味的類似性マッチングによるステップレベルの精度とリコールをスコアするMatch F1と,乱れた推論連鎖をペナルティ化するOrdered Match F1の2つの相補的指標を提案する。 CPR-CurriculumはGRPOによるMatch F1の32%の改善を実現している。
  論文  参考訳（メタデータ） (2026-03-13T15:48:15Z)
• Overconfident Errors Need Stronger Correction: Asymmetric Confidence Penalties for Reinforcement Learning [17.384089089363382]
  既存の手法が見落としている根本原因を同定する。 現在のアプローチでは、グループ内のすべての誤ったロールアウトを同一に扱う。 非対称信頼度を考慮した誤り罰(ACE)を提案する。
  論文  参考訳（メタデータ） (2026-02-24T22:46:43Z)
• Save the Good Prefix: Precise Error Penalization via Process-Supervised RL to Enhance LLM Reasoning [59.76691952347156]
  強化学習(RL)は,大規模言語モデル(LLM)の推論能力向上のための強力なフレームワークとして登場した。 既存のRLアプローチの多くは疎結果報酬に依存しており、部分的に成功した解では正しい中間段階を信用できない。 本稿では、PRMを用いてRL中の最初のエラーをローカライズする検証済み事前修正ポリシー最適化(VPPO)を提案する。
  論文  参考訳（メタデータ） (2026-01-26T21:38:20Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• Self-Reflective Generation at Test Time [42.02273611421918]
  大規模言語モデル(LLM)は、長いチェーン・オブ・シークレットを通じて複雑な推論タスクを徐々に解決する。 既存の自己修正は、完全なドラフトに対して修正を行うか、高価なトレーニングを通じて自己修正を学ぶ。 テスト時間における自己回帰生成(SRGen)は、不確実な点で生成する前に反映する軽量なテスト時間フレームワークである。
  論文  参考訳（メタデータ） (2025-10-03T11:46:04Z)
• GRACE: Discriminator-Guided Chain-of-Thought Reasoning [75.35436025709049]
  本稿では, 正しい推論手順を導出するために, GRACE (CorrectnEss Discriminator) を用いたチェーン・オブ・シークレット・リAsoningを提案する。 GRACEは、正しいステップと間違ったステップに対して対照的な損失で訓練された判別器を採用しており、復号時に次のステップ候補を採点するために使用される。
  論文  参考訳（メタデータ） (2023-05-24T09:16:51Z)
• Self-Evaluation Guided Beam Search for Reasoning [61.523627290397556]
  我々は,Large Language Model (LLM) の推論プロセスのガイドと校正を行うための段階的自己評価機構を導入する。 本稿では,ビームサーチによる自己評価ガイダンスを統合した復号アルゴリズムを提案する。 我々のアプローチは、GSM8K、AQuA、StrategyQAにおいて、対応するCodexバックボンドベースラインをわずかに精度6.34%、9.56%、および5.46%で上回る。
  論文  参考訳（メタデータ） (2023-05-01T02:37:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。