論文の概要: ReCrit: Transition-Aware Reinforcement Learning for Scientific Critic Reasoning

• arxiv url: http://arxiv.org/abs/2605.18799v1
• Date: Mon, 11 May 2026 09:22:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 21:37:32.337414
• Title: ReCrit: Transition-Aware Reinforcement Learning for Scientific Critic Reasoning
• Title（参考訳）: ReCrit: 科学的批判推論のための遷移認識強化学習
• Authors: Wanghan Xu, Yuhao Zhou, Hengyuan Zhao, Shuo Li, Dianzhi Yu, Zhenfei Yin, Yaowen Hu, Fengli Xu, Wanli Ouyang, Wenlong Zhang, Lei Bai,
• Abstract要約: ReCritは、移行対応の強化学習フレームワークである。 初期から批判的な振る舞いを4つの四分詞に分解する: 補正、シコファンシー、ロバストネス、バウンダリー。 3つの科学的推論ベンチマークにおいて、ReCritはQwen3.5-4Bでは38.15から51.49に、Qwen3.5-9Bでは45.40から55.59に平均批評家の精度を改善している。
• 参考スコア（独自算出の注目度）: 67.4767245219046
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models can fail in critic interaction not only by answering incorrectly, but also by abandoning an initially correct scientific solution after user criticism. This is especially risky in scientific reasoning, where user criticism can turn a valid answer into an incorrect one. We frame critic interaction as an inter-turn correctness-transition problem rather than a final-answer accuracy problem, and identify three challenges: transition awareness, decoupling useful correction from harmful sycophancy, and scalable rollout. We propose ReCrit, a transition-aware reinforcement learning framework that decomposes Initial-to-Critic behavior into four quadrants: Correction, Sycophancy, Robustness, and Boundary. ReCrit rewards correction and robustness, penalizes sycophancy, and treats persistent errors as weak boundary signals. To make interaction training practical, ReCrit further uses dynamic asynchronous rollout with tail-adaptive completion to reduce rollout waiting. On three scientific reasoning benchmarks, ChemBench, TRQA, and EarthSE, ReCrit improves average Critic accuracy from 38.15 to 51.49 on Qwen3.5-4B and from 45.40 to 55.59 on Qwen3.5-9B. Ablations show that final-answer rewards provide little interaction-level gain, while transition-aware rewards and quadrant weighting produce more distinguishable training signals and larger net Critic-stage improvement. The code is available at https://github.com/black-yt/ReCrit .
• Abstract（参考訳）: 大規模な言語モデルは、誤って答えるだけでなく、ユーザー批判の後に最初に正しい科学的解決を放棄することで、批判的相互作用に失敗する可能性がある。 これは科学的な推論において特に危険であり、ユーザーの批判は有効な答えを誤ったものに変えることができる。 我々は、最終回答の精度問題ではなく、ターン間の正しさ-遷移問題として批判的相互作用を捉え、遷移認識、有害な梅毒からの有用な修正の分離、スケーラブルなロールアウトの3つの課題を特定した。 ReCritは、初期から批判的な振る舞いを4つの四分詞に分解する、遷移対応の強化学習フレームワークである。 ReCritは、補正と堅牢性を報償し、梅毒を罰し、永続的なエラーを弱い境界信号として扱う。 インタラクショントレーニングを実用的なものにするため、ReCritはさらに、テール適応補完を備えた動的非同期ロールアウトを使用してロールアウト待ちを削減している。 ChemBench、TRQA、EarthSEの3つの科学的推論ベンチマークにおいて、ReCritはQwen3.5-4Bでは38.15から51.49、Qwen3.5-9Bでは45.40から55.59まで平均的批判精度を改善している。 アブレーションは、最終回答の報酬は相互作用レベルの利益をほとんど与えず、遷移認識の報酬と四重項の重み付けはより識別可能なトレーニング信号とより大きなネット批判ステージの改善をもたらすことを示している。 コードはhttps://github.com/black-yt/ReCritで公開されている。

関連論文リスト

• ICRL: Learning to Internalize Self-Critique with Reinforcement Learning [29.197505133648047]
  大規模な言語モデルベースのエージェントは間違いを犯すが、批判はしばしば同じモデルを正しい行動へと導く。 凍結した批評家は、時間とともにフィードバックの品質を改善することができず、反復的な自己改善の可能性を制限する。 本稿では,自己批判を補強学習で学ぶことを提案する。これは,問題解決者と批判者を共有バックボーンから共同で訓練する新しい枠組みである。
  論文  参考訳（メタデータ） (2026-05-13T08:50:05Z)
• CAP-CoT: Cycle Adversarial Prompt for Improving Chain of Thoughts in LLM Reasoning [32.954077252169995]
  CoT(Chain-of-Thought)プロンプトは,大規模言語モデル(LLM)からステップバイステップのソリューションを引き出すための,シンプルかつ効果的な方法として登場した。 本研究では,CoTの推理精度と1つのデプロイされたソルバの安定性を両立させるため,Cycle Adversarial Prompt最適化フレームワークであるCAP-CoTを提案する。 CAP-CoTは,摂動を誘導するための推論精度とロバスト性を改善しつつ,ランの変動性を一貫して低減することを示す。
  論文  参考訳（メタデータ） (2026-04-25T12:24:04Z)
• A Rubric-Supervised Critic from Sparse Real-World Outcomes [87.11204512676193]
  現実のコーディングエージェントは、成功信号がノイズが多く、遅延し、スパースであるループで人間と動作します。 本稿では,RLに基づくトレーニングや推論時間スケーリングの報奨モデルとして,スパースとノイズの相互作用データから"批判的"モデルを学習するプロセスを提案する。
  論文  参考訳（メタデータ） (2026-03-04T07:23:54Z)
• Constraint-Rectified Training for Efficient Chain-of-Thought [60.52883907721588]
  CoT (Chain-of-Thought) は,Large Language Models (LLMs) の推論能力を大幅に向上させた。 より長い推論トレースは、自己訂正のような回答の品質とアンロック能力を改善することができるが、高い推論コストを発生させ、過度に考えることとして知られる冗長なステップをしばしば導入する。 近年の研究は、推論の長さと精度のバランスをとる効率的な推論戦略の開発を目指している。
  論文  参考訳（メタデータ） (2026-02-13T02:13:45Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• Taming the Judge: Deconflicting AI Feedback for Stable Reinforcement Learning [46.661195064495]
  この研究は、強化学習トレーニングループ内の不整合を検出し、解決するためのエンドツーエンドのフレームワークを導入している。 我々のフレームワークは2つの中核となるコンフリクト検出率 (CDR) と信号浄化フレームワークであるDeconflicted Graph Rewards (DGR) を特徴としている。 実験により、我々のフレームワークは、強力なベースラインよりもトレーニングの安定性とモデル性能を大幅に改善することを確認した。
  論文  参考訳（メタデータ） (2025-10-17T10:34:59Z)
• Unleashing the True Potential of LLMs: A Feedback-Triggered Self-Correction with Long-Term Multipath Decoding [4.220190655754022]
  大規模言語モデル(LLM)は、様々なタスクで顕著なパフォーマンスを達成したが、推論中に誤ったコンテンツを生成することへの感受性は、決定的な未解決の課題である。 本稿では,ユーザフィードバックとデコードダイナミクスの強化を両立させる新しいフレームワークであるFeedback-Triggered Regeneration (FTR)を提案する。 具体的には、FTRは、負のユーザフィードバックを受けた場合にのみ応答再生を起動し、本来正しい出力を保持しながら、不良自己評価からのエラー伝播を回避する。
  論文  参考訳（メタデータ） (2025-09-09T12:43:28Z)
• DisCor: Corrective Feedback in Reinforcement Learning via Distribution Correction [96.90215318875859]
  ブートストラップに基づくQ-ラーニングアルゴリズムは必ずしも修正フィードバックの恩恵を受けないことを示す。 本稿では,この最適分布に対する近似を計算し,トレーニングに使用する遷移の重み付けに使用する新しいアルゴリズムであるDisCorを提案する。
  論文  参考訳（メタデータ） (2020-03-16T16:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。