Fugu-MT 論文翻訳(概要): Trust the Critic More

論文の概要: Trust the Critic More

arxiv url: http://arxiv.org/abs/2609.39247v1
Date: Wed, 30 Sep 2026 08:13:35 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-01 18:57:27.43155
Title: Trust the Critic More
Title（参考訳）: 批判をもっと信頼する
Abstract要約: 我々はActor-Critic with Action Chunking (AC2)を導入する。 AC2は代わりに、過去の軌跡の接頭辞の短い継続としてクレジットをアクションチャンクに割り当てる。我々は、AC2を用いてFineProofs-RL上でQwen3-4Bを訓練し、IMO-ProofBenchで評価する。
参考スコア（独自算出の注目度）: 18.895165017129695
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Standard language model RL algorithms credit every token of a long rollout with the same advantage determined by the terminal reward. Actor-critic methods can provide finer-grained credit assignment, but learned critics are generally considered too inaccurate to trust when training LLMs with RL. In recent works, even when a critic is present, it is used only for baseline estimation, so every trajectory must be rolled out to its terminal reward. We introduce Actor-Critic with Action Chunking (AC2) that removes the need to roll every trajectory to completion. AC2 instead assigns credit to action chunks: short continuations of prefixes of past trajectories. A learned critic scores the state reached at the end of each action chunk, allowing the policy to update without observing a terminal reward. We make critic-based credit assignment reliable through three design choices. First, we introduce local readiness which uses critic-based updates on a problem only when the critic is sufficiently accurate on that particular problem. Second, when available, we provide the critic with a reference solution from a previous successful rollout. Third, we assign credit over action chunks of 10k tokens rather than individual tokens, giving the critic a more meaningful portion of the trajectory to evaluate. We train Qwen3-4B on FineProofs-RL using AC2 and evaluate on IMO-ProofBench. AC2 exceeds GRPO's peak validation score of 18.5% using 2.5x fewer decoding FLOPs. This gain comes from two sources, (1) AC2 requires 25% fewer training steps to reach this score, and (2) each step generates fewer tokens because the policy does not need to continue every trajectory to completion. Conceptually, we demonstrate that we can remove the need to roll out every trajectory to completion, opening up a large previously unexplored design space for LLM RL algorithms.
Abstract（参考訳）: 標準言語モデル RL アルゴリズムは、終端報酬によって決定されるのと同じ利点で、長いロールアウトのトークンを全て信用する。アクター批判法は、よりきめ細かなクレジット割り当てを提供することができるが、学習した批評家は一般的に、LLMをRLで訓練する際に信頼するには不正確であると考えられている。最近の作品では、批評家がいても基準線推定にのみ使用されるため、全ての軌道を終末報酬にロールアウトしなければならない。我々はActor-Critic with Action Chunking (AC2)を導入する。 AC2は代わりに、過去の軌跡の接頭辞の短い継続としてクレジットをアクションチャンクに割り当てる。学習した批評家は、各アクションチャンクの最後に到達した状態をスコアし、端末の報酬を観察せずにポリシーを更新することができる。批判に基づく信用割当を3つの設計選択により信頼性の高いものにする。まず、批判者がその特定の問題に対して十分に正確である場合にのみ、批判ベースの更新を使用する局所的即応性を導入する。第2に、利用可能であれば、以前の成功したロールアウトからの参照ソリューションを批判者に提供します。第3に、個々のトークンではなく10kトークンのアクションチャンクにクレジットを割り当てます。我々は、AC2を用いてFineProofs-RL上でQwen3-4Bを訓練し、IMO-ProofBenchで評価する。 AC2 は GRPO のピークバリデーションスコア 18.5% を超え、デコード FLOP は2.5倍少ない。この利得は、(1) AC2はこのスコアに到達するのに25%少ないトレーニングステップを必要とし、(2)ポリシーが完了まですべての軌道を継続する必要がないため、各ステップはより少ないトークンを生成する。概念的には、我々は全ての軌道を完了までロールアウトする必要性を排除し、LLM RLアルゴリズムの未探索の広い設計空間を開放できることを実証する。

関連論文リスト

Unlocking the Critic: Reward-Free Policy Optimization for LLM Post-Training [12.188582747728931]
我々は、事前訓練された批評家が将来の成果を予測する能力は、効率的なロングホライゾン推論のための貴重な資産となることを示している。本稿では,リワードフリーポリシー最適化(RFPO)を紹介する。
論文参考訳（メタデータ） (2026-09-29T09:28:57Z)
EasyPPO: Stabilizing the Critic Is Key [57.76826550536797]
PPO(Proximal Policy Optimization)の主な強みは、その学習的批判である。批判は、大規模言語モデルの強化学習における不安定性の主要な原因でもある。 EasyPPOはフルトレーニングの地平線を通して安定しており、バニラPPO、VAPO、HL-GaussPPOより一貫して優れている。
論文参考訳（メタデータ） (2026-09-29T06:15:00Z)
Opera: A Verbal Critic Framework for Long-horizon Coding Agents [74.58337827299496]
本稿では,各修正を永続的なノートとして扱う言語批判フレームワークであるOperaについて紹介する。 Operaは、周期的およびイベント駆動のトリガを通じていつレビューするかを決定し、型付きオペレーターと問題を診断し、配信前に可視的な証拠に対するフィードバックを監査し、エージェントのその後のアクションを追跡して、単なるコンプライアンスと実際の解決を区別する。
論文参考訳（メタデータ） (2026-09-27T22:42:57Z)
ExecuCritic: Calibrated Critic Shaping for Code Generation with Verifiable Rewards [2.724374986592201]
実行フィードバックは、単体テストが客観的であり、プログラムの正確性を直接測定するため、コードモデルにとって有用な監視信号である。コーダと評論家が同じ実行ロールアウトで更新される共同トレーニングフレームワークであるExecuCriticを提案する。
論文参考訳（メタデータ） (2026-09-15T03:58:21Z)
TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents [51.523913302114266]
TRACE(Turn-level Reward Assignment via Credit Estimation)は、エージェント強化学習のための高密度クレジットアサインメント手法である。ツールコール境界における状態遷移としてロールアウトを表現し、凍結参照モデルからゴールド・アンサー・ログ確率を取得し、それらをログ比の状態値に変換し、それらの値の時間差変化としてアクション毎の報酬を導出する。純粋なRLを用いたベースモデルツール使用能力を大幅に向上させ、冷間開始制御された微調整ステージ、エージェント訓練ステージ、ライブWebデータによるトレーニングを不要とした。
論文参考訳（メタデータ） (2026-07-15T16:16:42Z)
SCOPE-RL: Optimizing Reasoning Paths Before and After Success [15.079558450636592]
SCOPE-RLは、検証可能な報酬を伴う強化学習のフレームワークである。結果のみのGRPOよりも平均精度を最大11.2pp向上させる。結果のみのGRPOよりも、推論トークンを最大27.1%削減する。
論文参考訳（メタデータ） (2026-07-13T12:56:28Z)
Save the Good Prefix: Precise Error Penalization via Process-Supervised RL to Enhance LLM Reasoning [59.76691952347156]
強化学習(RL)は,大規模言語モデル(LLM)の推論能力向上のための強力なフレームワークとして登場した。既存のRLアプローチの多くは疎結果報酬に依存しており、部分的に成功した解では正しい中間段階を信用できない。本稿では、PRMを用いてRL中の最初のエラーをローカライズする検証済み事前修正ポリシー最適化(VPPO)を提案する。
論文参考訳（メタデータ） (2026-01-26T21:38:20Z)
Actor-Critic for Continuous Action Chunks: A Reinforcement Learning Framework for Long-Horizon Robotic Manipulation with Sparse Reward [85.84943447589511]
本稿では,高次元連続行動系列を生成するための新しいRLフレームワークであるAC3(Actor-Critic for Continuous Chunks)を紹介する。この学習プロセスを安定させ、データ効率を高めるため、AC3はアクターと批評家の両方に目標安定化機構を組み込む。
論文参考訳（メタデータ） (2025-08-15T01:27:15Z)
DeepCritic: Deliberate Critique with Large Language Models [77.5516314477878]
我々は,Large Language Models(LLMs)の数学批判能力の研究と向上に焦点をあてる。 Qwen2.5-7B-Instructをベースとした批判モデルを開発した。
論文参考訳（メタデータ） (2025-05-01T17:03:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。