論文の概要: SPC: Evolving Self-Play Critic via Adversarial Games for LLM Reasoning

• arxiv url: http://arxiv.org/abs/2504.19162v1
• Date: Sun, 27 Apr 2025 08:45:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:54.158157
• Title: SPC: Evolving Self-Play Critic via Adversarial Games for LLM Reasoning
• Title（参考訳）: SPC: LLM推論のための対戦ゲームによるセルフプレイ批判の展開
• Authors: Jiaqi Chen, Bang Zhang, Ruotian Ma, Peisong Wang, Xiaodan Liang, Zhaopeng Tu, Xiaolong Li, Kwan-Yee K. Wong,
• Abstract要約: セルフプレイ批判(Self-Play Critic、SPC)は、対戦型セルフプレイゲームを通じて推論ステップを評価する能力を進化させる新しいアプローチである。 SPCは、ベースモデルの2つのコピーを微調整して、2つの役割、すなわち「スニーキージェネレータ」と「批判的」を演じる。
• 参考スコア（独自算出の注目度）: 99.645427839457
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evaluating the step-by-step reliability of large language model (LLM) reasoning, such as Chain-of-Thought, remains challenging due to the difficulty and cost of obtaining high-quality step-level supervision. In this paper, we introduce Self-Play Critic (SPC), a novel approach where a critic model evolves its ability to assess reasoning steps through adversarial self-play games, eliminating the need for manual step-level annotation. SPC involves fine-tuning two copies of a base model to play two roles, namely a "sneaky generator" that deliberately produces erroneous steps designed to be difficult to detect, and a "critic" that analyzes the correctness of reasoning steps. These two models engage in an adversarial game in which the generator aims to fool the critic, while the critic model seeks to identify the generator's errors. Using reinforcement learning based on the game outcomes, the models iteratively improve; the winner of each confrontation receives a positive reward and the loser receives a negative reward, driving continuous self-evolution. Experiments on three reasoning process benchmarks (ProcessBench, PRM800K, DeltaBench) demonstrate that our SPC progressively enhances its error detection capabilities (e.g., accuracy increases from 70.8% to 77.7% on ProcessBench) and surpasses strong baselines, including distilled R1 model. Furthermore, applying SPC to guide the test-time search of diverse LLMs significantly improves their mathematical reasoning performance on MATH500 and AIME2024, outperforming state-of-the-art process reward models.
• Abstract（参考訳）: Chain-of-Thoughtのような大規模言語モデル(LLM)推論のステップバイステップの信頼性を評価することは、高品質なステップレベルの監視を得ることの難しさとコストのため、依然として困難である。 本稿では、対戦型セルフプレイゲームを通じて推論ステップを評価する能力を進化させ、手動のステップレベルのアノテーションを不要とする、新たなアプローチであるセルフプレイ批判(SPC)を紹介する。 SPCは、ベースモデルの2つのコピーを微調整して2つの役割を演じる。すなわち、検出が難しいように設計された誤ったステップを意図的に生成する「スニーキージェネレータ」と、推論ステップの正しさを分析する「批判的」である。 これら2つのモデルは、ジェネレータが批評家を騙そうとする対角ゲームに従事し、批評家モデルはジェネレータのエラーを特定しようとする。 各対戦の勝者は肯定的な報酬を受け取り、敗者は負の報酬を受け取り、連続的な自己進化を駆動する。 3つの推論プロセスベンチマーク(ProcessBench, PRM800K, DeltaBench)の実験は、我々のSPCが徐々にエラー検出能力(ProcessBenchの精度は70.8%から77.7%に向上し、蒸留R1モデルを含む強いベースラインを超えることを示した。 さらに,多種多様なLSMの試験時間探索にSPCを適用することにより,MATH500やAIME2024の数学的推論性能が向上し,最先端のプロセス報酬モデルよりも優れていた。

関連論文リスト

• R-PRM: Reasoning-Driven Process Reward Modeling [53.06844294668382]
  プロセス・リワード・モデル(Process Reward Models, PRM)は、各推論ステップを評価することによって、有望なソリューションとして登場した。 既存のPRMは評価スコアを直接出力し、学習効率と評価精度の両方を制限する。 推論駆動プロセスリワードモデリング(R-PRM)を提案する。 R-PRMは限られたアノテーションからシードデータを生成し、効果的にモデルの推論能力をブートストラップします。
  論文  参考訳（メタデータ） (2025-03-27T09:23:08Z)
• Iterative Deepening Sampling for Large Language Models [27.807695570974644]
  効果的な自己補正と自己補正を実現するためのトレーニングモデルは、依然として重要な課題である。 自己補正の強化と高品質なサンプル生成を目的とした,新しい反復サンプリングアルゴリズムフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-08T04:39:51Z)
• PRMBench: A Fine-grained and Challenging Benchmark for Process-Level Reward Models [28.74956741932006]
  PRMベンチ(PRM Bench)は, PRMの微細な誤差検出機能を評価するための, プロセスレベルのベンチマークである。 PRMBenchは、6,216の慎重に設計された問題と83,456のステップレベルラベルで構成され、複数の次元にわたるモデルを評価する。
  論文  参考訳（メタデータ） (2025-01-06T16:31:45Z)
• Self-Generated Critiques Boost Reward Modeling for Language Models [57.60881438647227]
  Critic-RMは、余分な監督なしに自己生成した批評を使って報酬モデルを改善するフレームワークである。 実験の結果、Critic-RMは標準報酬モデルやLLM審査員と比較して報酬モデリングの精度を3.7%-7.3%改善していることがわかった。
  論文  参考訳（メタデータ） (2024-11-25T18:28:26Z)
• Enhancing LLM Reasoning via Critique Models with Test-Time and Training-Time Supervision [120.40788744292739]
  本稿では、推論と批判モデルの役割を分離する2人プレイヤパラダイムを提案する。 まず、批判データを収集する自動化およびスケーラブルなフレームワークであるAutoMathCritiqueを提案する。 テスト時間における難解なクエリに対するアクターのパフォーマンスを,批判モデルが一貫して改善することが実証された。
  論文  参考訳（メタデータ） (2024-11-25T17:11:54Z)
• Self-rationalization improves LLM as a fine-grained judge [21.917301609125417]
  本稿では,判断モデルの合理性を改善する反復的プロセスである自己帰納化を導入する。 自己合理化は、モデルが同じ入力に対して合理性を持つ複数の判断を生成させることで機能する。 我々のモデルは、SFTで訓練されたモデルと比較して平均62%の利益率で、より高い品質の合理性を生み出すことを学習している。
  論文  参考訳（メタデータ） (2024-10-07T21:05:53Z)
• Self-Taught Evaluators [77.92610887220594]
  本稿では,人工的なトレーニングデータのみを用いて,人間のアノテーションを使わずに即興で証明することを目的としたアプローチを提案する。 我々の自己学習評価器は、RewardBench上で75.4から88.3までの強いLDMを改善することができる。
  論文  参考訳（メタデータ） (2024-08-05T17:57:02Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。