論文の概要: LLM-as-an-Improver: Turning Verification into Better Candidates

• arxiv url: http://arxiv.org/abs/2609.19515v1
• Date: Thu, 17 Sep 2026 00:05:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.034998
• Title: LLM-as-an-Improver: Turning Verification into Better Candidates
• Title（参考訳）: LLM-as-an-Improver: 検証をよりよい候補に変える
• Abstract要約: LLM-as-an-Improverと提案--repair-Reselect(VRR)を導入する。 VRRは最初の勝者を保持し、条件付きで3つの補完的な選択肢を生成する。 多様なモデルやコード生成、推論ベンチマークを通じて、VRRは多くの設定で固定プール検証ベースの選択よりも改善されている。
• 参考スコア（独自算出の注目度）: 9.238700679836855
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Verifier-based selection improves LLM performance by generating multiple candidate solutions and using a verifier to select the most promising one. However, existing methods typically treat verification only as a ranking step and discard its feedback once a fixed candidate pool has been evaluated. In this paper, we ask whether verification can also improve the candidate set itself. To this end, we introduce LLM-as-an-Improver and propose Verify--Repair--Reselect (VRR), which uses verification feedback to generate and reselect improved candidates. VRR retains the initial winner while conditionally generating three complementary alternatives: repaired versions of the winner and runner-up, and a solution based on a new approach. It filters invalid and duplicate candidates using only inference-time information and then reselects the final answer under the original evaluation criteria. Across diverse models and code-generation and reasoning benchmarks, VRR improves over fixed-pool verifier-based selection in many settings and can recover correct solutions even when all candidates in the initial pool are incorrect. These results highlight a broader role for LLMs as improvers: verification feedback can not only select among existing solutions but also construct stronger candidates beyond the initial pool.
• Abstract（参考訳）: 検証者ベースの選択は、複数の候補解を生成し、検証者を使用して最も有望な解を選択することにより、LCM性能を向上させる。 しかし、既存の手法は、検証をランキングステップとしてのみ扱い、固定候補プールが評価されると、そのフィードバックを破棄する。 本稿では,検証が候補セット自体を改善できるかどうかを問う。 この目的のために,LLM-as-an-Improverを導入し,検証フィードバックを用いて改良された候補の生成と再選択を行うVerify--Repair--Reselect (VRR)を提案する。 VRRは最初の勝者を保持し、条件付きで3つの補完的な選択肢を生成する。 推論時間情報のみを使用して無効候補と重複候補をフィルタリングし、その後、元の評価基準の下で最終回答を再選択する。 多様なモデルやコード生成、推論ベンチマークを通じて、VRRは多くの設定において固定プール検証ベースの選択よりも改善されており、初期プールのすべての候補が正しくない場合でも正しいソリューションを復元することができる。 検証フィードバックは、既存のソリューションの中から選択できるだけでなく、初期プールを越えてより強力な候補を構築することができる。

関連論文リスト

• LLM-as-a-Verifier: A General-Purpose Verification Framework [74.40111651545979]
  本稿では,汎用検証フレームワーク LLM-as-a-Verifier を紹介する。 追加のトレーニングを必要とせずに、エージェントタスクに対してきめ細かいフィードバックを提供する。 いくつかのベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-07-06T17:59:35Z)
• F-GRPO: Factorized Group-Relative Policy Optimization for Unified Candidate Generation and Ranking [79.49893545611779]
  大規模言語モデル(LLM)はサブセットを生成し、それを1つの自己回帰パス内で順序付けることができる。 この柔軟性は、新しい最適化課題をもたらす: モデルが出力空間を検索し、完全なランクリストが生成された後にのみユーティリティフィードバックを受けなければならない。 このクレジット割り当てギャップは、エンドツーエンドの最適化を不安定にし、サンプル非効率にする。 本稿では,単一自己回帰的ロールアウト内の両方を実行する統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-13T04:52:33Z)
• Critique to Verify: Accurate and Honest Test-Time Scaling with RL-Trained Verifiers [63.99316853136304]
  ミラー・クリティク(Mirror-Critique)は、情報的批評で検証者を訓練する枠組みである。 我々は、高品質な批判データを合成するために、小さな命令調整モデルを展開する。 結果として得られるミラー検証は、ソリューション毎に複数の批判を生成することで、候補ソリューションを評価するためにデプロイされる。
  論文  参考訳（メタデータ） (2025-09-27T06:50:24Z)
• Learning to Refine: Self-Refinement of Parallel Reasoning in LLMs [102.48588475875749]
  本稿では,新しい並列テスト時間スケーリングフレームワークであるGenerative Self-Refinement (GSR)を紹介する。 GSRは一連の候補応答を並列に生成し、その後自己精製を行い、新しい優れた解を合成する。 提案手法は,5つの数学ベンチマークにおいて,最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-08-27T06:51:48Z)
• Generative Verifiers: Reward Modeling as Next-Token Prediction [29.543787728397643]
  本研究では,ユビキタスな次世代予測目標を用いて,検証とソリューション生成を併用したトレーニング検証手法を提案する。 標準検証器と比較して、そのような生成検証器(genRM)はLLMのいくつかの利点の恩恵を受けることができる。 我々は、MATHで28%$rightarrow$44.6%、MMLU抽象代数学で37.9%$rightarrow$53.5%の改善を観察する。
  論文  参考訳（メタデータ） (2024-08-27T17:57:45Z)
• V-STaR: Training Verifiers for Self-Taught Reasoners [71.53113558733227]
  V-STaR はモデル生成解の正しさを判断する DPO を用いて検証器を訓練する。 複数のイテレーションでV-STaRを実行すると、徐々により良い推論器と検証器が得られる。
  論文  参考訳（メタデータ） (2024-02-09T15:02:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。