論文の概要: A Cheap Verifier is Good Enough: LLM Post-training is Robust to Erroneous Rewards

• arxiv url: http://arxiv.org/abs/2609.33467v1
• Date: Sun, 27 Sep 2026 11:22:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 16:36:24.183354
• Title: A Cheap Verifier is Good Enough: LLM Post-training is Robust to Erroneous Rewards
• Title（参考訳）: チープ検証は十分である:LSMポストトレーニングは誤ったリワードに対するロバストである
• Abstract要約: 検証者合意が、そのようなタスクにおけるポストトレーニングのパフォーマンスをどの程度予測するかは、まだ不明である。 テスト領域全体では、Qwen3研修生(HealthBenchでは1.7B-8B、PRBenchでは8B)、評価分割、フロンティアLCM基準審査員(ゴールデン検証者と呼ぶ)は、常に最高のトレーニング検証者を特定していない。 我々は,2つの低コスト選択 -- コスト低減の選択とバランスの取れた選択 -- を,ゴールデングレーディングプロトコルと比較して98.8%～99.7%,トレーニング後の平均スコアギャップが1～3ポイントと見積もった結果と比較した。
• 参考スコア（独自算出の注目度）: 4.113663187239042
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: When post-training large language models on tasks with semi-verifiable rewards, there are many factors (training steps, base model size, training order, data quality, verifier accuracy, etc.) that practitioners must contend with to maximize model performance. Yet, it remains unclear how well verifier agreement predicts post-training performance on such tasks. In this paper, we explore this question with over 11k H100 GPU-hours, across HealthBench and PRBench tasks in medical, legal, and finance domains. Across the tested domains, Qwen3 trainees (1.7B-8B on HealthBench; 8B on PRBench), evaluation splits, and frontier LLM reference judges (which we call golden verifiers), higher verifier agreement does not consistently identify the best training verifier. Expensive verifiers need not outperform inexpensive ones, and open-weight Gemma verifiers produce strong training outcomes. We compare two low-cost choices retrospectively -- a cost-reducing choice and a balanced choice -- with estimated grading cost reductions of 98.8%-99.7% relative to the golden grading protocols and average post-training score gaps of 1-3 points from the best evaluated training verifier. These averages include larger losses in individual settings; they do not establish that verifier choices are interchangeable.
• Abstract（参考訳）: 半検証可能な報酬を持つタスク上で大きな言語モデルをトレーニングした後、実践者がモデルパフォーマンスを最大化するために競合しなければならない多くの要因(トレーニングステップ、ベースモデルのサイズ、トレーニング順序、データ品質、検証精度など)が存在する。 しかし、検証者合意がそのようなタスクの訓練後のパフォーマンスをどの程度予測するかは、まだ不明である。 本稿では、医療、法律、金融分野におけるHealthBenchタスクとPRBenchタスクの11k H100 GPU-hoursを用いて、この問題を調査する。 テスト領域全体では、Qwen3研修生(HealthBenchでは1.7B-8B、PRBenchでは8B)、評価分割、フロンティアLCM基準審査員(ゴールデン検証者と呼ぶ)、より高い検証者合意は、常に最高のトレーニング検証者を特定するわけではない。 過剰な検証器は安価な検証器より優れる必要はないし、オープンウェイトなGemma検証器は強力なトレーニング結果をもたらす。 我々は,2つの低コスト選択 -- コスト低減の選択とバランスの取れた選択 -- を,ゴールデングレーディングプロトコルと比較して98.8%～99.7%,トレーニング後の平均スコアギャップが1～3ポイントと見積もった結果と比較した。 これらの平均値には、個々の設定におけるより大きな損失が含まれており、検証者選択が交換可能であることを確立していない。

関連論文リスト

• Training-Free Human-in-the-Loop Anomaly Detection via Memory Bank Correction [0.28675177318965045]
  異常検知器は、トレーニングデータが不足している場所を正確にデプロイするのが最も難しい。 本稿では、ドメインエキスパートが直接メモリバンクの編集によってPatchCore検出器を補正する、トレーニングフリーのヒューマン・イン・ザ・ループ・フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-18T13:39:21Z)
• When May a Model Replace the Experiment? Audits, Licenses, and the Price of Trust in Surrogate-Driven Design [8.037395295172088]
  化学、材料科学、機械学習におけるデザインキャンペーンはボトルネックを共有している。 これらの結果を予測する機械学習サロゲートは、候補を提案するだけでなく、それらを格付けし、測定したように自身の予測を検索に戻すためにも使われるようになっている。 我々は、この慣行が安全で、どんな安全証明書もコストがかからず、代金が確実に支払うことを確約する。
  論文  参考訳（メタデータ） (2026-08-02T16:59:29Z)
• Measurement Without Validity: The Compounding Reliability Problem in Agentic AI Evaluation [0.0]
  エージェントAI評価パイプラインは、デプロイメント決定、安全認定、規制コンプライアンス要求を正当化するベンチマークスコアを生成する。 正式なフレームワークはまだ、これらのパイプラインのステージにおける妥当性の低下を特徴付けていない。 本稿では,タスク生成,人間シミュレーションキャリブレーション,自動判定の3層合成妥当性モデルを提案する。
  論文  参考訳（メタデータ） (2026-08-01T17:50:12Z)
• Cybersecurity Detection Classification with Reasoning-enabled Language Models [50.72675435043546]
  セキュリティオペレーションセンター(SOC)の大きな問題は、警告疲労である。 以前の作業では、大きな言語モデル(LLM)がトリアージラベルを直接出力するように促すか、あるいは微調整するが、検出が真の脅威であるかどうかを判断するよう訓練することはない。 我々は、実際の人間ラベルのWindowsエンドポイント検出に対して、推論可能なトリアージ分類器(CoT)を訓練する。
  論文  参考訳（メタデータ） (2026-07-30T16:22:13Z)
• TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents [51.523913302114266]
  TRACE(Turn-level Reward Assignment via Credit Estimation)は、エージェント強化学習のための高密度クレジットアサインメント手法である。 ツールコール境界における状態遷移としてロールアウトを表現し、凍結参照モデルからゴールド・アンサー・ログ確率を取得し、それらをログ比の状態値に変換し、それらの値の時間差変化としてアクション毎の報酬を導出する。 純粋なRLを用いたベースモデルツール使用能力を大幅に向上させ、冷間開始制御された微調整ステージ、エージェント訓練ステージ、ライブWebデータによるトレーニングを不要とした。
  論文  参考訳（メタデータ） (2026-07-15T16:16:42Z)
• Bayesian control for coding agents [63.64172141184361]
  本稿では,コーディングエージェントのためのコスト依存型シーケンシャル仮説テストフレームワークを提案する。 ベイズ管制官は、正確性に対する信念を維持し、より多くの証拠を集め、候補者を精査し、検証し、停止するかを決定する。 本研究では, 信頼状態が, 不確実性定量化のためのトークン確率と生ツール・サクセスベースラインを上回り, 解釈可能な正当性スコアを得ることを示す。
  論文  参考訳（メタデータ） (2026-06-23T11:41:32Z)
• VeriGate: Verifier-Gated Step-Level Supervision for GRPO [51.26100506256885]
  グループ相対政策最適化は、検証者に基づく結果報酬を伴う推論モデルをトレーニングするための効果的なレシピである。 GRPO の検証子付き拡張である VeriGate を提案し,これらの制限を3つの設計選択で解決する。 We show that VeriGate improves average accuracy around 20% and 12% for 1.5B and 7B models respectively。
  論文  参考訳（メタデータ） (2026-05-28T18:20:32Z)
• When LLM Reward Design Fails: Diagnostic-Driven Refinement for Sparse Structured RL [10.399451281089318]
  我々はMiniGridをコア評価として,MuJoCoを境界応力試験として用いたPPO訓練剤について検討した。 私たちの監査では、報酬の洪水とセマンティック/API誤解という、2つの主要なワンショット障害モードを見つけました。 本稿では,トレーニング診断と障害モード分類ガイドが報酬関数の修正を対象とする,診断駆動反復改善法を提案する。
  論文  参考訳（メタデータ） (2026-05-27T17:57:43Z)
• PRIME: A Process-Outcome Alignment Benchmark for Verifiable Reasoning in Mathematics and Engineering [71.15346406323827]
  本稿では,プロセス・アウトカム・アライメント・アライメント・検証における検証結果を評価するベンチマークであるPRIMEを紹介する。 現在の検証器は、しばしば導出欠陥を検出するのに失敗する。 本稿では,PRIMEで選択した検証手法を利用したプロセス認識型RLVRトレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2026-02-12T04:45:01Z)
• Uncertainty-Guided Checkpoint Selection for Reinforcement Finetuning of Large Language Models [27.97382399449914]
  強化学習(RL)ファインタニングは大規模言語モデル(LLM)の整合に不可欠であるが、そのプロセスは不安定である。 実際に、最高のチェックポイントを選択することは難しい。トレーニング中の検証セットのチェックポイントを評価することは、計算コストが高く、優れた検証セットが必要である。 チェックポイント選択(UGCS)に対する不確実性誘導手法を導入し,これらの落とし穴を回避する。
  論文  参考訳（メタデータ） (2025-11-13T01:46:58Z)
• Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty [59.97939500426759]
  本稿ではRLCRについて述べる。RLCRは精度と信頼性を共同で向上する推論モデルを訓練する手法である。 多様なデータセット間で、RLCRは精度を損なうことなくキャリブレーションを大幅に改善することを示す。 また,言語的信頼度をテスト時に活用し,精度とキャリブレーションを向上させることも実証した。
  論文  参考訳（メタデータ） (2025-07-22T17:56:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。