Fugu-MT 論文翻訳(概要): Reinforcement Learning without Ground-Truth Solutions can Improve LLMs

論文の概要: Reinforcement Learning without Ground-Truth Solutions can Improve LLMs

arxiv url: http://arxiv.org/abs/2606.27369v1
Date: Thu, 25 Jun 2026 17:59:36 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-26 18:46:32.397858
Title: Reinforcement Learning without Ground-Truth Solutions can Improve LLMs
Title（参考訳）: 地盤構造解のない強化学習はLLMを改善することができる
Abstract要約: LLMを訓練するための検証可能な報酬(RLVR)による強化学習は、典型的には報酬を割り当てるために根底からの回答に依存している。我々は,スコアベース最適化タスクにLLMをトレーニングするtextbfRanking-textbf誘発のtextbfverible framework (RiVER)を導入する。
参考スコア（独自算出の注目度）: 47.0243847990524
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Reinforcement learning with verifiable rewards (RLVR) for training LLMs typically rely on ground-truth answers to assign rewards, limiting their applicability to tasks where the ground-truth solution is unknown. We introduce a \textbf{R}anking-\textbf{i}nduced \textbf{VER}ifiable framework (RiVER) that trains LLMs on score-based optimization tasks without ground-truth solutions, using deterministic execution feedback as continuous-valued supervision. When applying group-relative RL to such continuous rewards, we identify two key challenges: \emph{scale dominance}, where uncalibrated score magnitudes across test instances distort policy updates, and \emph{frequency dominance}, where repeatedly sampled suboptimal solutions can outweigh rare but stronger candidates. RiVER addresses these challenges with calibrated reward shaping that uses instance-wise comparisons and emphasizes top-ranked solvers while retaining bounded feedback for other valid solutions. We train on 12 AtCoder Heuristic Contest tasks and evaluate on Algorithm Engineering Benchmark (ALE-Bench), LiveCodeBench, and USACO. RiVER advances Qwen3-8B and GLM-Z1-9B-0414 by 8.9\% and 9.4\% in ALE rating rank. More importantly, despite training exclusively on score-based tasks without any ground-truth solutions, RiVER also improves the backbones across exact-solution benchmarks such as LiveCodeBench and USACO by an absolute average improvement of 2.4\% and 3.5\%. By contrast, baselines trained with raw execution scores improve ALE rating but fail to transfer to exact-solution benchmarks. These results suggest that score-based optimization tasks, combined with proper reward calibration, can serve as effective training environments for general coding ability without ground-truth solutions.
Abstract（参考訳）: LLMのトレーニングのための検証可能な報酬付き強化学習(RLVR)は、典型的には、報酬を割り当てる接地的真理の答えに依存し、その適用性は、基礎的真理の解が不明なタスクに制限される。本稿では, スコアベース最適化タスクにおいて, 決定論的実行フィードバックを連続的に評価した監視手法として利用し, スコアベース最適化タスクでLCMを訓練するフレームワーク(RiVER)を紹介した。このような連続的な報酬にグループ相対的RLを適用する場合、テストインスタンス間での未校正スコアが最大となる「emph{scale dominance」と、繰り返しサンプリングされた準最適解が稀だがより強い候補を上回る可能性のある「emph{ frequency dominance」という2つの主要な課題を識別する。 River氏はこれらの課題に、インスタンスワイド比較を使用して、他の有効なソリューションに対するバウンドフィードバックを維持しながら、トップランクのソルバを強調する、キャリブレーションされた報酬のシェーピングで対処する。 AtCoder Heuristic Contestタスク12をトレーニングし、アルゴリズムエンジニアリングベンチマーク(ALE-Bench)、LiveCodeBench、USACOを評価します。 River は Qwen3-8B と GLM-Z1-9B-0414 を 8.9 %、ALE の格付けで 9.4 % 向上させた。さらに重要なのは、スコアベースのタスクのみを基本的ソリューションなしでトレーニングしているにも関わらず、LiveCodeBenchやUSACOといった正確なソリューションベンチマークのバックボーンを2.4\%と3.5\%の絶対的な平均改善で改善していることだ。対照的に、生の実行スコアでトレーニングされたベースラインは、ALEレーティングを改善するが、正確な解決ベンチマークへの転送には失敗する。これらの結果から,スコアベース最適化タスクと適切な報酬校正が組み合わさって,基本トラス解を使わずに,一般的なコーディング能力の効果的なトレーニング環境として機能することが示唆された。

関連論文リスト

LLM-as-a-Verifier: A General-Purpose Verification Framework [74.40111651545979]
本稿では,汎用検証フレームワーク LLM-as-a-Verifier を紹介する。追加のトレーニングを必要とせずに、エージェントタスクに対してきめ細かいフィードバックを提供する。いくつかのベンチマークで最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2026-07-06T17:59:35Z)
REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
論文参考訳（メタデータ） (2026-06-17T10:37:23Z)
Verifier-Free RL for LLMs via Intrinsic Gradient-Norm Reward [69.99652051809737]
本研究では,検証自由な内在性勾配項再帰(VIGOR)を提案する。 VIGORはポリシーモデルのみを使用する単純な報酬です。数学データのみに基づいてトレーニングされた場合、コードベンチマークへのクロスドメイン転送を示す。
論文参考訳（メタデータ） (2026-05-11T03:15:37Z)
Off-Policy Value-Based Reinforcement Learning for Large Language Models [25.962820072445222]
ReValはベルマン更新に基づく手法で、内部の一貫性を捉える段階的な信号と、結果検証から導出される軌道レベルの信号を組み合わせる。 DeepSeek-R1-Distill-1.5Bでは、ReValはトレーニング効率を改善し、AIME24の2.7%、GRPOのGPQAの4.5%の改善を実現している。
論文参考訳（メタデータ） (2026-03-24T15:55:02Z)
CVeDRL: An Efficient Code Verifier via Difficulty-aware Reinforcement Learning [57.24524263804788]
コード検証は、LLMベースのコード生成の検証後において重要な役割を果たす。既存の教師付き微調整手法は、データの不足、高い失敗率、推論効率の低下に悩まされている。機能的な報酬しか持たない単純RLは、難しいブランチやサンプルに対して効果的な単体テストを生成することができないことを示す。
論文参考訳（メタデータ） (2026-01-30T10:33:29Z)
From Verifiable Dot to Reward Chain: Harnessing Verifiable Reference-based Rewards for Reinforcement Learning of Open-ended Generation [52.62655622099456]
検証基準ベース報酬(RLVRR)を用いた強化学習を提案する。最後の答えをチェックする代わりに、RLVRRは高品質な参照(すなわち報酬連鎖)から順序付けられた言語信号を抽出する。このようにして、RLVRRは報酬を2つの次元に分解する。
論文参考訳（メタデータ） (2026-01-26T14:39:58Z)
ArenaRL: Scaling RL for Open-Ended Agents via Tournament-based Relative Ranking [84.07076200941474]
ArenaRLは、ポイントワイドスカラースコアからグループ内相対ランクにシフトする強化学習パラダイムである。我々は,グループ内対角アリーナを構築し,安定した有利な信号を得るためのトーナメントベースのランキングスキームを考案する。実験により、ArenaRLは標準のRLベースラインを大幅に上回っていることが示された。
論文参考訳（メタデータ） (2026-01-10T08:43:07Z)
VeRPO: Verifiable Dense Reward Policy Optimization for Code Generation [43.206705536310245]
textbfVeRPO (textbf Verifiable Dtextbfense textbfReward textbfPolicy textbfOptimization) は,テキストイトラバストと高密度報酬を合成し,検証された実行フィードバックに完全に根ざしたコード生成のための新しいRLフレームワークである。 VeRPOは結果駆動のベースラインとRMベースのベースラインを一貫して上回り、許容しない時間コスト(0.02%)とゼロのパス@1で+8.83%のゲインを達成している。
論文参考訳（メタデータ） (2026-01-07T02:29:49Z)
Rubrics as Rewards: Reinforcement Learning Beyond Verifiable Domains [9.917318870162365]
Reinforcement Learning with Verifiable Rewards (RLVR) は、数学やコーディングのような明確な正当性信号を持つ複雑な推論タスクに有効であることが証明されている。ラグビーは近年、そのような判断を捉えるために評価ベンチマークで使用されているが、オンラインのポストトレーニングの報奨信号としての可能性はまだ未定である。本稿では,RLVRを検証可能な領域を超えて,ルーブリックフィードバックを用いて拡張するオンライン強化学習手法であるRaRを紹介する。
論文参考訳（メタデータ） (2025-07-23T17:57:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。