論文の概要: Program Learning with Verifiable Rewards: Symbolic Backpropagation for Post-Training LLMs

• arxiv url: http://arxiv.org/abs/2608.28421v1
• Date: Fri, 28 Aug 2026 15:06:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.376809
• Title: Program Learning with Verifiable Rewards: Symbolic Backpropagation for Post-Training LLMs
• Title（参考訳）: 検証可能なリワードによるプログラム学習:ポストトレーニングLLMのシンボル的バックプロパゲーション
• Abstract要約: PLVR(Program Learning with Verifiable Rewards)は,入力出力の例からプログラムを直接学習するポストトレーニング手法である。 LiveCodeBench v6とTau2Benchでは、PLVRの30Bベースモデルは平均27.8ポイント、フロンティアモデルでは13.6ポイントでRLを上回った。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Post training a language model to reason means updating its weights. Supervised finetuning and reinforcement learning both place the acquired capability inside the model where it cannot be inspected cannot be checked step by step and cannot be moved to another model. We argue that for tasks whose intermediate steps admit verification, reasoning is better placed outside the base models weights as an explicit program composed from deterministic and neural primitives. We introduce PLVR (Program Learning with Verifiable Rewards): a post training method that learns such programs directly from input-output examples. Its mechanism is symbolic backpropagation: each program layer carries a typed ontology a loss is computed at the output against ground truth and required input ontologies are propagated backward by type inference over primitive signatures: an analogue of the chain rule in which credit assignment is a derivation rather than an estimate. Where RLVR verifies a terminal outcome, PLVRs reward is a per step contract verdict dense over program structure. On LiveCodeBench v6 and Tau2Bench, 30B base models with PLVR outperform RL at matched budget by 27.8 points on average and frontier models an order of magnitude larger by 13.6 points. A single primitive library serves two benchmarks, so the marginal cost of a new task is 100 examples of program search and no new finetuning data. Replacing the loss guided search with uniform sampling over the same type admissible space at equal budget collapses the median program from 65.6 to 17.5, identifying the backward pass rather than the type system as the source of the advantage. We release the symbolic backpropagation library and a conformance checker so the method can be applied to primitive libraries other than our own.
• Abstract（参考訳）: 言語モデルを推論するためのトレーニングの後、ウェイトを更新します。 監視された微調整と強化学習は、取得した能力を検査できないモデルの内部に配置する。 中間段階が検証を許容するタスクでは、決定論的およびニューラルプリミティブからなる明示的なプログラムとして、基本モデルの重みの外側に推論を配置する方がよい、と我々は主張する。 PLVR(Program Learning with Verifiable Rewards)は,入力出力の例から直接学習するポストトレーニング手法である。 そのメカニズムはシンボリック・バックプロパゲーションであり、各プログラム層は型付きオントロジーを持ち、基底真理に対する出力で損失が計算され、必要な入力オントロジーはプリミティブシグネチャに対する型推論によって後方に伝播する。 RLVRが終末結果を検証する場合、PLVRの報酬はプログラム構造よりも高密度なステップ契約である。 LiveCodeBench v6 と Tau2Bench では、PLVR を搭載した30B のベースモデルは、平均で27.8 ポイント、フロンティアでは13.6 ポイントで RL を上回った。 1つのプリミティブライブラリは2つのベンチマークを提供するため、新しいタスクの限界コストはプログラム検索の100例であり、新しい微調整データはない。 損失誘導探索を同じタイプの許容空間を等予算で均一にサンプリングすることで65.6から17.5に置き換え、その利点の源として型システムではなく後方パスを特定する。 我々は,シンボル的バックプロパゲーションライブラリとコンフォーマンスチェッカーをリリースし,本手法を私たち以外のプリミティブライブラリに適用できるようにした。

関連論文リスト

• Forethought: Verifiable Reasoning from Neurosymbolic Primitive Programming [0.764671395172401]
  Forethoughtは、推論を明示的で検証可能なプログラムとして扱う神経象徴的推論システムである。 ベースモデルの精度を約30%向上し、バニラのプロンプト、強化学習足場、即時進化法に勝る。
  論文  参考訳（メタデータ） (2026-07-05T03:20:23Z)
• Verifier-Free RL for LLMs via Intrinsic Gradient-Norm Reward [69.99652051809737]
  本研究では,検証自由な内在性勾配項再帰(VIGOR)を提案する。 VIGORはポリシーモデルのみを使用する単純な報酬です。 数学データのみに基づいてトレーニングされた場合、コードベンチマークへのクロスドメイン転送を示す。
  論文  参考訳（メタデータ） (2026-05-11T03:15:37Z)
• Reasoning Core: A Scalable Procedural Data Generation Suite for Symbolic Pre-training and Post-Training [2.62112541805429]
  Reasoning Coreは、コア形式ドメイン間で検証可能なシンボリック推論データを手続き的に生成するスケーラブルなスイートである。 各タスクは厳密な検証のための外部解決器と組み合わせられ、カリキュラム設計のための継続的な難易度制御が認められる。 実験によると、Reasoning Coreのデータを事前トレーニングに混ぜることによって、下流の推論が改善され、保存されたり、わずかに改善された言語モデリングの品質が向上する。
  論文  参考訳（メタデータ） (2026-03-02T18:59:29Z)
• Detecting RLVR Training Data via Structural Convergence of Reasoning [31.260852555788205]
  検証可能な報酬(RLVR)による強化学習は、現代の推論モデルのトレーニングの中心である。 RLVRは特徴的な行動シグネチャを誘導することを示す。 この崩壊を定量化する単純なブラックボックス検出器であるMin-$k$NN Distanceを導入する。
  論文  参考訳（メタデータ） (2026-02-12T10:17:32Z)
• Aletheia: What Makes RLVR For Code Verifiers Tick? [51.371034079170435]
  Reinforcement Learning from Verifiable Rewards (RLVR)を通じてトレーニングされた検証は、Large Language Model (LLM)ポストトレーニングパイプラインの顕著なフィクスチャである。 コード検証は、実行フィードバックを得るのが難しいシナリオにおいて、モデル出力を判断する上で価値があります。 本稿では,RLVRを用いた検証学習手法の構成要素を検証し,その有効性を検証した。
  論文  参考訳（メタデータ） (2026-01-17T22:30:45Z)
• SPARK: Stepwise Process-Aware Rewards for Reference-Free Reinforcement Learning [39.1720897614261]
  密度の高いステップレベルのフィードバックを提供するプロセス報酬モデル(PRM)は、強化学習の可能性を示している。 筆者らはSPARK(SPARK)という3段階のフレームワークを提案し、第1段階ではジェネレータモデルが多様な解を生成し、検証器モデルがそれらを評価する。 ステップレベルで複数の独立した検証を集約することで、根底的な結果管理を超越したプロセス報酬モデルのトレーニングデータが得られることを示す。
  論文  参考訳（メタデータ） (2025-12-02T21:30:47Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)
• The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models [69.798277882245]
  大規模言語モデルの推論効率を向上させるために,Unsupervised Prefix Fine-Tuning (UPFT)を導入した。 UPFTはラベル付きデータや徹底的なサンプリングの必要性を取り除く。 実験の結果,UPFTは教師付き手法の性能と一致していることがわかった。
  論文  参考訳（メタデータ） (2025-03-04T18:56:03Z)
• Reinforcement Learning from Human Feedback without Reward Inference: Model-Free Algorithm and Instance-Dependent Analysis [16.288866201806382]
  モデルフリーなRLHFベストポリシー識別アルゴリズムである$mathsfBSAD$を、明示的な報酬モデル推論なしで開発する。 アルゴリズムは、人選好情報から直接、その最適方針を後方方向に識別する。
  論文  参考訳（メタデータ） (2024-06-11T17:01:41Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Uncovering the Hidden Cost of Model Compression [43.62624133952414]
  視覚プロンプティングは、コンピュータビジョンにおける伝達学習の重要な方法として登場した。 モデル圧縮は視覚的プロンプトベース転送の性能に有害である。 しかし、量子化によってモデルが圧縮されるとき、キャリブレーションに対する負の効果は存在しない。
  論文  参考訳（メタデータ） (2023-08-29T01:47:49Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。