論文の概要: AGAR: a reinforcement learning substrate for LLM program evolution

• arxiv url: http://arxiv.org/abs/2610.09215v1
• Date: Tue, 06 Oct 2026 23:22:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.644581
• Title: AGAR: a reinforcement learning substrate for LLM program evolution
• Title（参考訳）: AGAR:LLMプログラム進化のための強化学習基板
• Abstract要約: 我々は、モデルが指定したモジュラープレフィックスをアクションとするマルコフ決定プロセスを、出力するプログラムではなく形式化する。 AGAR(Algorithm Generation As RL)は、結果として生じる基質を提供する。 19のタスク、2つのバックエンド、3つのシードを1つのハーネスで実行し、AGARは、ほとんどのタスクで2つの公開されたベースラインの強化を改善している。
• 参考スコア（独自算出の注目度）: 35.893995992069414
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Given a task and an evaluator, a language model can rewrite a candidate program while a search loop decides which rewrites survive, offering a practical route to algorithm discovery. But that loop is governed by five constants set by hand: which parent to select, how hard to mutate, how to keep diversity, what to remember, and a scalar score that never says which part of the program earned it. Reinforcement learning already has an estimator for each. The obstacle is that program evolution is not usually written down as a decision process. We formalize it as a Markov decision process whose action is the modular prefix the model is conditioned on, rather than the program it emits. Credit assignment, value estimation, adaptive exploration, and experience memory can then attach to distinct components. AGAR (Algorithm Generation As RL) provides the resulting substrate: any estimator can be replaced or switched off without changing the controller, making the transfer auditable one mechanism at a time, with no gradient training of the backend model. Across 19 tasks, two backends, and three seeds under one harness, AGAR improves on the stronger of two published baselines on most tasks, with gains concentrated in the competitive-programming family. The formalization also yields a checkable reading of prior work: these systems are implicitly zero-discount, not by choice, but because fitness is exogenous to an individual rather than a return over successors, leaving a discount factor nothing to act on.
• Abstract（参考訳）: タスクと評価器が与えられた場合、言語モデルは候補プログラムを書き直すことができ、検索ループはどの書き直しが生き残るかを決定し、アルゴリズム発見への実用的なルートを提供する。 しかし、このループは手動で設定された5つの定数によって管理されます。どの親がどの親を選ぶか、どのように変更するか、多様性を維持するか、何を記憶するか、プログラムのどの部分がそれを得たのかを決して示さないスカラースコアです。 強化学習には、それぞれに推定器がある。 障害は、プログラムの進化は通常、決定プロセスとして記述されないことです。 モデルが指定したモジュラープレフィックスをアクションとするマルコフ決定プロセスとして定式化する。 クレジット割り当て、価値推定、適応探索、エクスペリエンスメモリは、異なるコンポーネントにアタッチできる。 AGAR (Algorithm Generation As RL) は、任意の推定器をコントローラを変更することなく置き換えたりオフにしたりできるので、バックエンドモデルの勾配トレーニングを伴わずに、一度に1つのメカニズムを監査できる。 19のタスク、2つのバックエンド、3つのシードを1つのハーネスの下で実行し、AGARは、ほとんどのタスクで2つの公開ベースラインの強化を改善し、競争的なプログラミングの家庭に集中している。 これらのシステムは選択によってではなく暗黙的にゼロディスカウントであり、しかし、フィットネスは後継者よりもむしろ個人に外在的であり、割引要因は何も起こらないからである。

関連論文リスト

• RRSI: Regularized Recursive Self-Improvement of Agent Harnesses [76.77275934611428]
  正規化再帰的自己改善型エージェント・ハーネス(RRSI) 本稿では、正規化の原則を取り入れたRRSIを紹介し、進化候補の提案と選択を制約することで自己改善を活用する。 RRSIは5つのアウト・オブ・ディストリビューション・ベンチマークで14.1ポイント、最大4.7ポイントを獲得し、非正規化進化よりも30%少ないポリシートークンで動作するハーネスを生産している。
  論文  参考訳（メタデータ） (2026-09-21T17:54:49Z)
• Program Learning with Verifiable Rewards: Symbolic Backpropagation for Post-Training LLMs [0.0]
  PLVR(Program Learning with Verifiable Rewards)は,入力出力の例からプログラムを直接学習するポストトレーニング手法である。 LiveCodeBench v6とTau2Benchでは、PLVRの30Bベースモデルは平均27.8ポイント、フロンティアモデルでは13.6ポイントでRLを上回った。
  論文  参考訳（メタデータ） (2026-08-28T15:06:00Z)
• One Recipe, Many Harnesses: What Self-Evolution Encodes Across Languages and Models [46.83445434865936]
  自己進化型ハーネスは、エージェントが自身のロールアウトを検査し、プロンプト、ツール、メモリを編集するクローズドループシステムである。 ベンチマーク固有の適応、言語固有のエンジニアリング知識、あるいは基礎となるモデルの制限に対する補償をエンコードしているかどうかは不明だ。
  論文  参考訳（メタデータ） (2026-08-10T19:45:45Z)
• From Black Box to Executable Logic: Explainable Reinforcement Learning through Prolog Expert Systems [1.5736899098702974]
  訓練された深層強化学習ポリシーはブラックボックスであり、実行可能な論理プログラムとして書き換えることで説明できるかどうかを問う。 本稿では、凍結政策最適化教師を抽出し、その決定から規則リストを誘導し、Prologプログラムとして結果を出力する3段階のポストホック変換を提案する。 リターンロスバウンダリは、蒸留プログラムを有限決定過程において機械チェック可能な証明書とし、膨張ループは単調に改善して終了する。
  論文  参考訳（メタデータ） (2026-07-16T21:10:27Z)
• INFUSER: Influence-Guided Self-Evolution Improves Reasoning [54.101135873140066]
  2つの共進化的役割を持つ反復的協調学習フレームワークを導入する。 解答器は、生成元が提供する回答に対して標準正当性報酬で訓練される。 8B INF共進化ジェネレータは、数学とコーディングにおいて凍った32B思考ジェネレータより優れている。
  論文  参考訳（メタデータ） (2026-06-08T05:40:36Z)
• Self-Evolving Curriculum for LLM Reasoning [96.10277986436172]
  自己進化カリキュラム(Self-Evolving Curriculum, SEC)は、RLファインチューニングプロセスと並行してカリキュラムポリシーを学習する自動カリキュラム学習手法である。 実験により、SECはモデルの推論能力を大幅に改善し、より困難で配布外のテスト問題へのより良い一般化を可能にした。
  論文  参考訳（メタデータ） (2025-05-20T23:17:15Z)
• Discovering Non-monotonic Autoregressive Orderings with Variational Inference [67.27561153666211]
  我々は、訓練データから高品質な生成順序を純粋に検出する、教師なし並列化可能な学習装置を開発した。 エンコーダを非因果的注意を持つトランスフォーマーとして実装し、1つのフォワードパスで置換を出力する。 言語モデリングタスクにおける経験的結果から,我々の手法は文脈認識であり,一定の順序と競合する,あるいはより優れた順序を見つけることができる。
  論文  参考訳（メタデータ） (2021-10-27T16:08:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。