論文の概要: Direct Self-Evolving Optimization: Evolving LLMs without Challenger Training

• arxiv url: http://arxiv.org/abs/2609.34279v1
• Date: Mon, 28 Sep 2026 04:26:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 22:14:22.256249
• Title: Direct Self-Evolving Optimization: Evolving LLMs without Challenger Training
• Title（参考訳）: 直接自己進化最適化:チャレンジャートレーニングを使わずにLLMを進化させる
• Abstract要約: textbfDirect Self-textbfEvolving textbfOptimization (DEO)を導入する。 DEOはR-Zeroと競合する推論性能を達成し、壁時計のトレーニング時間を50%以上削減した。
• 参考スコア（独自算出の注目度）: 13.149991764299527
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-evolving language models improve by generating tasks and learning from their own feedback, but adapting the task generator often requires a separate challenger-training loop. Can we generate tasks adapted to the current solver without explicitly training a challenger? We introduce \textbf{D}irect Self-\textbf{E}volving \textbf{O}ptimization (DEO), which replaces challenger parameter updates with solver-guided task sampling. The KL-regularized challenger objective defines an exponential tilt of a fixed base task distribution. DEO uses this distribution as a sampling target: a frozen LLM generates and mutates tasks, the solver scores them, and an approximate Metropolis selection rule refines the training pool. Only the solver is trained. Theoretically, for an idealized variant that samples exactly from the tilted distribution, and under regularity, local gradient-dominance, and initialization conditions, we show that DEO learns distributionally robust reasoning ability. In experiments, DEO achieves reasoning performance competitive with R-Zero while using over $50\%$ less wall-clock training time, and improves reasoning accuracy over a no-walk ablation. Replacing the task generator with a frozen API-only LLM further improves the local solver, illustrating a capability enabled by removing challenger training.
• Abstract（参考訳）: 自己進化型言語モデルは、タスクを生成し、自身のフィードバックから学習することによって改善されるが、タスクジェネレータを適用するには、しばしば別のチャレンジャートレーニングループが必要になる。 挑戦者を明示的に訓練することなく、現在の解法に適応したタスクを生成できるだろうか? 本稿では,課題パラメータの更新をソルバ誘導型タスクサンプリングに置き換えた,正当な自己-\textbf{E}volving \textbf{O}ptimization (DEO)を導入する。 KL正規化挑戦者は、固定ベースタスク分布の指数傾斜を定義する。 DEOはこの分布をサンプリングターゲットとして使用し、凍結したLCMがタスクを生成して変更し、ソルバがそれらをスコアし、近似的なメトロポリス選択規則がトレーニングプールを洗練させる。 ソルバのみを訓練する。 理論的には、傾いた分布から正確にサンプリングし、正規性、局所勾配優位性、初期化条件の下で、理想化された変種に対して、DECは分布的に堅牢な推論能力を学ぶことを示す。 実験では、壁時計のトレーニング時間を50\%以上削減しながらR-Zeroと競合する推論性能を実現し、ノンウォークアブレーションよりも推論精度を向上させる。 タスクジェネレータを凍結したAPIのみのLLMで置き換えることにより、ローカルソルバがさらに改善され、チャレンジャートレーニングを削除することで可能となる能力が示される。

関連論文リスト

• LLM-as-a-Verifier: A General-Purpose Verification Framework [74.40111651545979]
  本稿では,汎用検証フレームワーク LLM-as-a-Verifier を紹介する。 追加のトレーニングを必要とせずに、エージェントタスクに対してきめ細かいフィードバックを提供する。 いくつかのベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-07-06T17:59:35Z)
• Breaking the Solver Bottleneck: Training Task Generators at the Learnable Frontier [2.9623930343571288]
  PROPELは、タスクジェネレータを目標の解決レートでトレーニングするためのソルバアモスタ化フレームワークである。 生成されたタスクとソルバ結果の1回ラベル付きコーパス上で、軽量なアクティベーションプローブをトレーニングする。 フリーズドジェネレータ参照モデルから目標解パス率を予測し、ジェネレータ最適化時の解率のプロキシとして機能する。
  論文  参考訳（メタデータ） (2026-06-10T02:04:29Z)
• INFUSER: Influence-Guided Self-Evolution Improves Reasoning [54.101135873140066]
  2つの共進化的役割を持つ反復的協調学習フレームワークを導入する。 解答器は、生成元が提供する回答に対して標準正当性報酬で訓練される。 8B INF共進化ジェネレータは、数学とコーディングにおいて凍った32B思考ジェネレータより優れている。
  論文  参考訳（メタデータ） (2026-06-08T05:40:36Z)
• GDRO: Group-level Reward Post-training Suitable for Diffusion Models [55.948229011478304]
  グループレベルの報酬は、モデルを目標とする報酬と整合させるのに成功します。 Group-level Direct Reward Optimization (GDRO)は、グループレベルの報酬アライメントのための新しいトレーニング後のパラダイムである。 GDROは完全なオフライントレーニングをサポートし、画像ロールアウトサンプリングの大幅なコスト削減を実現する。 これは拡散サンプラー非依存であり、取得性に対するODE-to-SDE近似の必要性を排除している。
  論文  参考訳（メタデータ） (2026-01-05T11:47:18Z)
• LaSeR: Reinforcement Learning with Last-Token Self-Rewarding [54.72617309922891]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、Large Language Models(LLM)の推論能力を高めるためのコアパラダイムとして登場した。 従来、LLMは2つの異なるプロンプトテンプレートを使用してソリューションと自己検証をシーケンシャルに生成し、効率を大幅に低下させる必要があった。 本稿では,従来のRLVR損失をMSE損失で増大させるアルゴリズムであるLaSeR(Reinforcement Learning with Last-Token Self-Rewarding)を提案する。
  論文  参考訳（メタデータ） (2025-10-16T17:55:11Z)
• R-Zero: Self-Evolving Reasoning LLM from Zero Data [47.8125954446991]
  自己進化型大規模言語モデル(LLM)は、自身の経験から自律的に生成、精製、学習することで、超知性へのスケーラブルなパスを提供する。 このようなモデルを訓練するための既存の方法は、いまだに膨大な人為的なタスクやラベルに大きく依存している。 R-Zeroは、完全に自律的なフレームワークで、スクラッチから独自のトレーニングデータを生成する。
  論文  参考訳（メタデータ） (2025-08-07T03:38:16Z)
• S$^2$R: Teaching LLMs to Self-verify and Self-correct via Reinforcement Learning [51.84977135926156]
  S$2$Rはモデルに推論時の自己検証と自己正当性を教えることによってLLM推論を強化する効率的なフレームワークである。 以上の結果から,Qwen2.5-math-7Bの精度は51.0%から81.6%に向上した。
  論文  参考訳（メタデータ） (2025-02-18T13:40:22Z)
• RVAE-LAMOL: Residual Variational Autoencoder to Enhance Lifelong Language Learning [13.946029695618018]
  Lifelong Language Learning (LLL)は、ニューラルネットワークをトレーニングして、従来のタスクからの知識を維持しながら、NLPタスクのストリームを学習することを目的としている。 データフリーの制約に従った以前の作業は、依然として破滅的な忘れの問題に悩まされている。 本稿では,最近のLLLモデルであるLAMOLを限定的な統一意味空間にマッピングすることにより拡張する残差自動エンコーダ(RVAE)を提案する。
  論文  参考訳（メタデータ） (2022-05-22T15:52:35Z)
• Variance-reduced Language Pretraining via a Mask Proposal Network [5.819397109258169]
  自己指導型学習(英: self-supervised learning, a.k.a.)は、自然言語処理において重要である。 本稿では,勾配分散低減の観点から問題に取り組む。 そこで我々は,マスク提案の最適分布を近似したMAsk Network(MAPNet)を導入した。
  論文  参考訳（メタデータ） (2020-08-12T14:12:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。