論文の概要: Self-Evolution Reasoner: Continuous Optimization via Policy-Intrinsic Exploration and Exploitation

• arxiv url: http://arxiv.org/abs/2610.34137v1
• Date: Sun, 25 Oct 2026 08:18:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.542802
• Title: Self-Evolution Reasoner: Continuous Optimization via Policy-Intrinsic Exploration and Exploitation
• Title（参考訳）: 自己進化型推論器:ポリシー固有の探索と爆発による継続的最適化
• Abstract要約: 検証可能な報酬(RLVR)による強化学習は、大規模言語モデル(LLM)が推論能力を継続的に自己改善することを可能にする。 本稿では,自己進化政策最適化(SEPO, Self-Evolution Policy Optimization)を提案する。
• 参考スコア（独自算出の注目度）: 12.357425710690068
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) enables large language models (LLMs) to continuously self-improve their reasoning capabilities. Compared to RLVR's scalar rewards, recent self-supervised on-policy distillation methods leverage denser supervision signals. However, both paradigms suffer from exploration bottlenecks, struggling to escape local optima when the policy fails to sample valid solutions. Relying on external demonstrations can bypass this issue; however, the off-policy nature hinders genuine self-improvement and the mismatched-distribution reasoning can not be fully exploited. In this work, we propose Self-Evolution Policy Optimization (SEPO), a framework that drives continuous reasoning capability evolution via guided exploration and in-distribution exploitation. Specifically, SEPO utilizes labels to elicit correct reasoning from the policy, unlocking the exploration potential. By treating current policy conditioned on this in-distribution reasoning as a self-teacher, SEPO distills the newly discovered solution back into the policy. Through this iterative cycle of policy-intrinsic exploration and exploitation, SEPO achieves robust and continuous capability evolution. Across scientific, tool-use, and complex logical reasoning domains, SEPO consistently achieves the best performance under identical training time or steps, demonstrating superior efficiency and convergence ceilings. Notably, SEPO maintains stable improvements even in scenarios where baselines severely underperform or fail entirely, such as on complex tasks or with small-scale models. Our code is available at https://github.com/Eric8932/SEPO.
• Abstract（参考訳）: 検証可能な報酬(RLVR)による強化学習は、大規模言語モデル(LLM)が推論能力を継続的に自己改善することを可能にする。 RLVRのスカラー報酬と比較して、最近の自己監督型オンライン蒸留法はより高密度な監視信号を利用する。 しかし、どちらのパラダイムも探索のボトルネックに悩まされており、ポリシーが有効なソリューションのサンプリングに失敗すると、局所最適化から逃れるのに苦労している。 外部のデモンストレーションを頼りにすればこの問題を回避できるが、政治外の性質は真の自己改善を妨げるものであり、ミスマッチした流通推論を十分に活用することはできない。 本研究では,自己進化政策最適化(SEPO, Self-Evolution Policy Optimization)を提案する。 具体的には、SEPOはラベルを使用して、ポリシーから正しい推論を導き、探索可能性の解放を図っている。 SEPOは、この非流通的推論を自己教育者として条件づけた現在の政策を扱い、新たに発見された解決策をその方針に戻す。 政策固有の探索と搾取の反復サイクルを通じて、SEPOは堅牢で継続的な能力進化を達成する。 科学的、ツール使用、複雑な論理的推論領域全体にわたって、SEPOは一貫して同じトレーニング時間またはステップで最高のパフォーマンスを達成し、優れた効率と収束天井を示す。 特にSEPOは、複雑なタスクや小規模モデルなど、ベースラインが著しくパフォーマンスが悪く、あるいは完全に失敗するシナリオにおいても、安定した改善を維持している。 私たちのコードはhttps://github.com/Eric8932/SEPO.comで公開されています。

関連論文リスト

• ACPO: Adaptive Credit Policy Optimization via Fine-Grained Surrogate Entropy [45.28312869386833]
  モードローカル・サロゲート・エントロピーに基づくトークンレベルの信用割当フレームワークを提案する。 ACPOは、成功したロールアウトにおける不確実な決定と失敗したロールアウトにおける過信トークンを強調して、ポリシー更新を非対称に調整する。 AIME 2025やHumanEvalProなどの数学的推論とコーディングベンチマークの実験は、ACPOが強いRLベースラインよりも一貫して改善していることを示している。
  論文  参考訳（メタデータ） (2026-07-03T09:14:27Z)
• Self-evolving LLM agents with in-distribution Optimization [60.05867547965365]
  大規模言語モデル(LLM)は最近、複雑な環境で対話的なエージェントのための強力なコントローラとして登場した。 本稿では,自動プロセス・リワードラベリングとポリシー学習を統一するLDMエージェントの自己進化フレームワークであるQ-Evolveを提案する。 我々は,AlfWorld,WebShop,ScienceWorldの手法を評価し,Q-Evolveがサンプル効率,堅牢性,全体的なタスク性能において高いベースラインを達成していることを示す。
  論文  参考訳（メタデータ） (2026-06-05T15:09:52Z)
• AIPO: Learning to Reason from Active Interaction [54.10819421625103]
  AIPOは、ポリシーモデルが、推論ボトルネックに遭遇するときに、3つの機能的協調エージェントを積極的に相談することを可能にする。 AIPOは推論性能を継続的に改善し、異なるポリシーモデルとRLVRアルゴリズムをまたいで堅牢に一般化し、ポリシーモデルの推論能力境界を効果的に拡張する。
  論文  参考訳（メタデータ） (2026-05-08T19:06:55Z)
• Robust Regularized Policy Iteration under Transition Uncertainty [6.7431287237221085]
  我々は、オフラインRLをロバストなポリシー最適化として定式化し、遷移カーネルを不確実性集合内の決定変数として扱う。 本稿では、抽出可能な最大最小二レベル目標を、抽出可能なKL正規化サロゲートに置き換えるロバスト正規化ポリシーイテレーション(RRPI)を提案する。 D4RLベンチマークの実験では、RRPIは高い平均性能を示し、最近のベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-03-10T08:18:27Z)
• Dichotomous Diffusion Policy Optimization [46.51375996317989]
  DIPOLEは、安定かつ制御可能な拡散ポリシー最適化のために設計された新しいRLアルゴリズムである。 また、DIPOLEを使用して、エンドツーエンドの自動運転のための大規模なビジョン言語アクションモデルをトレーニングしています。
  論文  参考訳（メタデータ） (2025-12-31T16:56:56Z)
• Diffusion-based Reinforcement Learning via Q-weighted Variational Policy Optimization [55.97310586039358]
  拡散モデルは強化学習(Reinforcement Learning, RL)において、その強力な表現力と多モード性に対して広く注目を集めている。 モデルなし拡散に基づくオンラインRLアルゴリズムQ-weighted Variational Policy Optimization (QVPO)を提案する。 具体的には、ある条件下でのオンラインRLにおける政策目標の厳密な下限を証明できるQ重み付き変動損失を導入する。 また,オンラインインタラクションにおける拡散ポリシのばらつきを低減し,サンプル効率を向上させるための効率的な行動ポリシーも開発している。
  論文  参考訳（メタデータ） (2024-05-25T10:45:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。