論文の概要: The Time Value of Evolution

• arxiv url: http://arxiv.org/abs/2608.13297v1
• Date: Thu, 13 Aug 2026 14:29:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 18:29:38.55777
• Title: The Time Value of Evolution
• Title（参考訳）: 進化の時間的価値
• Abstract要約: 有限水平マルコフ決定過程における進化の時間値として隠れた力学を定式化する。 本稿では,Lineage-Value Policy Gradients(LVPG)を紹介する。 LVPGは、即時回帰よりも一時的な回帰を少なくし、それらからより頻繁に回復する。
• 参考スコア（独自算出の注目度）: 3.899863694644006
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In evolutionary search, a weak child can be a valuable ancestor that makes high-fitness regions reachable. Immediate-return control is blind to this delayed utility, penalizing mutations through their immediate offspring even when they open productive future lineages. We formalize this hidden dynamic as the time value of evolution within a finite-horizon Markov decision process. To exploit it, we introduce Lineage-Value Policy Gradients (LVPG), a long-horizon actor-critic framework for automated trading policy discovery. Our architecture decouples search control into specialized policy heads over a shared generative backbone: a bootstrapped critic head estimates the value of finite-horizon lineage potential from multi-step mutation trees, while an actor head dynamically modulates mutation intensity over the remaining search budget. We isolate the impact of long-horizon credit assignment against immediate-return optimization across 90 paired runs under matched operators, lineage supervision, folds, seeds, and budgets. Path-based credit assignment substantially accelerates finite-budget search, increasing validation best-so-far AUC by 0.394 Sharpe units. LVPG also produces fewer temporary regressions than immediate-return optimization and recovers from them more often. Finite-horizon lineage value yields more selective non-monotonic search and stronger policies within identical resource constraints.
• Abstract（参考訳）: 進化探索において、弱い子供は、高度に適合した領域に到達できる貴重な祖先である可能性がある。 即時復帰制御は、この遅れたユーティリティに盲目であり、生産的な将来の系統を開いても、すぐに子孫を通じて突然変異を罰する。 我々は、この隠れた力学を有限水平マルコフ決定過程における進化の時間値として定式化する。 そこで我々はLineage-Value Policy Gradients (LVPG)を紹介した。 ブートストラップ付き批評家ヘッドは、多段階の突然変異木から有限水平系統電位を推定し、アクターヘッドは残りの検索予算に対して動的に突然変異強度を変調する。 整合演算子,系統管理,折りたたみ,種子,予算の下で,90回のペア走行に対して,長期信用割当が即時回帰最適化に与える影響を分離する。 経路ベースのクレジット割り当ては、有限予算探索を著しく加速し、0.394シャープ単位によるAUCの検証が最善である。 LVPGはまた、即時回帰よりも一時的な回帰を少なくし、それらからより頻繁に回復する。 有限ホライゾン系列の値は、同じ資源制約の中でより選択的に非単調な探索とより強いポリシーをもたらす。

関連論文リスト

• MOAE: Multi-Objective Agent Evolution with Pareto-Preserving Search [5.257073134713488]
  多目的エージェント進化(Multi-Objective Agent Evolution)は、完全エージェントロールアウト上のパレート保存進化探索として反復的インコンテキスト洗練を組織する。 この結果から,MOAE はタスク性能と軌道品質を安定的に向上すると同時に,適合したロールアウト予算下での安全性を維持していることがわかった。
  論文  参考訳（メタデータ） (2026-09-05T09:31:34Z)
• SCOUT: Self-Checking and Recovery-Aware Tool-Thought Agents for Ultra-Long Egocentric Video Reasoning [45.039898006163405]
  SCOUT(Self-Checking Chain-Of-Tool- Thought)は,超長軸ビデオ理解のためのエージェントフレームワークである。 SCOUTは、極端に長い地平線上で堅牢なマルチホップ推論を可能にするために、搾取(ズームイン)と探索(リージョンスイッチング)をオフにしている。 SCOUTは,超長期のエゴセントリックなベンチマークにおいて,より短い水平長ビデオ設定において競争力を維持しながら,最先端の結果を達成していることを示す。
  論文  参考訳（メタデータ） (2026-08-08T06:48:08Z)
• Group-Graph Policy Optimization for Long-Horizon Agentic Reinforcement Learning [85.02566758103008]
  Group-Graph Policy Optimization (G2PO) は、マルチターンエージェントタスクに適したグループベースの強化学習アルゴリズムである。 G2POは最先端のプロンプトベースとRLベースラインを大幅に上回り、GRPOよりも最大22.2%の成功率の向上を達成した。
  論文  参考訳（メタデータ） (2026-06-22T08:12:47Z)
• Horizon Adaptive Offline Policy Learning via Value Stitching [19.32031487321911]
  正確な値関数の学習は、長期にわたる複雑なタスクを解決するための強化学習(RL)エージェントにとって決定的な役割を果たす。 本稿では,動的地平線構成による値更新の実現により,強力なオフラインポリシ学習方式が実現可能であることを示す。
  論文  参考訳（メタデータ） (2026-06-19T06:20:45Z)
• Self-evolving LLM agents with in-distribution Optimization [60.05867547965365]
  大規模言語モデル(LLM)は最近、複雑な環境で対話的なエージェントのための強力なコントローラとして登場した。 本稿では,自動プロセス・リワードラベリングとポリシー学習を統一するLDMエージェントの自己進化フレームワークであるQ-Evolveを提案する。 我々は,AlfWorld,WebShop,ScienceWorldの手法を評価し,Q-Evolveがサンプル効率,堅牢性,全体的なタスク性能において高いベースラインを達成していることを示す。
  論文  参考訳（メタデータ） (2026-06-05T15:09:52Z)
• Representation over Routing: Overcoming Surrogate Hacking in Multi-Timescale PPO [2.490624512942981]
  複雑な遅延リワードタスクにおいて,マルチタイムスケールの信号が盲目的に融合し,重度のアルゴリズム的病理に繋がることが示唆された。 批判側では、補助的な表現学習を強制するためにマルチタイムスケールの予測を継続する一方、アクター側では、短期的な信号を厳格に分離し、長期的優位性のみに基づいてポリシーを更新する。
  論文  参考訳（メタデータ） (2026-04-15T06:03:07Z)
• Robust Regularized Policy Iteration under Transition Uncertainty [6.7431287237221085]
  我々は、オフラインRLをロバストなポリシー最適化として定式化し、遷移カーネルを不確実性集合内の決定変数として扱う。 本稿では、抽出可能な最大最小二レベル目標を、抽出可能なKL正規化サロゲートに置き換えるロバスト正規化ポリシーイテレーション(RRPI)を提案する。 D4RLベンチマークの実験では、RRPIは高い平均性能を示し、最近のベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-03-10T08:18:27Z)
• Anchoring Values in Temporal and Group Dimensions for Flow Matching Model Alignment [61.80228667422234]
  VGPOは時間次元とグループ次元の両方で値の推定を再定義する。 スパース端末の報酬を密度の高いプロセス認識値推定に変換する。 標準群正規化を絶対値によって強化された新しいプロセスに置き換え、安定した最適化信号を維持する。
  論文  参考訳（メタデータ） (2025-12-13T16:31:26Z)
• On GRPO Collapse in Search-R1: The Lazy Likelihood-Displacement Death Spiral [59.14787085809595]
  この障害を引き起こす中核的なメカニズムとしてLazy Likelihood Displacement(LLD)を同定する。 LDDは早期に出現し、自己強化性LDDデススパイラル(LDD Death Spiral)を引き起こす。 本稿では,GRPO のための軽量な確率保存正則化 LLDS を提案する。
  論文  参考訳（メタデータ） (2025-12-03T19:41:15Z)
• Option-aware Temporally Abstracted Value for Offline Goal-Conditioned Reinforcement Learning [19.341894845618445]
  オフライン目標条件強化学習(GCRL)は、豊富な状態行動軌跡データセットから目標達成ポリシーをトレーニングする実践的な学習パラダイムを提供する。 本稿では、時間差学習プロセスに時間的抽象化を組み込んだOTAと呼ばれる、オプション対応の時間的抽象価値学習を提案する。 我々は、最近提案されたオフラインGCRLベンチマークであるOGBenchから、OTAを用いて学習した高レベルポリシーが、複雑なタスクに対して高い性能を達成することを実験的に示す。
  論文  参考訳（メタデータ） (2025-05-19T05:51:11Z)
• Rethinking Decision Transformer via Hierarchical Reinforcement Learning [54.3596066989024]
  決定変換器(Decision Transformer, DT)は、強化学習(RL)における変換器アーキテクチャの最近の進歩を活用する革新的なアルゴリズムである。 本稿では,階層RLのレンズを用いたシーケンシャル意思決定のための汎用シーケンスモデリングフレームワークを提案する。 DTは、高レベルかつ低レベルなポリシーを選択することで、このフレームワークの特別なケースとして現れ、これらの選択の潜在的な失敗について議論する。
  論文  参考訳（メタデータ） (2023-11-01T03:32:13Z)
• Plan Better Amid Conservatism: Offline Multi-Agent Reinforcement Learning with Actor Rectification [74.10976684469435]
  オフライン強化学習(RL)アルゴリズムは、直接マルチエージェント設定に転送することができる。 本稿では,この重要な課題に対処するために,Actor Rectification (OMAR) を用いたオフラインマルチエージェント RL を提案する。 OMARはマルチエージェント連続制御ベンチマークにおける最先端性能と強いベースラインを著しく上回る。
  論文  参考訳（メタデータ） (2021-11-22T13:27:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。