論文の概要: Dream-RSI: Recursive Self-Improvement through Evolving Worlds

• arxiv url: http://arxiv.org/abs/2609.14858v1
• Date: Mon, 14 Sep 2026 00:10:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:06.016352
• Title: Dream-RSI: Recursive Self-Improvement through Evolving Worlds
• Title（参考訳）: Dream-RSI: 進化する世界を通じた再帰的な自己改善
• Abstract要約: textscDream-RSIはスケーラブルな自己改善探索のためのフレームワークである。 軽量なオーケストレーションレイヤは、探索を明確にし、プログラム化可能にする。 歴史的発見木から構築された再生シミュレーターでドリームを実行することで、textscDream-RSIは即時かつ低コストなオフ政治フィードバックを確保できる。
• 参考スコア（独自算出の注目度）: 61.888486670260306
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recursive self-improvement is becoming increasingly vital for autonomous AI agents, where progress hinges on discovering high-value solutions across complex domains. The driver of this process is effective exploration, however, managing and improving exploration strategies remains a major bottleneck. Current systems face a fundamental dilemma: fixed strategies fail to adapt as search spaces scale, while online policy optimization requires navigating vast meta-search spaces under delayed and expensive feedback over long-horizon rollouts. We introduce \textsc{Dream-RSI}, a framework for scalable and recursively self-improving exploration. A lightweight orchestration layer makes exploration explicit and programmable while leaving the underlying coding agent unchanged. Our key insight is that accumulated discovery history can serve as a replay simulator over the realized search space. By performing dreaming in the replay simulator constructed from historical discovery trees, \textsc{Dream-RSI} secures immediate, low-cost off-policy feedback to evaluate and refine exploration policies without invoking repetitive, expensive online evaluations. The improved policy is subsequently redeployed online to drive further discovery, continuously expanding the simulator pool in a self-improving loop. Across algorithm engineering, mathematical optimization, and GPU kernel engineering, \textsc{Dream-RSI} achieves competitive or improved discovery quality while substantially reducing discovery cost in several settings.
• Abstract（参考訳）: 再帰的な自己改善は、複雑なドメインにまたがる高価値なソリューションを見つけることの進歩が、自律的なAIエージェントにとってますます重要になっている。 このプロセスの原動力は効果的な探査であるが、探索戦略の管理と改善は依然として大きなボトルネックである。 現在のシステムは基本的なジレンマに直面している: 固定戦略は検索スペースの規模に応じて適応できないが、オンラインのポリシー最適化では、長期にわたるロールアウトよりも遅延的で高価なフィードバックの下で巨大なメタ検索スペースをナビゲートする必要がある。 本稿では,スケーラブルで再帰的な自己改善探索のためのフレームワークであるtextsc{Dream-RSI}を紹介する。 軽量なオーケストレーション層は、基礎となるコーディングエージェントをそのままにして、探索を明示的かつプログラマブルにする。 我々の重要な洞察は、蓄積された発見履歴が、実現された検索空間上のリプレイシミュレータとして機能するということである。 歴史的発見木から構築されたリプレイシミュレータでドリームを行うことにより,即時かつ低コストなオフ政治フィードバックを確保でき,反復的かつ高価なオンライン評価を促すことなく,探索政策を評価・洗練することができる。 改良されたポリシーはその後、さらなる発見を促進するためにオンラインで再デプロイされ、自己改善ループでシミュレータプールを継続的に拡張する。 アルゴリズム工学、数学的最適化、GPUカーネル工学全般において、textsc{Dream-RSI}は、いくつかの設定において発見コストを大幅に削減しつつ、競争力や改善された発見品質を達成する。

関連論文リスト

• Maximum Entropy Behavior Exploration for Sim2Real Zero-Shot Reinforcement Learning [18.905272125661824]
  実際のロボットシステムにおける四足歩行制御のために,$textitonline$zero-shot RLについて検討した。 我々は、教師なしの行動探索戦略と正規化評論家を組み合わせたオンラインゼロショットRLアルゴリズムであるFB-MEBEを紹介する。
  論文  参考訳（メタデータ） (2026-03-26T14:07:01Z)
• Decoupling Exploration and Policy Optimization: Uncertainty Guided Tree Search for Hard Exploration [12.531650952835493]
  本稿では,探査段階におけるRLの活用と回避を明確に分離する新たなパラダイムを提案する。 政策最適化のオーバーヘッドを取り除くことにより,本手法は,ハードなAtariベンチマーク上での本質的なモチベーションベースラインよりも,桁違いに効率よく探索する。 得られた軌跡を既存の教師付き後方学習アルゴリズムを用いて,展開可能なポリシに抽出できることを実証した。
  論文  参考訳（メタデータ） (2026-03-23T17:56:52Z)
• PACEvolve: Enabling Long-Horizon Progress-Aware Consistent Evolution [64.15555230987222]
  PACEvolveはエージェントのコンテキストと検索ダイナミクスを堅牢に管理するように設計されたフレームワークである。 PACEvolveは、一貫性のある長期自己改善のための体系的なパスを提供する。
  論文  参考訳（メタデータ） (2026-01-15T18:25:23Z)
• DeepSearch: Overcome the Bottleneck of Reinforcement Learning with Verifiable Rewards via Monte Carlo Tree Search [53.27052683356095]
  我々はモンテカルロ木探索を直接RLVRトレーニングに統合するフレームワークであるDeepSearchを紹介する。 推論時にのみツリー検索に依存する既存のメソッドとは対照的に、DeepSearchは構造化された検索をトレーニングループに埋め込む。 コントリビューションには,(1)検索ツリー全体にわたって有望なノードを優先するグローバルフロンティア選択戦略,(2)監督のための確実なパスを識別するエントロピーベースのガイダンスによる選択,(3)効率的なソリューションキャッシングによる適応的リプレイバッファトレーニングなどが含まれている。
  論文  参考訳（メタデータ） (2025-09-29T20:00:29Z)
• DeepDive: Advancing Deep Search Agents with Knowledge Graphs and Multi-Turn RL [60.47878242100153]
  我々は、ディープサーチエージェントを進化させるためにDeepDiveを提示する。 オープンな知識グラフから複雑で難解な質問を自動的に合成する戦略を提案する。 深層探索によるLLMの長距離推論を強化するために, エンドツーエンドのマルチターン強化学習を適用した。
  論文  参考訳（メタデータ） (2025-09-12T17:52:35Z)
• SimpleDeepSearcher: Deep Information Seeking via Web-Powered Reasoning Trajectory Synthesis [94.33978856270268]
  Retrieval-augmented Generation (RAG) システムは複雑なディープ検索シナリオにおいて高度な大規模言語モデル(LLM)を持つ。 既存のアプローチでは、高品質なトレーニングトラジェクトリが欠如し、分散ミスマッチに苦しむ、重要な制限に直面しています。 本稿では,複雑なトレーニングパラダイムではなく,戦略的データエンジニアリングによるギャップを埋めるフレームワークであるSimpleDeepSearcherを紹介する。
  論文  参考訳（メタデータ） (2025-05-22T16:05:02Z)
• Knowing You Don't Know: Learning When to Continue Search in Multi-round RAG through Self-Practicing [4.874077691069634]
  Retrieval Augmented Generation (RAG)は、言語モデルの知識を高め、AI生成幻覚を減らす強力な能力を示している。 現在のマルチラウンドRAGシステムは、十分な情報が既に取得されている場合でも検索を続けることができる。 本稿では,RAGシステムの自己認識と多ラウンド検索機能を強化するための新しいフレームワークSIM-RAGを提案する。
  論文  参考訳（メタデータ） (2025-05-05T17:39:35Z)
• Reannealing of Decaying Exploration Based On Heuristic Measure in Deep Q-Network [82.20059754270302]
  本稿では,再熱処理の概念に基づくアルゴリズムを提案し,必要なときにのみ探索を促進することを目的とする。 我々は、訓練を加速し、より良い政策を得る可能性を示す実証的なケーススタディを実施している。
  論文  参考訳（メタデータ） (2020-09-29T20:40:00Z)
• Dynamic Subgoal-based Exploration via Bayesian Optimization [7.297146495243708]
  スパース・リワードナビゲーション環境における強化学習は困難であり、効果的な探索の必要性を生じさせる。 本稿では,動的サブゴールに基づく探索手法のクラスを効率的に探索する,費用対効果を考慮したベイズ最適化手法を提案する。 実験により、新しいアプローチは、多くの問題領域で既存のベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2019-10-21T04:24:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。