論文の概要: Training LLM Agents for Spontaneous, Reward-Free Self-Evolution via World Knowledge Exploration

• arxiv url: http://arxiv.org/abs/2604.18131v1
• Date: Mon, 20 Apr 2026 11:54:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.842422
• Title: Training LLM Agents for Spontaneous, Reward-Free Self-Evolution via World Knowledge Exploration
• Title（参考訳）: 世界的知識探索による自然・逆自由自己進化のためのLDMエージェントの訓練
• Abstract要約: エージェントに固有のメタ進化能力を持つように訓練し、自然に目に見えない環境について学習する。 推論時、エージェントは外部からの報酬や人間の指示を必要としない。 このネイティブ進化へのシフトは、WebVoyagerとWebWalkerの20%のパフォーマンス向上をもたらす。
• 参考スコア（独自算出の注目度）: 34.98544095454037
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most agents today ``self-evolve'' by following rewards and rules defined by humans. However, this process remains fundamentally dependent on external supervision; without human guidance, the evolution stops. In this work, we train agents to possess an intrinsic meta-evolution capability to spontaneously learn about unseen environments prior to task execution. To instill this ability, we design an outcome-based reward mechanism that measures how much an agent's self-generated world knowledge improves its success rate on downstream tasks. This reward signal is used exclusively during the training phase to teach the model how to explore and summarize effectively. At inference time, the agent requires no external rewards or human instructions. It spontaneously performs native self-evolution to adapt to unknown environments using its internal parameters. When applied to Qwen3-30B and Seed-OSS-36B, this shift to native evolution yields a 20% performance increase on WebVoyager and WebWalker. Most strikingly, the generated world knowledge even enables a compact 14B Qwen3 model to outperform the unassisted Gemini-2.5-Flash, establishing a new paradigm for truly evolving agents.
• Abstract（参考訳）: 現在、ほとんどのエージェントは人間によって定義された報酬や規則に従って「自己進化」している。 しかし、このプロセスは基本的に外部の監督に依存しており、人間の指導がなければ進化は止まる。 本研究では,タスク実行に先立ち,未確認環境について自発的に学習するために,エージェントに固有のメタ進化能力を持つことを訓練する。 この能力を具現化するために、エージェントの自己生成世界知識が下流タスクの成功率をどれだけ向上させるかを測定する結果に基づく報酬機構を設計する。 この報酬信号はトレーニングフェーズでのみ使用され、モデルに効果的に探索と要約の方法を教える。 推論時、エージェントは外部からの報酬や人間の指示を必要としない。 自然に自己進化を行い、内部パラメータを使って未知の環境に適応する。 Qwen3-30BとSeed-OSS-36Bに適用すると、ネイティブ進化への移行によってWebVoyagerとWebWalkerのパフォーマンスが20%向上する。 最も印象的なことに、生成された世界知識は、コンパクトな14B Qwen3モデルでもGemini-2.5-Flashより優れており、真に進化するエージェントのための新しいパラダイムを確立している。

関連論文リスト

• Aspire: Can Models Self-Evolve from Vague Goals? [61.65007006747275]
  我々はあいまいなゴール駆動型自己進化のベンチマークであるASPIREを紹介する。 ASPIREは、統一された対話環境におけるモデルウェイトとエージェントハーネスの進化をサポートする。 実験の結果,曖昧な目標が探索努力を目標解釈に向けることが示唆された。
  論文  参考訳（メタデータ） (2026-08-31T17:14:59Z)
• Teaching LLMs to Self-Evolve: Cultivating Core Meta-Skills with Reinforcement Learning [51.17262419591891]
  AlphaEvolveが示すように、環境フィードバックによる反復的自己進化によるテスト時間のスケーリングは、顕著なパフォーマンス向上を示している。 本稿では,データ合成パイプライン,進化対応強化学習,推論時進化探索によるメタスキル開発を目的としたMetaEvolveを提案する。
  論文  参考訳（メタデータ） (2026-07-24T04:35:29Z)
• OPD-Evolver: Cultivating Holistic Agent Evolver via On-Policy Distillation [71.57258488733974]
  メモリは、自己進化エージェントの標準的な基盤になっているが、その経験を維持することは、それを通して進化する方法を学ぶことと同じではない。 OPD-Evolver(英語版)は、政策上の自己蒸留を通じて、そのようなエージェントを進化させる緩やかな共進化フレームワークである。
  論文  参考訳（メタデータ） (2026-06-16T07:33:53Z)
• Self-evolving LLM agents with in-distribution Optimization [60.05867547965365]
  大規模言語モデル(LLM)は最近、複雑な環境で対話的なエージェントのための強力なコントローラとして登場した。 本稿では,自動プロセス・リワードラベリングとポリシー学習を統一するLDMエージェントの自己進化フレームワークであるQ-Evolveを提案する。 我々は,AlfWorld,WebShop,ScienceWorldの手法を評価し,Q-Evolveがサンプル効率,堅牢性,全体的なタスク性能において高いベースラインを達成していることを示す。
  論文  参考訳（メタデータ） (2026-06-05T15:09:52Z)
• Guided Self-Evolving LLMs with Minimal Human Supervision [53.111086364268566]
  無誘導の自己進化システムは、しばしば訓練として素早く、または劣化する。 R-Fewはガイド付きセルフプレイチャレンジャー(Self-Play Challenger)買収フレームワークで、コンテキスト内接地と混合トレーニングを通じて、軽量な人間の監視を取り入れている。 R-Fewは、数学と一般的な推論ベンチマークで一貫した反復的な改善を実現している。
  論文  参考訳（メタデータ） (2025-12-02T07:06:11Z)
• Your Agent May Misevolve: Emergent Risks in Self-evolving LLM Agents [58.69865074060139]
  エージェントの自己進化が意図しない方法で逸脱し、望ましくない結果や有害な結果に至る場合について検討する。 我々の経験から、誤進化は広範囲にわたるリスクであり、最上位のLSM上に構築されたエージェントにも影響を及ぼすことが判明した。 我々は、より安全で信頼性の高い自己進化型エージェントを構築するためのさらなる研究を促すための潜在的な緩和戦略について議論する。
  論文  参考訳（メタデータ） (2025-09-30T14:55:55Z)
• Building Self-Evolving Agents via Experience-Driven Lifelong Learning: A Framework and Benchmark [57.59000694149105]
  本稿では、自己進化エージェントを構築するためのフレームワークである、経験駆動型生涯学習(ELL)を紹介する。 ELLは、Experience Exploration、Long-term Memory、Skill Learning、Knowledge Internalizationの4つのコア原則に基づいて構築されている。 また、学生の総合的な大学旅行をシミュレートするELLのベンチマークデータセットであるStuLifeを紹介した。
  論文  参考訳（メタデータ） (2025-08-26T13:04:28Z)
• Memento No More: Coaching AI Agents to Master Multiple Tasks via Hints Internalization [56.674356045200696]
  本稿では,複雑なメモシステムや事前の高品質な実演データを必要としない,複数のタスクに対する知識とスキルを取り入れたAIエージェントの訓練手法を提案する。 このアプローチでは,エージェントが新たな経験を収集し,ヒントの形で人間から補正フィードバックを受け取り,このフィードバックを重みに組み込む,反復的なプロセスを採用している。 Llama-3をベースとしたエージェントに実装することで,数ラウンドのフィードバックの後,高度なモデルGPT-4oとDeepSeek-V3をタスクセットで性能向上させる手法の有効性を実証する。
  論文  参考訳（メタデータ） (2025-02-03T17:45:46Z)
• REvolve: Reward Evolution with Large Language Models using Human Feedback [6.4550546442058225]
  大規模言語モデル(LLM)は、自然言語のタスク記述から報酬を生成するために使われてきた。 人間のフィードバックによって導かれるLLMは、人間の暗黙の知識を反映する報酬関数を定式化するのに用いられる。 強化学習における報酬設計にLLMを使用する,真に進化的なフレームワークであるRevolveを紹介する。
  論文  参考訳（メタデータ） (2024-06-03T13:23:27Z)
• Ego-Foresight: Self-supervised Learning of Agent-Aware Representations for Improved RL [26.169030913260084]
  本研究では,移動と予測に基づくエージェントと環境の自己管理手法であるEgo-Foresightを提案する。 エージェントのビジュモータ予測による自己監督型エージェント認識は,RLアルゴリズムのサンプル効率と性能を向上させる。
  論文  参考訳（メタデータ） (2024-05-27T13:32:43Z)
• Generative Adversarial Neuroevolution for Control Behaviour Imitation [3.04585143845864]
  本稿では,一般的なシミュレーション環境における行動模倣にディープ・ニューロエボリューションが有効かどうかを考察する。 我々は、単純な共進化的逆数生成フレームワークを導入し、標準の深い再帰ネットワークを進化させることにより、その能力を評価する。 全てのタスクにおいて、事前訓練されたエージェントが獲得したものよりも高いスコアを達成できる最後のエリートアクターが見つかる。
  論文  参考訳（メタデータ） (2023-04-03T16:33:22Z)
• Mimicking Evolution with Reinforcement Learning [10.35437633064506]
  人工的な人間のような知性を発達させる道は、自然のシミュレーションで進化の過程を模倣することでもたらされると我々は主張する。 この研究は、進化的リワード(EvER)を通じて進化的リワード(Evolutionary Reward)を提案する。
  論文  参考訳（メタデータ） (2020-03-31T18:16:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。