論文の概要: Astar: Learning to Propose Evolution Directions for Self-Evolving Industrial AI Systems

• arxiv url: http://arxiv.org/abs/2608.27287v1
• Date: Thu, 27 Aug 2026 15:56:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 16:30:58.479043
• Title: Astar: Learning to Propose Evolution Directions for Self-Evolving Industrial AI Systems
• Title（参考訳）: Astar: 自己進化型産業AIシステムのための進化方向の提案を学ぶ
• Abstract要約: Astarは、産業システムの豊富な反復履歴から専門的な進化誘導モデルを学ぶ訓練ベースのアプローチである。 アスターは進化方向の提案のためにAlibabaの広告システムに配備されている。
• 参考スコア（独自算出の注目度）: 22.046339198460334
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Modern AI systems advance through continuous iteration: a loop of proposing evolution directions, implementing code, training, and evaluation. While the latter three stages are increasingly automated, the starting point --- proposing effective evolution directions --- remains a critical bottleneck that still relies heavily on senior experts. In this work, we explore whether AI can take over this role. We find that general-purpose LLMs, even the advanced GPT-5.5, offer only generic and misaligned suggestions: the required expertise is accumulated through experience rather than explicitly codified, and thus hard to inject directly. To this end, we propose Astar, a training-based approach that learns a specialized evolution-guiding model from the abundant iteration histories of industrial systems. Realizing this idea, however, raises four challenges: sparse supervision, noisy data, a vast direction space, and prohibitively expensive verification. We address them along two fronts. On the data side, we design a pipeline that turns noisy historical commits into a large, clean evolutionary corpus via pairwise sample expansion and noise filtering. On the model side, we train the model through mid-training, SFT, and RL, guiding evolution direction generation with hierarchical hints and using the reward model in RL as a fast surrogate evaluator. Astar has been deployed in Alibaba's Lazada advertising system for evolution direction proposal. Astar-8B achieves a single-proposal success rate of 0.6786 in real-execution evaluation, far exceeding human experts (0.3229) and the strongest general-purpose LLM (0.3071). More importantly, Astar closes the loop and enables fully automatic iteration: it guided 20 consecutive iterations over two weeks, improving offline Hitrate@200 by 23.6%, while an online A/B test yielded relative lifts of 4.86% in GMV and 1.82% in advertising revenue.
• Abstract（参考訳）: 進化方向の提案ループ、コードの実装、トレーニング、評価。 後半の3段階はますます自動化されているが、出発点である効果的な進化方向の提案は、いまだに上級専門家に大きく依存している重要なボトルネックである。 本研究では,AIがこの役割を引き継ぐことができるかどうかを考察する。 GPT-5.5 の汎用 LLM は,汎用的かつ不整合な提案のみを提供しており,必要な専門知識は明示的にコード化されるのではなく,経験を通じて蓄積されるため,直接注入することが困難である。 そこで本研究では,産業システムの豊富な反復履歴から,特殊な進化誘導モデルを学ぶためのトレーニングベースアプローチであるAstarを提案する。 しかし、このアイデアを実現するには、控えめな監視、ノイズの多いデータ、広い方向空間、そして違法に高価な検証の4つの課題がある。 私たちは2つの前線に沿ってそれらに対処する。 データ側では、ノイズの多い歴史的コミットをペアワイズサンプル展開とノイズフィルタリングによって、大きくクリーンな進化コーパスに変換するパイプラインを設計します。 モデル側では、中間訓練、SFT、RLを通じてモデルをトレーニングし、階層的なヒントで進化方向の生成を誘導し、RLの報酬モデルを高速な代理評価器として利用する。 アスターは進化方向の提案のためにアリババのラザダ広告システムに配備されている。 Astar-8Bは、人間専門家(0.3229)と最強の汎用LSM(0.3071)をはるかに上回り、実運用評価で0.6786の単発成功率を達成した。 さらに重要なことに、Astarはループを閉じて完全な自動イテレーションを可能にし、20回の反復を2週間にわたってガイドし、オフラインのHitrate@200を23.6%改善し、オンラインA/Bテストでは、GMVで4.86%、広告収入で1.82%のリレーションアップを得た。

関連論文リスト

• Teaching LLMs to Self-Evolve: Cultivating Core Meta-Skills with Reinforcement Learning [51.17262419591891]
  AlphaEvolveが示すように、環境フィードバックによる反復的自己進化によるテスト時間のスケーリングは、顕著なパフォーマンス向上を示している。 本稿では,データ合成パイプライン,進化対応強化学習,推論時進化探索によるメタスキル開発を目的としたMetaEvolveを提案する。
  論文  参考訳（メタデータ） (2026-07-24T04:35:29Z)
• APEX: Adaptive Principle EXtraction A Three-Layer Self-Evolution Framework for Production AI Agents [0.0]
  AIエージェントの自己改善は、重要な研究フロンティアとして現れている。 同時に進化する3層共進化フレームワークであるAPEXを提案する。 その結果,多次元共進化は単一軸ハーネス最適化を著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2026-06-13T15:47:27Z)
• What and When to Distill: Selective Hindsight Distillation for Multi-Turn Agents [70.6980022118038]
  強化学習は、緩やかなタスク報酬からLLMエージェントを訓練することができるが、長期的なクレジット割り当ては依然として困難である。 既存の方法は、ステップごとの環境フィードバックを完全に活用することなく、軌道レベルの報酬やプロキシ信号に依存している。 環境重み付け学習フレームワークであるSERLを紹介する。
  論文  参考訳（メタデータ） (2026-05-19T07:00:55Z)
• RoboPhD: Evolving Diverse Complex Agents Under Tight Evaluation Budgets [0.2126018197183873]
  本稿では,エロトーナメントの選択,EPA,グリーディヒルクライミングという3つの最適化パラダイムの体系的比較について述べる。 RoboPhDは、トレーニングとバリデーションの予算を分割する代わりに、トレーニングデータにEloコンペティションを使用してエージェントを同時に評価し、進化を促進する。 我々は、さまざまな複雑なエージェントを進化させるためのシンプルなOptimation_anything() APIを使って、MITライセンスの下で汎用ツールキットとしてRoboPhDをリリースした。
  論文  参考訳（メタデータ） (2026-04-06T01:39:13Z)
• RetroAgent: From Solving to Evolving via Retrospective Dual Intrinsic Feedback [54.39884046754265]
  RetroAgentは、エージェントが複雑なインタラクティブ環境をマスターできるオンラインRLフレームワークである。 実験の結果,RetroAgentはSOTA(State-of-the-art)の性能を達成できた。
  論文  参考訳（メタデータ） (2026-03-09T16:23:33Z)
• ThetaEvolve: Test-time Learning on Open Problems [110.5756538358217]
  In-context LearningとReinforcement Learning(RL)の両方をテスト時に効率的にスケールするために、AlphaEvolveを単純化し拡張するオープンソースのフレームワークであるThetaEvolveを紹介します。 テスト時にRLを使用するThetaEvolveは、推論のみのベースラインよりも一貫して優れています。
  論文  参考訳（メタデータ） (2025-11-28T18:58:14Z)
• RAGEN: Understanding Self-Evolution in LLM Agents via Multi-Turn Reinforcement Learning [125.96848846966087]
  対話型エージェントとしての大規模言語モデル(LLM)のトレーニングには,ユニークな課題がある。 強化学習は静的タスクの進行を可能にする一方で、マルチターンエージェントRLトレーニングは未探索のままである。 本稿では、軌道レベルのエージェントRLのための一般的なフレームワークであるStarPOを提案し、LLMエージェントのトレーニングと評価のためのモジュールシステムであるRAGENを紹介する。
  論文  参考訳（メタデータ） (2025-04-24T17:57:08Z)
• Scalable Reinforcement Post-Training Beyond Static Human Prompts: Evolving Alignment via Asymmetric Self-Play [52.3079697845254]
  evaは、オフラインとオンラインのRLポストトレーニングの両方で、言語モデルがトレーニングプロンプトを適応的に作成できるようにする最初の方法である。 我々は,エバが有効なRLキュリキュラを作成でき,アブレーションにまたがって堅牢であることを示す。
  論文  参考訳（メタデータ） (2024-10-31T08:15:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。