論文の概要: Meta-Reflective Evolution Effectively Improves Production AI Systems
- arxiv url: http://arxiv.org/abs/2610.12794v1
- Date: Thu, 08 Oct 2026 23:00:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.314376
- Title: Meta-Reflective Evolution Effectively Improves Production AI Systems
- Title（参考訳）: メタリフレクティブ進化は生産AIシステムを効果的に改善する
- Abstract要約: 大規模言語モデル(LLM)による進化的最適化は、プロンプト、プログラム、さらにはAIシステム全体の改善に成功している。
我々はCoCoEvolveを紹介します。これはメタリフレクションと呼ばれるもので、エージェントミュータ(Cortex Code)が進化の歴史全体から証拠を検索します。
データエージェント、DAB駆動のデータパイプライン、データエンジニアリングの3つのクラスを最適化するために、CoCoEvolveを適用します。
- 参考スコア（独自算出の注目度）: 10.95716165517021
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Model (LLM)-guided evolutionary optimization has successfully improved prompts, programs, and even entire AI systems. Most optimization methods select a candidate from the search frontier, then mutate it in one LLM pass based only on its failures. This focus on the frontier can stall on production AI systems, where isolated failures reveal little about complex, hidden interactions. We introduce CoCoEvolve (Cortex Code Evolve), an evolutionary optimizer built around what we call meta-reflection, wherein an agentic mutator (Cortex Code) selectively retrieves evidence from the entire evolutionary history and probes the live system before verifying and proposing mutations. We apply CoCoEvolve to optimize three classes of production AI systems: data agents, LLM-powered data pipelines, and data engineering workflows. On DABStep, CoCoEvolve tops the public leaderboard, reaching 92.8% held-out hard accuracy compared to 78.4% for Meta-Harness and 30.4% for GEPA under matched conditions. Across six LLM data pipeline workloads, it outperforms every evaluated baseline. On data-eng-bench, CoCoEvolve lifts test-set solve rate from 59.1% to 77.4%, past the best baseline of 73.6%. It also has 11 percentage points higher accuracy than GEPA on HotpotQA while remaining competitive with specialized optimizers on established mathematical and systems benchmarks. Matched ablations confirm that each component of CoCoEvolve contributes to these gains, demonstrating the value of meta-reflection for optimizing production AI systems.
- Abstract（参考訳）: 大規模言語モデル(LLM)による進化的最適化は、プロンプト、プログラム、さらにはAIシステム全体の改善に成功している。
ほとんどの最適化手法は、探索フロンティアから候補を選択し、その失敗に基づいて1つのLSMパスで変更する。
このフロンティアへのフォーカスは、独立した障害が複雑で隠れたインタラクションをほとんど明らかにしない、プロダクションAIシステムで行き詰まる可能性がある。
我々はCoCoEvolve(Cortex Code Evolve)というメタリフレクション(メタリフレクション)と呼ばれる機能を中心に構築された進化的オプティマイザを紹介し、エージェント的ミュータ(Cortex Code)が進化の歴史全体から証拠を選択的に取得し、突然変異の検証と提案の前にライブシステムを調査します。
私たちはCoCoEvolveを使用して、データエージェント、LLM駆動のデータパイプライン、データエンジニアリングワークフローという、生産AIシステムの3つのクラスを最適化します。
DABStepでは、CoCoEvolveが92.8%、Meta-Harnessが78.4%、GEPAが30.4%という厳しい成績を収めた。
LLMデータパイプラインのワークロードは6つあり、評価されたベースライン毎にパフォーマンスが向上する。
Data-eng-benchでは、CoCoEvolveがテストセット解決率を59.1%から77.4%に引き上げ、ベースラインが73.6%を超えた。
また、HotpotQA上のGEPAよりも11パーセント高い精度を持つ一方で、確立された数学的およびシステムベンチマークの特別なオプティマイザと競合する。
CoCoEvolveの各コンポーネントがこれらの利益に貢献し、プロダクションAIシステムを最適化するためのメタリフレクションの価値を示している。
関連論文リスト
- RSI-Anything: Unlocking Recursive Self-Improvement with World Models [76.79361510862277]
RSI-AnythingはJEPA-Anything上に構築されたドメイン・ジェネラル・フレームワークである。
予測ワールドモデルを使用して、アクションと学習データの選択をガイドする。
コード修復では、コーダーが固定され、静的検証器で成功率は26.3%から予測選択により29.2%に増加する。
論文 参考訳（メタデータ） (2026-10-09T17:50:30Z) - RankEvolve: A Reliable Multi-Agent Auto-Research Harness for Evolving Ranking Models [11.914355904979358]
生成的ランキングモデルを進化させるための自動検索フレームワークである RankEvolve を提示する。
Executable Operating Protocol (EOP)は、フェーズ、ゲート、ブランチ、ループを宣言し、ランタイムがコンパイルされたステートマシンを強制する。
メタメタハーネスは、Claude CodeやCodexなど、完全なブラックボックスコーディングエージェント製品を実行グラフノードとして構成する。
論文 参考訳（メタデータ） (2026-09-30T11:50:46Z) - Teaching LLMs to Self-Evolve: Cultivating Core Meta-Skills with Reinforcement Learning [51.17262419591891]
AlphaEvolveが示すように、環境フィードバックによる反復的自己進化によるテスト時間のスケーリングは、顕著なパフォーマンス向上を示している。
本稿では,データ合成パイプライン,進化対応強化学習,推論時進化探索によるメタスキル開発を目的としたMetaEvolveを提案する。
論文 参考訳（メタデータ） (2026-07-24T04:35:29Z) - Do Agent Optimizers Compound? A Continual-Learning Evaluation on Terminal-Bench 2.0 [53.71882250666667]
エージェント最適化法で報告されているほとんどの利得はワンショットである。
これは、デプロイされたエージェントにとって重要な設定をテストするものではない。
エージェントハーネス最適化に対する3つのアプローチを比較する。
論文 参考訳（メタデータ） (2026-07-15T16:36:04Z) - Evolving Agents in the Dark: Retrospective Harness Optimization via Self-Preference [51.55077364626896]
本稿では,過去の軌道のみを用いたエージェント・ハーネスを最適化する自己教師型手法であるRetrospective Harness Optimization (RHO)を紹介する。
RHOは、過去の軌跡から様々な課題のコアセットを選択し、それらを並列に解決する。
1回の最適化ラウンドでは、SWE-Bench Proのパスレートが59%から78%に向上する。
論文 参考訳（メタデータ） (2026-06-04T09:26:00Z) - RoboPhD: Evolving Diverse Complex Agents Under Tight Evaluation Budgets [0.2126018197183873]
本稿では,エロトーナメントの選択,EPA,グリーディヒルクライミングという3つの最適化パラダイムの体系的比較について述べる。
RoboPhDは、トレーニングとバリデーションの予算を分割する代わりに、トレーニングデータにEloコンペティションを使用してエージェントを同時に評価し、進化を促進する。
我々は、さまざまな複雑なエージェントを進化させるためのシンプルなOptimation_anything() APIを使って、MITライセンスの下で汎用ツールキットとしてRoboPhDをリリースした。
論文 参考訳（メタデータ） (2026-04-06T01:39:13Z) - QiMeng-NeuComBack: Self-Evolving Translation from IR to Assembly Code [52.66657751895655]
大規模言語モデル(LLM)は、ニューラルコンパイルという魅力的な新しいパラダイムを提供する。
本稿では,IR-to-assemblyコンパイル用に設計された新しいベンチマークデータセットであるNeuComBackを紹介する。
LLMの内部的なプロンプト戦略を進化させる自己進化的プロンプト最適化法を提案する。
論文 参考訳（メタデータ） (2025-11-03T03:20:26Z) - GrowthHacker: Automated Off-Policy Evaluation Optimization Using Code-Modifying LLM Agents [0.32839375042867835]
textitGrowthHackerは、大規模な実世界のデータセットのエージェントおよびベースラインメソッドによるベンチマークである。
textittwo_agentフレームワークを開発し、最適化効率を保ちながらシステムの複雑さを低減する。
その結果、2_agentフレームワークは100%の信頼性と106.7%の平均的な改善を実現していることがわかった。
論文 参考訳（メタデータ） (2025-11-02T04:47:17Z) - C-Evolve: Consensus-based Evolution for Prompt Groups [43.256446610084986]
本稿では,集約された出力が最適性能を達成するプロンプト群を探索する進化的アルゴリズムであるConsensus-Evolve(C-Evolve)を紹介する。
C-Evolveは個体数の多様性を維持するために島を基盤とした進化的アルゴリズムを採用しており、異なる島々からのプロンプトはグループを形成するために選択される。
本手法は,HotpotQAのようなオープンエンドタスクとMATHのようなクローズドエンドタスクの両方を含む,幅広いタスクにおける最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2025-09-27T14:35:49Z) - Inception Convolution with Efficient Dilation Search [121.41030859447487]
拡散畳み込みは、効果的な受容場を制御し、オブジェクトの大規模な分散を処理するための標準的な畳み込みニューラルネットワークの重要な変異体である。
そこで我々は,異なる軸,チャネル,層間の独立な拡散を有する拡張畳み込みの新たな変異体,すなわち開始(拡張)畳み込みを提案する。
本稿では,データに複雑なインセプション・コンボリューションを適合させる実用的な手法を探索し,統計的最適化に基づく簡易かつ効果的な拡張探索アルゴリズム(EDO)を開発した。
論文 参考訳（メタデータ） (2020-12-25T14:58:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。