論文の概要: GDPevo: Evaluating Agent Self-Evolution on Real Business Tasks
- arxiv url: http://arxiv.org/abs/2608.03764v1
- Date: Tue, 04 Aug 2026 14:51:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-05 15:30:23.259935
- Title: GDPevo: Evaluating Agent Self-Evolution on Real Business Tasks
- Title（参考訳）: GDPevo: リアルビジネスタスクにおけるエージェントの自己進化の評価
- Abstract要約: 自己進化は、エージェントの永続状態を以前の経験から更新し、関連するタスクを解決するために再利用する。
GDPevoは、GDP関連の企業で開発された進化ネイティブなベンチマークである。
GDPevoはCRM、ERP、金融、医療、法律、データ中心主義にまたがっている。
- 参考スコア（独自算出の注目度）: 18.870142584352703
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Agent self-evolution updates an agent's persistent state from prior experience and reuses it to solve related tasks more effectively. Evaluating self-evolution is difficult: existing benchmarks provide limited coverage of economically valuable task domains, do not always design training and test tasks such that test-time gains can be attributed to training experience, and remain vulnerable to data contamination. We present GDPevo, an evolution-native benchmark grounded in GDP-related enterprise workflows, together with the fully automated data pipeline that generates it. Its core mechanism, rule hybridization, decomposes each enterprise workflow into atomic business rules, distributes subsets of these rules across training tasks, and recombines them in held-out test tasks so that test-time gains are attributable. GDPevo spans CRM, ERP, finance, healthcare, legal, and data-centric workflows. Its V1 release contains 120 tasks in 12 groups, with five training and five held-out test tasks per group. Full automation enables the pipeline to expand the suite to 240 tasks in 24 groups (V2) within two days, providing a practical response to contamination. Using GDPevo, we evaluate four agents, each comprising a harness and a model, under four supervision types. Self-evolution consistently improves held-out accuracy by up to 16.44 percentage points. But the best evolved agents remain far below the fully informed oracle ceiling of 91.6%, indicating that the self-evolution ability of current agents remains far from fully realized. We publicly release the pipeline, benchmark, and full evaluation results at https://github.com/Prism-Shadow/GDPevo.
- Abstract（参考訳）: エージェントの自己進化は、エージェントの永続状態を以前の経験から更新し、関連するタスクをより効果的に解決するために再利用する。
既存のベンチマークは、経済的に価値のあるタスクドメインを限定的にカバーし、常にトレーニングやテストタスクを設計するわけではない。
GDP関連エンタープライズワークフローを基盤とした、進化ネイティブなベンチマークであるGDPevoと、それを生成する完全に自動化されたデータパイプラインを紹介します。
その中核となるメカニズムであるルールのハイブリダイゼーションは、各エンタープライズワークフローをアトミックなビジネスルールに分解し、これらのルールのサブセットをトレーニングタスクに分散し、テストタイムゲインが帰結するように、保持されたテストタスクに再結合する。
GDPevoはCRM、ERP、金融、ヘルスケア、法律、データ中心のワークフローにまたがる。
V1リリースには12グループで120のタスクが含まれており、5つのトレーニングと5つのテストタスクがある。
完全な自動化により、パイプラインは24グループ(V2)で240のタスクに2日以内に拡張することができ、汚染に対する実用的な応答を提供する。
GDPevoを用いて,各エージェントがハーネスとモデルから構成される4つのエージェントを4つの監督タイプで評価する。
自己進化はホールトアウト精度を最大16.44ポイント改善する。
しかし、最も優れた進化したエージェントは91.6%の完全な知名度を持つオラクルの天井よりもはるかに低いままであり、現在のエージェントの自己進化能力が完全には実現されていないことを示している。
パイプライン、ベンチマーク、完全な評価結果はhttps://github.com/Prism-Shadow/GDPevo.comで公開しています。
関連論文リスト
- Self-evolving Agentic Customer Support System at LinkedIn [6.687642783904948]
本稿では,LinkedInの自己進化型エージェント支援システムについて紹介する。
検索強化ジェネレーションと進化的オートプロンプティングを統合している。
システムはプロンプト、検索、評価をクローズドループ、バージョン付きワークフローとして扱う。
論文 参考訳（メタデータ） (2026-08-10T20:51:18Z) - FinEvo-Bench: A Longitudinal Benchmark for Self-Evolving Agents in Professional Financial Workflows [23.12877352048399]
FinEvo-Benchは、120のリアルタイム・ケース・グラウンドのタスクと、6つの金融ドメインに20のビジネス・シーンを持つ縦断ベンチマークである。
同じQwen3.7-Maxバックボーンと3つの独立シャッフルされたグローバルなタスクストリームを用いて、4つの自己進化型エージェント足場を比較した。
レタは最も進化したスコア(91.65)と最小のコンプライアンス問題(タスク当たり0.09)を達成し、コーデックスは最大の自己進化ゲイン(+19.37)を達成した。
論文 参考訳（メタデータ） (2026-08-06T15:14:54Z) - SEVA: Self-Evolving Verification Agent with Process Reward for Fact Attribution [6.908637308550535]
SEVAは、エビデンスアライメント、ステップバイステップの推論チェーン、キャリブレーションされた信頼度、6カテゴリのエラー診断を発行する構造化検証エージェントである。
ClearFacts では、SEVA-3B は GPT-4o-mini (69.0 vs. 69.8 F1) と一致し、よりリッチで監査可能な出力を生成する。
論文 参考訳（メタデータ） (2026-06-29T02:37:13Z) - OpenThoughts-Agent: Data Recipes for Agentic Models [99.10629645072653]
OT-Agentプロジェクトはエージェントモデルをトレーニングするための完全にオープンなデータキュレーションパイプラインである。
パイプラインの各段階について100以上の制御アブレーション実験を行った。
このデータセットには、パイプラインから100Kのサンプルと微調整されたQwen3-32Bのトレーニングセットが組み込まれています。
論文 参考訳（メタデータ） (2026-06-23T17:34:29Z) - APEX: Adaptive Principle EXtraction A Three-Layer Self-Evolution Framework for Production AI Agents [0.0]
AIエージェントの自己改善は、重要な研究フロンティアとして現れている。
同時に進化する3層共進化フレームワークであるAPEXを提案する。
その結果,多次元共進化は単一軸ハーネス最適化を著しく上回ることがわかった。
論文 参考訳（メタデータ） (2026-06-13T15:47:27Z) - Self-evolving LLM agents with in-distribution Optimization [60.05867547965365]
大規模言語モデル(LLM)は最近、複雑な環境で対話的なエージェントのための強力なコントローラとして登場した。
本稿では,自動プロセス・リワードラベリングとポリシー学習を統一するLDMエージェントの自己進化フレームワークであるQ-Evolveを提案する。
我々は,AlfWorld,WebShop,ScienceWorldの手法を評価し,Q-Evolveがサンプル効率,堅牢性,全体的なタスク性能において高いベースラインを達成していることを示す。
論文 参考訳（メタデータ） (2026-06-05T15:09:52Z) - Claw-Eval-Live: A Live Agent Benchmark for Evolving Real-World Workflows [67.92316850084575]
ワークフローエージェントのライブベンチマークであるClaw-Eval-Liveを紹介する。
各リリースは、公開ワークフロー要求信号から構築される。
Claw-Eval-Liveは実行トレース、監査ログ、サービス状態、実行後のワークスペースアーティファクトを記録する。
論文 参考訳（メタデータ） (2026-04-30T17:23:19Z) - OccuBench: Evaluating AI Agents on Real-World Professional Tasks via Language Environment Simulation [57.505743202759646]
OccuBenchは10の業界カテゴリと65の専門ドメインにわたる100の現実のプロフェッショナルタスクシナリオをカバーするベンチマークである。
我々のマルチエージェント合成パイプラインは, 可溶性, 校正困難, 文書基底の多様性を保証した評価インスタンスを自動生成する。
論文 参考訳（メタデータ） (2026-04-13T00:27:32Z) - EnterpriseBench Corecraft: Training Generalizable Agents on High-Fidelity RL Environments [0.10934862523101825]
我々は,高忠実度強化学習環境におけるAIエージェントの訓練が,トレーニング分布を超えて一般化する能力を生み出すことを示す。
私たちは、Surge AIのエージェントRL環境スイートであるEnterpriseBenchの最初の環境であるCoreCraftを紹介します。
論文 参考訳（メタデータ） (2026-02-18T04:35:46Z) - ResearchGym: Evaluating Language Model Agents on Real-World AI Research [48.46915933681714]
我々は、エンドツーエンドの研究においてAIエージェントを評価するためのベンチマークおよび実行環境であるResearchGymを紹介する。
これを実現するために,ICML,ICLR,ACLの5つの口頭およびスポットライト論文を再利用した。
GPT-5を動力とするエージェントの制御評価において、我々は鋭い能力-信頼性ギャップを観察する。
論文 参考訳（メタデータ） (2026-02-16T19:00:03Z) - Inference-Time Scaling of Verification: Self-Evolving Deep Research Agents via Test-Time Rubric-Guided Verification [71.98473277917962]
近年のDeep Research Agents (DRA) の進歩は、自動知識発見と問題解決に変化をもたらしている。
本稿では,政策モデルのアウトプットを反復的に検証することで,エージェントの能力を自己進化させる手法を提案する。
検証の非対称性を生かしたルーブリックスに基づく結果報酬検証器であるDeepVerifierを提案する。
論文 参考訳（メタデータ） (2026-01-22T09:47:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。