論文の概要: HarnessEvolve: Learning from Reference Trajectories for Reliable Agent Self-Evolution

• arxiv url: http://arxiv.org/abs/2609.00829v1
• Date: Tue, 01 Sep 2026 07:31:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:36.431796
• Title: HarnessEvolve: Learning from Reference Trajectories for Reliable Agent Self-Evolution
• Title（参考訳）: HarnessEvolve: 信頼性のあるエージェントの自己進化のための基準軌道からの学習
• Authors: Wen Jiang, Mingmin Chu, Yimeng Tian, Qianxin Zhang, Haofei Yang, Rui Yang, Yang Liu, Tao Lv, Fangming Li,
• Abstract要約: 我々は、信頼できるエージェントの自己進化を実現するために、参照軌道から学習する自己進化フレームワークであるHarnessEvolveを紹介する。 私たちは、さまざまなモデルとエージェントフレームワークを使用して、オープンドメインとエンタープライズシナリオにまたがるいくつかのベンチマークで広範な実験を行います。 結果は、HarnessEvolveがすべてのベンチマークと設定で、最先端のベースラインを一貫して上回っていることを示している。
• 参考スコア（独自算出の注目度）: 11.431479238875712
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-evolving agents advance toward autonomy by optimizing their harness---prompts, skills, tools, and execution logic---based on environmental feedback. This paradigm, however, is hampered by three challenges: \textit{credit assignment failure}, where terminal success/failure feedback makes it ambiguous which step caused the error; \textit{shortcut learning}, where agents memorize task-specific patterns rather than acquire generalizable capabilities; and \textit{catastrophic forgetting}, where unguarded updates degrade previously acquired competence. In this paper, we introduce HarnessEvolve, a self-evolving framework that learns from reference trajectories to achieve reliable agent self-evolution. HarnessEvolve decouples the execution agent from the evolutionary pipeline, assigning execution, evaluation, optimization, and gating to independent agent modules, enabling generalizable and stable harness improvements. Specifically, HarnessEvolve overcomes credit assignment failure by generating reference trajectories (execution paths produced when given the ground-truth answers) and aligning failed executions against them to extract error signals, which are clustered to reveal systematic failure patterns. To prevent shortcut learning and catastrophic forgetting, candidate harness updates must pass two gates: a quality gate that filters data leakage and prompt bloat, and a performance gate that accepts each update if it improves on the current batch without degrading recent batches, with epoch-end validation on a held-out set selecting the best-performing accepted agent snapshot. We conduct extensive experiments on several benchmarks spanning open-domain and enterprise scenarios, using different models and agent frameworks. Results demonstrate that HarnessEvolve consistently outperforms state-of-the-art baselines across all benchmarks and settings, confirming reliability across task domains.
• Abstract（参考訳）: 自己進化エージェントは、環境フィードバックに基づいたハーネス、スキル、ツール、実行ロジックを最適化することで、自律性に向かって前進する。 しかし、このパラダイムは、3つの課題によって妨げられている: \textit{credit assignment failure}、端末の成功/失敗フィードバックが、どのステップがエラーの原因となったかを曖昧にする \textit{shortcut learning}、エージェントが一般化可能な能力を得るよりもタスク固有のパターンを記憶する \textit{catastrophic forgetting}、未保護の更新が以前に獲得した能力が低下する \textit{catastrophic forgetting}。 本稿では、参照軌道から学習し、信頼できるエージェントの自己進化を実現する自己進化フレームワークであるHarnessEvolveを紹介する。 HarnessEvolveは、実行エージェントを進化パイプラインから切り離し、実行、評価、最適化、ゲーティングを独立したエージェントモジュールに割り当て、一般化可能で安定したハーネス改善を可能にする。 具体的には、HarnessEvolveは、参照トラジェクトリ(基本トラジェクトリが与えられたときに生成された実行パス)を生成し、失敗した実行を整列させてエラー信号を抽出することで、クレジット割り当ての失敗を克服する。 データリークとプロンプトの肥大化をフィルタする品質ゲートと、最新のバッチを劣化させることなく現在のバッチを改善した場合には、各更新を受け入れるパフォーマンスゲートと、最高のパフォーマンスを持つエージェントスナップショットを選択するホールトアウトセットのエポックエンドバリデーションである。 私たちは、さまざまなモデルとエージェントフレームワークを使用して、オープンドメインとエンタープライズシナリオにまたがるいくつかのベンチマークで広範な実験を行います。 結果は、HarnessEvolveがすべてのベンチマークと設定で一貫して最先端のベースラインを上回り、タスクドメイン全体の信頼性を確認していることを示している。

関連論文リスト

• From Sequence to Structure: Relational Uncertainty Propagation for LLM Agents [75.69180947909148]
  大規模言語モデル(LLM)エージェントのためのトラジェクトリレベルのUQフレームワークを提案する。 RuPAは、推論状態、ツールインタラクション、環境フィードバックが時間的およびセマンティックな依存関係エッジで接続されたノードである、指向的なトラジェクトリグラフとして実行履歴を表現している。 我々は,複数のモデルファミリにまたがる6つのオープンソースLCMを用いて,代用エージェントベンチマーク($2, Terminal-Bench-2, GAIA)でRUPAを評価した。
  論文  参考訳（メタデータ） (2026-08-17T01:40:14Z)
• AEVAL: From Anecdotal to Deterministic Testing for Agentic Skill Workflows [1.6785141970297952]
  AEVAL(Agentic Evaluation)はCI統合フレームワークで、このプラクティスをエージェントスキルのための決定論的かつ再現可能なテストパイプラインに置き換える。 すべてのスキル変更がテストイベントをトリガーする。スキルは、自動エグゼキュータ内の開発者が宣言した評価契約に対して実行される。 鍵となる要素は、実行子とグレーダの間の構造的分離であり、微妙だが広汎な障害モードを防止する。
  論文  参考訳（メタデータ） (2026-07-16T21:33:05Z)
• Self-evolving LLM agents with in-distribution Optimization [60.05867547965365]
  大規模言語モデル(LLM)は最近、複雑な環境で対話的なエージェントのための強力なコントローラとして登場した。 本稿では,自動プロセス・リワードラベリングとポリシー学習を統一するLDMエージェントの自己進化フレームワークであるQ-Evolveを提案する。 我々は,AlfWorld,WebShop,ScienceWorldの手法を評価し,Q-Evolveがサンプル効率,堅牢性,全体的なタスク性能において高いベースラインを達成していることを示す。
  論文  参考訳（メタデータ） (2026-06-05T15:09:52Z)
• BenchTrace: A Benchmark for Testing Reflection Ability and Controlled Evolution in LLM Agents [24.997265534888626]
  LLMエージェントの自己進化能力を評価するベンチマークである textbfBenchTrace を提案する。 BenchTraceは6つのタスクにまたがる1,821の注釈付きエピソードのスナップショット・リフレクションデータセット上に構築されている。 エージェントがターゲットの障害インスタンスをうまく回避するテストケースの割合を計測する新しい評価指標であるtextbffailure avoidance rate (FAR) を提案する。
  論文  参考訳（メタデータ） (2026-05-28T01:25:37Z)
• AgentDevel: Reframing Self-Evolving LLM Agents as Release Engineering [8.201374511929538]
  AgentDevelは、現行のエージェントを反復的に実行するリリースエンジニアリングパイプラインである。 実行トレースから実装盲の症状レベルの品質信号を生成する。 主要な症状パターンを集約し、監査可能なエンジニアリング仕様を生成する。
  論文  参考訳（メタデータ） (2026-01-08T05:49:01Z)
• Co-Evolving Agents: Learning from Failures as Hard Negatives [38.61683607205988]
  近年の研究では、自己改善剤を自力で生成し、精製し、自身の軌道で再訓練する研究が進められている。 本稿では、目標エージェントが補助故障エージェントと共同で改善する共進化型エージェントフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-27T09:30:33Z)
• Alignment Tipping Process: How Self-Evolution Pushes LLM Agents Off the Rails [103.05296856071931]
  本稿では,自己進化型大規模言語モデル(LLM)エージェントに特有の,アライメント・ティッピング・プロセス(ATP)を同定する。 ATPは、連続的な相互作用によってエージェントが訓練中に確立されたアライメント制約を放棄し、強化された自己関心の戦略を支持するときに生じる。 実験の結果、アライメントの利点は自己進化の下で急速に低下し、最初は整合性のない状態に収束したモデルであることが判明した。
  論文  参考訳（メタデータ） (2025-10-06T14:48:39Z)
• Towards Self-Evolving Benchmarks: Synthesizing Agent Trajectories via Test-Time Exploration under Validate-by-Reproduce Paradigm [60.36837655498119]
  本稿では,トラジェクトリをベースとしたエージェント・ベンチマーク・複雑度進化フレームワークを提案する。 このフレームワークは、既存のベンチマークから元のタスクを受け取り、エージェントがそれをより難しい新しいタスクに進化させるよう促す。 GAIAベンチマークの実験では、TRACEフレームワークはタスクの複雑さを継続的に向上し、正確性の信頼性を向上させる。
  論文  参考訳（メタデータ） (2025-10-01T01:52:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。