論文の概要: DREvo: Distilling Recalibrated Historical Experience for Harness Self-Evolution
- arxiv url: http://arxiv.org/abs/2607.26722v1
- Date: Wed, 29 Jul 2026 10:12:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-30 21:06:25.62086
- Title: DREvo: Distilling Recalibrated Historical Experience for Harness Self-Evolution
- Title（参考訳）: DREvo: ハーネス・セルフ・エボリューションのための再検討された歴史的経験
- Abstract要約: そこで本研究では,機能レベルのエビデンスアンカリング,状態依存エビデンス再校正,ロール条件付き検索意図蒸留を統合した新たな自己進化手法DREvoを提案する。
限られた進化予算の下では、DREvoはよりスムーズな進化軌道を示し、5つのベンチマークで最高精度を達成し、平均16.2%と14.2%のゲインを達成している。
- 参考スコア（独自算出の注目度）: 16.839090527468127
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Harness plays a critical role in large language model agent performance, and building a high-performing harness requires substantial expert effort. Therefore, recent research has increasingly explored harness self-evolution, which iteratively proposes, evaluates, and improves harnesses using historical trial experience. However, accumulated historical experience does not always translate into stable search guidance, and performance often fluctuates substantially across evolution iterations, making it difficult to reliably discover high-performing harnesses under a limited evolution budget. We identify two limitations in how existing harness self-evolution methods leverage historical experience: (1) Lack of dynamic reassessment of whether historical experience remains valid for the current harness, and (2) Lack of explicit mechanisms for translating valid historical experience into actionable search directions. To address these limitations, we propose a new harness self-evolution method, named DREvo, which integrates function-level evidence anchoring, state-dependent evidence recalibration, and role-conditioned search intent distillation to determine which historical evidence remains valid and where the harness should evolve next. Under limited evolution budgets, DREvo exhibits smoother evolution trajectories, achieves the highest accuracy on all five benchmarks, and delivers average gains of 16.2% and 14.2% over the evaluated baselines on domain reasoning and agentic tasks, respectively.
- Abstract（参考訳）: ハーネスは、大規模言語モデルエージェントのパフォーマンスにおいて重要な役割を担い、ハイパフォーマンスなハーネスを構築するには、かなりの専門的な努力が必要である。
そのため、最近の研究は、歴史的試行経験を用いて、繰り返し提案し、評価し、改善する自己進化の活用を探求している。
しかし、蓄積した歴史的経験が常に安定した探索誘導に変換されるとは限らないため、性能は進化の反復によって大きく変動することが多く、限られた進化予算の下で高い性能のハーネスを確実に発見することが困難である。
従来の自己進化的手法が歴史的経験をどのように活用するかには,(1) 歴史的経験が現在も有効であるかどうかの動的再評価の欠如,(2) 有効な歴史的経験を行動可能な探索方向に変換するための明確なメカニズムの欠如がある。
これらの制約に対処するため,機能レベルのエビデンスアンカリング,状態依存エビデンスリカレーション,ロール条件付き探索意図蒸留を統合した新たなハーネス自己進化法DREvoを提案する。
限られた進化予算の下では、DREvoはよりスムーズな進化軌道を示し、5つのベンチマークで最高精度を達成し、それぞれ評価されたドメイン推論とエージェントタスクのベースラインよりも平均16.2%と14.2%のゲインを達成している。
関連論文リスト
- EVOHARNESSBENCH: Can Your Agents Keep Pace with an Evolving Harness? [83.21711423118768]
EVOHARNESSBENCHは、制御されたハーネス進化下でエージェントを評価するためのベンチマークである。
検証器ベースのベンチマークから決定的に構築された17のマルチステージハーネスストリームを含んでいる。
論文 参考訳（メタデータ） (2026-09-03T03:24:02Z) - HarnessDev: Can LLMs Create and Evolve Their Own Agent Harness? [61.02699867449589]
評価単位をタスク出力から実行インフラストラクチャにシフトするベンチマークであるHarnessDevを紹介します。
Creationでは、エージェントは最小限のシードと少数のケースから始まり、完全な実行システムを構築する。
Evolutionでは、独自のハーネスから始まり、ベンチマークのパフォーマンス向上を目標として、下流の実行フィードバックを使用して反復的に修正する。
論文 参考訳（メタデータ） (2026-09-01T15:45:33Z) - Automated Discovery Has No Universally Superior Harness [63.53666712024897]
我々はOpenEvolveスタイルの進化的探索とTT-Discoverサーチハーネスを構成成分に分解する。
12組のモデルプロブレムペアで30個の予算整合ハーネスを評価した。
論文 参考訳（メタデータ） (2026-07-20T17:59:37Z) - Rethinking the Evaluation of Harness Evolution for Agents [83.07258924910069]
既存のハーネス進化法では、単体テストケースを使用してハーネス構成を検索し、同じ公開ベンチマークで最終的なパフォーマンスを報告している。
このプロトコルは2つの基本的な懸念を提起する。
エージェントによるテスト時間スケーリングと同様に、一致したフィードバックと推論予算の下で単純なタスクレベルの検索ベースラインと比較すべきである。
論文 参考訳（メタデータ） (2026-07-14T00:18:42Z) - CurateEvo: Data-Curation Evolving for Agentic Post-Training [53.68149869349268]
エージェント学習後データキュレーションのための障害駆動動的進化フレームワークであるCurateEvoを提案する。
CurateEvoは、キュレーション戦略を実行可能なコードとして表現し、保持された開発セットから失敗したトラジェクトリを使って反復的に書き直します。
各エポックにおいて、進化した戦略は、固定された生コーパスを教師付き微調整データ、強化学習データ、推論時メモリバンクに変換する。
論文 参考訳（メタデータ） (2026-07-07T11:07:00Z) - One Reflection Is Not Enough: Self-Correcting Autonomous Research via Multi-Hypothesis Failure Attribution [85.65263343588026]
我々は,自己修正型,自律型,接地型実験機であるSAGEを提案する。
その中核的なメカニズムであるMHFA(Multi-Hypothesis Failure Attribution)は、回復を構造的因果診断として扱う。
12のトピック、5ドメインのベンチマークでは、SAGEは基準リフレクションでメトリクスを含むアウトプットを42%から92%に増やしている。
論文 参考訳（メタデータ） (2026-06-30T10:54:16Z) - Harness Updating Is Not Harness Benefit: Disentangling Evolution Capabilities in Self-Evolving LLM Agents [82.27610290890475]
i) ハーネス更新、(i) 実行証拠から有用な永続的ハーネス更新を生成する能力、(ii) ハーネスベネフィット、タスク解決時に更新されたハーネスの恩恵を受ける能力の2つのハーネス自己進化能力を分析した。
まず、ハーネス更新は基本能力において平坦である:異なる能力階層のモデルがハーネス更新を生成し、驚くほど類似したゲインをもたらす。
第二に、ハーネスベネフィットは基本能力において単調ではない:弱い層モデルは更新されたハーネスからほとんど恩恵を受けず、中層モデルは最も恩恵を受け、強い層モデルは中層より利益が低い。
論文 参考訳（メタデータ） (2026-05-28T22:16:14Z) - DemoEvolve: Overcoming Sparse Feedback in Agentic Harness Evolution with Demonstrations [12.048713464721665]
DemoEvolveは、進化を活用するためのデモブートストラップ付きのアプローチである。
我々はこのパラダイムを標本効率の速い適応の一形態として研究する。
DemoEvolveは、より効果的で監査可能なハーネス編集を生成する。
論文 参考訳（メタデータ） (2026-05-23T12:10:52Z) - FRESCO: Benchmarking and Optimizing Re-rankers for Evolving Semantic Conflict in Retrieval-Augmented Generation [73.22935457705057]
時間的動的文脈における再ランカ評価のためのベンチマークであるFRESCOを紹介する。
レクエンシ検索クエリと過去のウィキペディアのリビジョンを組み合わせることで、FRESCOは、セマンティックな関連性を維持しながら、リランカが事実として最新の証拠を優先順位付けできるかどうかをテストする。
我々の評価では、既存の再ランカ間で一貫した障害モードが明らかになっている。
論文 参考訳（メタデータ） (2026-04-14T17:04:25Z) - A Generative Adaptive Replay Continual Learning Model for Temporal Knowledge Graph Reasoning [24.377657990045503]
本稿では,歴史的実体分布表現を生成し,適応的に再生できるDeep Generative Adaptive Replay(DGAR)手法を提案する。
実験の結果, DGARは, 忘れの推論や緩和において, ベースラインを著しく上回っていることがわかった。
論文 参考訳（メタデータ） (2025-06-04T15:44:50Z) - Benchmarking the Generation of Fact Checking Explanations [19.363672064425504]
我々は、正当化の生成(クレームが真か偽かのどちらかに分類される理由をテキストで説明する)に焦点を当て、新しいデータセットと高度なベースラインでベンチマークする。
その結果,生産要約の正当性はクレーム情報から得られることがわかった。
クロスデータセット実験は性能劣化に悩まされるが、2つのデータセットの組み合わせでトレーニングされたユニークなモデルは、スタイル情報を効率的に保持することができる。
論文 参考訳（メタデータ） (2023-08-29T10:40:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。