論文の概要: Vestrum: Improving Agent Harnesses by Adapting Their Verification, Structure and Memory
- arxiv url: http://arxiv.org/abs/2609.33822v1
- Date: Sun, 27 Sep 2026 18:20:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-04 16:32:12.522643
- Title: Vestrum: Improving Agent Harnesses by Adapting Their Verification, Structure and Memory
- Title（参考訳）: Vestrum: 検証,構造,記憶に適応することで,エージェントのハーネスを改善する
- Abstract要約: エージェントは、言語モデルがどのように情報にアクセスし、ツールを使用し、メモリを保存し、その作業をチェックするかを制御する。
Vestrumは、実行中の障害トレースをタスクモデルをトレーニングせずにスコープ付きハーネス変更に変換するフレームワークです。
- 参考スコア（独自算出の注目度）: 3.9869112484157037
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: An agent harness controls how a language model accesses information, uses tools, preserves memory, and checks its work. Improving this software is costly when each evaluation requires a long interaction with an environment. We introduce Vestrum, a framework that turns failures in execution traces into scoped harness changes without training the task model. Its organizing overhypothesis is that tasks of a shared kind may exhibit recurring failures whose remedies transfer within that kind. Vestrum expresses failures as recognizable classes, proposes changes across verification, retrieval, decomposition, and knowledge synthesis, and screens their scope before evaluating them as a bundle. A persistent lessons file informs subsequent proposals. Across five settings and two baseline harnesses, the frozen harnesses improve held-out performance: UltraHorizon rises from 47.6 to 59.8 over GAM, Terminal-Bench 4 Hard from 63.7% to 70.3% of checks passed over Claude Code on eight held-out tasks at 1.03x test cost, and cell-type annotation agreement from 67.5% to 77.8% on held-out sections of one slide, alongside gains on LoCoMo and AMA-Bench. Across our searches, verification grounded in evidence helped both intermediate steps and final answers, at lower cost at intermediate steps, while critics asked to rebuild finished answers broke more than they repaired. On the three memory benchmarks, Vestrum also scores above the evaluated GEPA configurations in every paired evaluation.
- Abstract（参考訳）: エージェントは、言語モデルがどのように情報にアクセスし、ツールを使用し、メモリを保存し、その作業をチェックするかを制御する。
このソフトウェアの改善には、各評価が環境との長時間のインタラクションを必要とする場合、コストがかかる。
Vestrumは、実行中の障害トレースをタスクモデルをトレーニングせずにスコープ付きハーネス変更に変換するフレームワークです。
その組織的な過剰な仮説は、共有種のタスクは、その種類の移行を修復する繰り返し失敗を示す可能性があるということである。
Vestrumは失敗を認識可能なクラスとして表現し、検証、検索、分解、知識合成にまたがる変更を提案し、バンドルとして評価する前にスコープをスクリーニングする。
永続的なレッスンファイルは、その後の提案を通知する。
ウルトラホライゾンはGAMで47.6から59.8に上昇し、ターミナルベンチ4ハードは63.7%から70.3%に上昇し、クロードコードでは8つのホールトアウトタスクを1.03倍のコストで実行し、セルタイプのアノテーション合意は67.5%から77.8%に向上した。
調査全体を通じて、証拠を裏付けた検証は、中間ステップと最終回答の両方を、中間ステップで低コストで行うのに役立った。
3つのメモリベンチマークでは、Vestrumはペア評価毎に評価されたGEPA構成よりも高いスコアを示している。
関連論文リスト
- When Users Change Their Minds: Measuring and Repairing Intent Drift in LLM Agents [8.007546058619656]
LLMエージェントは、ユーザが実行前に変更するマルチターンインタラクション上で動作する。
ユーザの意図に取って代わられた部分が最終回答やツールアクションに影響を与え続ける障害モードについて検討する。
論文 参考訳（メタデータ） (2026-09-26T12:03:54Z) - Security Tests as Executable Specifications for LLM Code Generation: Benefits, Trade-offs, and Coverage Limits [14.44743150931186]
テストが事前に表示されるか、失敗した実行がリビジョンを引き起こすか、失敗が選択され、どのように表現されるかの3つの要素を分離する、制御されたテストフィードバックの足場を開発する。
2,705の軌道、31のタスクインスタンス、3つのセキュアコードベンチマーク、16のCWEカテゴリ、2つのモデルファミリがあり、すべての目に見えるテストが前もって隠れた機能とセキュリティのジョイントの成功を平均19.3%増加させている。
共有候補比較では、構造化されたフィードバック修復は、当初、共同回帰のない80の候補が失敗し、固定された生フィードバック修復83は3つの回帰を引き起こす。
論文 参考訳（メタデータ） (2026-08-10T15:37:09Z) - SearchAuditor: Auditing and Attributing Failures in Long-Horizon Search Agents [56.400332595452966]
我々は、監査人が検索エージェントの障害をローカライズ、属性付け、修復できるかどうかを評価するベンチマークであるSearchAuditBenchを紹介する。
SearchAuditBenchは1,243の障害トラックで構成され、平均73.1メッセージと65.1Kトークンを5つのディープサーチベンチマークで8つのオープンウェイトモデルから収集している。
本稿では,検索エージェントの障害を効果的にローカライズ,属性,修復するマルチパースペクティブ監査フレームワークであるSearchAuditorを提案する。
論文 参考訳（メタデータ） (2026-08-05T09:09:00Z) - Validation Evidence in LLM Repair Agents: How Much of What Passes Actually Tests the Bug? [1.6787220460106658]
BSG-VAは、各バリデーションコマンドをその正確な作業ツリー状態にキャプチャし、テストのみのパッチを抽出し、元のバギーコードでコマンドを再生する。
キャプチャされた結果とリプレイ結果は、ゴールドアラインのバグ識別からレグレッションのみ、誤解を招くまで、すべてのイベントにエビデンスの役割を割り当てます。
エージェントにB-replay結果を返すかどうかを3本腕で実験すると、このパターンが変わる。
論文 参考訳（メタデータ） (2026-07-30T22:32:14Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳（メタデータ） (2026-07-17T17:41:16Z) - EviACT: An Evidence-to-Action Framework for Agentic Program Repair [21.78498442884825]
EviACTは、3つのエビデンス駆動ガードレールを修復段階にわたって調整するエージェントAPRフレームワークである。
最強の報告されたベースラインよりも1.6-6.0ポイントのリゾルバ率を改善する。
ベースラインコストが利用可能なバグ毎のAPIコストは70.1-88.6%低下している。
論文 参考訳（メタデータ） (2026-05-26T16:17:47Z) - MAIGO: Mitigating Lost-in-Conversation with History-Cleaned On-Policy Self-Distillation [51.32912774464992]
大規模な言語モデルは、しばしば完全に指定されたプロンプトからタスクを解くが、同じ要求が複数のターンに広がると分解する。
本研究は, モデル自体の方針から, 履歴をクリアした基準を用いて汚染を低減させる, オンライン自己蒸留法であるMAIGOを提案する。
ミドルターンの場合、MAIGOは、ユーザ可視のシャードプレフィックスを保持しながら、事前のアシスタント応答を削除します。
論文 参考訳（メタデータ） (2026-05-26T15:38:46Z) - ImplicitMemBench: Measuring Unconscious Behavioral Adaptation in Large Language Models [60.14219417402433]
LLMエージェントの既存のメモリベンチマークは、事実の明示的なリコールを評価するが、意識的な検索なしに、経験が自動的な振る舞いになる暗黙の記憶を見落としている。
IndicitMemBenchは、非宣言的メモリの標準的な認知科学のアカウントから引き出された3つの構造を通して暗黙的メモリを評価する最初の体系的なベンチマークである。
当社の300イテムスイートでは,初動採点を備えたLearning/Priming-Interfere-Testプロトコルを統一しています。
論文 参考訳（メタデータ） (2026-04-09T10:26:32Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。