論文の概要: Design and Cross-Domain Evaluation of an Agent Execution Harness

• arxiv url: http://arxiv.org/abs/2610.25568v1
• Date: Sun, 18 Oct 2026 22:08:15 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:21:43.408217
• Title: Design and Cross-Domain Evaluation of an Agent Execution Harness
• Title（参考訳）: エージェント実行ハーネスの設計とクロスドメイン評価
• Abstract要約: 変更可能な計画と実行レコードとを分離した元の目的を維持できるエージェント実行ハーネスを提案する。 プランナーはスコープ化されたタスクを割り当て、ワーカはアウトプットとアーティファクトを生成し、レビュアーは元の要求に対して結果を検査する。 端末タスク,臨床応答,アプリケーション構築,科学的質問に対する完全なハーネス構成を評価した。
• 参考スコア（独自算出の注目度）: 2.65387608112341
• License:
• Abstract: Completing complex tasks with language-model agents requires coordinating planning, execution, and review so the final result addresses the user's original objective. We present an agent execution harness that keeps the original objective separate from a revisable plan and an execution record. A planner assigns scoped tasks, workers produce outputs and artifacts, and a reviewer examines results against the original request before submitting or requesting additional work. Reusable domain-specific instructions guide these roles and are refined during construction using task inputs and execution trajectories, without official grading feedback. We evaluate complete harness configurations across terminal tasks, clinical responses, application building, and scientific questions. On Terminal-Bench 2.1, the harness passes 83 of 89 instances (93.26%); on HealthBench Professional, a Fable-configured system achieves a length-adjusted rubric score of 69.63 across 525 tasks. In a 53-task paired HealthBench comparison, the Fable-configured harness achieves an aggregate score 19.89 points higher than direct completion, despite a $-1.46$-point median task-level change; mean inference cost rises from \$0.29 to \$2.13 per task. We combine these outcomes with latency, documented instruction revisions, and reviewer decisions. Evaluating outcomes alongside execution trajectories and resource use clarifies how coordination supports task completion, where it introduces regressions, and at what cost.
• Abstract（参考訳）: 言語モデルエージェントで複雑なタスクを補完するには、計画、実行、レビューの調整が必要である。 変更可能な計画と実行レコードとを分離した元の目的を維持できるエージェント実行ハーネスを提案する。 プランナーはスコープ化されたタスクを割り当て、ワーカはアウトプットとアーティファクトを生成し、レビュアーは、追加の作業を提出または要求する前に、元の要求に対して結果を検査する。 再利用可能なドメイン固有の指示はこれらの役割をガイドし、公式のグレーディングフィードバックなしでタスク入力と実行軌跡を使用して構築中に洗練される。 端末タスク,臨床応答,アプリケーション構築,科学的質問に対する完全なハーネス構成を評価した。 Terminal-Bench 2.1では89インスタンス中83インスタンス(93.26%)をハーネスが通過し、HealthBench Professionalでは525タスクで長さ調整されたルーリックスコアが69.63である。 53タク対のHealthBench比較において、Fable構成のハーネスは、1タスク当たり平均推定コストが0.29ドルから2.13ドルに上昇する-1.46ドルの中央値のタスクレベル変更にもかかわらず、直接完了よりも19.89ポイント高いスコアを達成している。 これらの結果とレイテンシ、ドキュメント化された命令修正、レビュアーの決定を組み合わせる。 実行トラジェクトリとリソース使用の併用による結果の評価は、調整がタスク完了をどのようにサポートするか、レグレッションを導入し、どのコストがかかるかを明確にする。

関連論文リスト

• Interlock: From Local Correctness to Task Completion in Long-Horizon Agents [26.058892330854793]
  我々は,各タスクを型付き補完グラフとして表現するタスク合成のためのフレームワークであるInterlockを提案する。 接地エッジは公共の証拠を決定に結び付け、結合ハイパーエッジはコンポーネント間の共同制約を課し、実現エッジは決定を必要下流効果に結び付ける。 ソースカバレッジレビューは、元の要件が生成されるかどうかをチェックし、パブリックインプットレビューは、ルーリックが解決者に利用可能な材料によってサポートされているかどうかをチェックする。 エージェント・アズ・ジャッジは実行成果物を検査し、検証スクリプトを実行する。
  論文  参考訳（メタデータ） (2026-10-14T07:09:46Z)
• SkillHorizon: Constructing Long-Horizon Agent Tasks through Skill Composition [52.51270668013944]
  ロングホライゾンエージェントは、後のアクティビティが以前の出力と共有状態の変更に依存するように完了しなければならない。 SkillHorizonは、7つのビジネス環境でのスキル構成を通じて長期タスクを構築するベンチマークである。 我々は,64Kから1Mトークンの参照インタラクションワークロードを用いた1,050タスクの5つの言語モデルを評価する。
  論文  参考訳（メタデータ） (2026-10-10T14:36:39Z)
• ASIWorld: Benchmarking Autonomous Agents in a Persistent Survival Sandbox [6.888223145930531]
  自律的なエージェントを評価するには 目標を協調行動に 変換できるかどうかを調べる必要がある 我々は、持続的世界とキャラクタ状態とキャラクタスコープによる観察を組み合わせたサバイバルサンドボックスであるASIWorldを紹介した。 評価は、タスク成功、開発達成の達成、生存コストを評価する。
  論文  参考訳（メタデータ） (2026-10-10T10:59:36Z)
• Long-Horizon-Terminal-Bench 2.0: Automating Diverse Task Construction and Measuring Sustained Agent Progress [59.76726249334829]
  本稿では,LHTB 2.0(Long-Horizon-Terminal-Bench 2.0)について述べる。 LHTB 2.0は46のタスクを保存し、タスクと評価インフラの欠陥を修正し、31のタスクを拡張する。 拡張されたタスクは、体系的な再構築タスクパイプラインを通じて生成される。
  論文  参考訳（メタデータ） (2026-10-09T15:22:53Z)
• AgentHorizon: Evaluating Agentic Judges for Long-Horizon Computer-Use Tasks [67.28108897589799]
  AgentHorizonは、1,373のコンピュータ利用タスクのベンチマークである。 同様の(しかし互換性のない)要求を完了したのと、成功した軌道を区別する能力について、審査員を評価した。 我々の最高のエージェント・ジャッジであるGPT-5.5は、AHサブセット上で80.9%のバランスの取れた精度を達成する。
  論文  参考訳（メタデータ） (2026-10-08T01:03:48Z)
• Earth-Agent-Pro: Towards Real-World Full-Chain Earth Observation with Agents [41.45703910271276]
  実世界の地球観測(EO)エージェントは、高レベルの科学的質問を実行可能なものに翻訳しなければならない。 Earth-Bench-Proは、専門家による248のタスクコアを、マッチした3つの体制の下で744の質問としてインスタンス化する。 GPT-5のバックボーンを共有することで、Earth-Agent-Proは66.13%のLDM-as-Judge精度を達成している。
  論文  参考訳（メタデータ） (2026-09-11T07:41:36Z)
• Task-CoEvolve: Efficient Harness Optimization via Adaptive Validation Task Selection [51.39973047614183]
  本稿では,適応型検証タスク選択によるLLMの効率向上のための新しい手法を提案する。 $textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTaskは、情報的タスクの選択と、部分的な評価からフルセットのパフォーマンスの推定という2つの課題に対処することで、ハーネスでバリデーションタスクを共進化させる。
  論文  参考訳（メタデータ） (2026-08-20T15:24:54Z)
• Learning Compositional Meta-Routing for Agentic Workflows: An Executable Benchmark [0.0]
  本稿では,タスクテキストからヘテロジニアスな操作を構成する,実行可能ベンチマークと予算対応メタルータを紹介する。 結果: 学習成功率は75.9%、静的ルーティングは93.5%、残る49%が安価で34.3ポイントを超える。
  論文  参考訳（メタデータ） (2026-07-31T07:00:49Z)
• Change2Task: From Repository Changes to Executable Coding Agent Tasks and Environments [46.958911818255565]
  Change2Taskは、統合されたプルリクエストを、同じリポジトリの健全なモダンなリビジョンに関する検証されたタスクに変換する。 歴史的証拠を進化したコードと整合させ、パッチリバーサル、コードマッピング、エージェント再構築を通じてタスク状態を再構築する。 本システムは,バグフィックス,機能追加,テスト生成,アプリケーションプログラミングインタフェースのマイグレーション,セキュリティ修復という,広く普及している5つのプログラミングエージェントタスクファミリを通じて評価する。
  論文  参考訳（メタデータ） (2026-07-30T17:44:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。