論文の概要: Composing Task-specific Agent Harnesses at Test Time with Reusable Primitives
- arxiv url: http://arxiv.org/abs/2609.38912v1
- Date: Wed, 30 Sep 2026 03:57:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.153922
- Title: Composing Task-specific Agent Harnesses at Test Time with Reusable Primitives
- Title（参考訳）: 再使用可能なプリミティブを用いたテスト時間におけるタスク固有エージェントハーネスの構成
- Abstract要約: エージェントハーネスは、大規模言語モデルがどのようにコンテキストを収集し、ツールを実行し、結果を検証し、状態を保存し、終了するかを管理する。
本稿では、Harness Primitivesを導入し、アプリケーションのスコープを明確にした再利用可能なハーネス機構と、故障したタスク軌跡から抽出したコンポジション契約について紹介する。
本稿では、Harness Primitivesに基づいて、タスク情報に対して適切なプリミティブを選択し、テスト時にTask-speCific HarnessesにコンパイルするフレームワークSTITCHを提案する。
- 参考スコア（独自算出の注目度）: 30.825421849275184
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Agent harnesses govern how large language models (LLMs) gather context, invoke tools, verify results, preserve state, and terminate, largely affecting agent performance. However, the value of each harness mechanism can differ across heterogeneous tasks: a mechanism that improves one task may impose overhead or context distraction on another, leading to the suboptimality of a global harness. We characterize this suboptimality as a mismatch induced by fixed mechanism choices, motivating task-specific harness construction. Nonetheless, generating harness code for each task introduces generation and debugging costs, with execution risks that can compound as more mechanisms are generated. To address those challenges, we introduce Harness Primitives, reusable harness mechanisms with clear application scope and composition contract mined from failed task trajectories. Based on Harness Primitives, we propose STITCH, a framework that Selects suitable primitives given Task Information and compiles them into Task-speCific Harnesses at test time. This separation enables task-specific harnesses without generating or repairing mechanism code at test time. Extensive experiments demonstrate that STITCH not only improves harness adaptability and robustness, but also scales with the primitive library size, boosting task success rates by up to 12 points over fixed harness baselines, surpassing human-designed harnesses like Codex CLI while maintaining a minimal test-time harness composition overhead of only 2.7%, 638 times more efficient than generating task-specific harnesses from scratch. Ultimately, our work demonstrates that building task-adaptive harnesses can be beneficial for completing diverse tasks and that building reusable primitives can be a promising path towards this goal.
- Abstract（参考訳）: エージェントハーネスは、大規模言語モデル(LLM)がコンテキストを収集し、ツールを実行し、結果を確認し、状態を保存し、終了し、エージェントのパフォーマンスに大きく影響する。
しかし、各ハーネス機構の値は異種タスクによって異なることがある: あるタスクを改善するメカニズムは、別のタスクにオーバーヘッドやコンテキストの中断を課し、グローバルハーネスの亜最適性をもたらす。
我々は、この亜最適性を、固定されたメカニズム選択によって引き起こされるミスマッチとして特徴付け、タスク固有のハーネス構築を動機付けている。
それでも、各タスクのためのハーネスコードの生成には、より多くのメカニズムが生成されると複雑な実行リスクが伴う、生成とデバッグのコストが伴う。
これらの課題に対処するために、Harness Primitivesを導入し、アプリケーションのスコープを明確にした再利用可能なハーネス機構と、故障したタスク軌跡から抽出したコンポジション契約について紹介する。
本稿では、Harness Primitivesに基づいて、タスク情報に対して適切なプリミティブを選択し、テスト時にTask-speCific HarnessesにコンパイルするフレームワークSTITCHを提案する。
この分離により、テスト時にメカニズムコードを生成または修復することなく、タスク固有のハーネスが実現される。
大規模な実験では、STITCHはハーネス適応性と堅牢性を向上するだけでなく、プリミティブライブラリのサイズでスケールし、固定ハーネスベースラインよりも最大12ポイントのタスク成功率を向上し、Codex CLIのような人間設計のハーネスを越えながら、タスク固有のハーネスをスクラッチから生成するよりも2.7%、638倍効率の最小限のテスト時間ハーネス構成のオーバーヘッドを維持している。
究極的には、タスク適応型ハーネスの構築は、多様なタスクを完了するのに有益であり、再利用可能なプリミティブを構築することが、この目標への有望な道であることを示している。
関連論文リスト
- Verify Smarter, Evolve Further: Efficient Harness Evolution through Behavior-Aware Verification [30.941867057615223]
既存の提案と検証のメソッドは、固定されたタスクセットですべての候補をスコアします。
私たちは、自動化ハーネス進化のための予算対応フレームワークであるHarnessLensを紹介します。
論文 参考訳（メタデータ） (2026-08-27T16:12:23Z) - Task-CoEvolve: Efficient Harness Optimization via Adaptive Validation Task Selection [51.39973047614183]
本稿では,適応型検証タスク選択によるLLMの効率向上のための新しい手法を提案する。
$textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTaskは、情報的タスクの選択と、部分的な評価からフルセットのパフォーマンスの推定という2つの課題に対処することで、ハーネスでバリデーションタスクを共進化させる。
論文 参考訳（メタデータ） (2026-08-20T15:24:54Z) - FACET: Preserving Source Intent and Executable State in Terminal Task Synthesis [37.074035615771066]
FACET(Fine-fine Agentic Construction of Executable Tasks)は、情報保存とクロスアーティファクトの整合性に対処するフレームワークである。
関連するエージェントスキルを一貫性のある情報豊富なシナリオに再構築し、実行環境を実現し、修復する。
複雑な端末タスクを高密度な実行可能チェックで生成し、これらのタスクから収集された軌道は、効果的なデータ効率の監視を提供する。
論文 参考訳（メタデータ） (2026-08-19T06:19:20Z) - Task-Aware Harness Provisioning for LLM Agents in Mission-Critical Infrastructure Operations [15.581912094326638]
既存のシステムは、すべてのタスクに同じ包括的なハーネスを公開します。
最適なハーネス構成を特定し、それを各タスクに必要なものとハーネスが提供するものとの間のリソースマッチング問題とみなす。
本稿では,地図誘導エスカレーションという新しいハーネスプロビジョニングアルゴリズムを提案する。タスク固有のハーネスから始まり,自己チェックの失敗後にのみフルプロビジョニングに拡張する。
論文 参考訳（メタデータ） (2026-08-18T07:03:13Z) - $A^2E$ : An End-to-End Agent Auditing Engine [25.281617098281277]
A2E$はエージェントハーネス用に設計されたエンドツーエンドの評価エンジンである。
実験中に標準化された実行トレースをキャプチャして生成する。
A2E$は多次元メトリクスのスイートを使用してハーネス機能を評価する。
論文 参考訳（メタデータ） (2026-08-07T15:44:12Z) - MemoHarness: Agent Harnesses That Learn from Experience [46.167787606315585]
私たちはMemoHarnessを紹介した。MemoHarnessは適応型ハーネス最適化フレームワークで、独自の実行から学習する。
MemoHarnessは、ハーネスを6つの編集可能なコントロールディメンションに分解し、ケースごとの診断と蒸留されたグローバルパターンを二重層体験バンクに格納する。
MemoHarnessは、シェルエージェント、コードジェネレーション、分析推論ベンチマークを対象とし、私たちが比較した固定ハーネスよりも改善し、目に見えないスイートやベースモデルへの選択的移行を示す。
論文 参考訳（メタデータ） (2026-07-14T21:22:18Z) - TTHE: Test-Time Harness Evolution [50.26245555541721]
既存のアプローチでは、デプロイ前、トレーニング前、あるいはテスト時に凍結される固定されたエージェントワークフローの開発データを最適化する。
我々は、エージェントがテスト入力で生成するラベルのない実行トレースのみを使用して、評価自体にハーネスを最適化できるかどうかを問う。
評価中、TTHEは候補ハーネスの人口を維持し、それらの実行トレースの理由をエージェントプロジェクタを通じてそれらを洗練する。
その後、審査員は実行元プロキシ信号から改善されたハーネスをコミットし、選択したプログラムは継続してその後の入力を統治する。
論文 参考訳（メタデータ） (2026-07-09T05:53:39Z) - RoboWits: Unexpected Challenges for Robotic Creative Problem Solving [58.58727722988084]
我々は、認知的推論、創造的ツールの使用、予期しない状況に対する堅牢性を評価するために設計された、双方向のロボットベンチマークであるRoboWitsを紹介する。
このパイプラインを用いて,30種類の種タスクと208のタスクを,幾何学的,物質的,集合的推論にまたがる変異と難易度でキュレートした。
プレトレーニングされたVLAは,単一タスクの微調整後にシードタスクに予備的な成功を示すが,変異タスクの実行に苦慮している。
論文 参考訳（メタデータ） (2026-05-28T17:57:15Z) - Scaling Code-Assisted Chain-of-Thoughts and Instructions for Model Reasoning [65.20602712957725]
Cacoは、高品質で検証可能な多様な命令-CoT推論データの合成を自動化する新しいフレームワークである。
我々の研究は、人間の介入なしに自己持続的で信頼できる推論システムを構築するためのパラダイムを確立します。
論文 参考訳（メタデータ） (2025-10-05T07:59:24Z) - Localizing Task Information for Improved Model Merging and Compression [61.16012721460561]
我々は,各タスクの重み付けが重なり合わないことが多いため,各タスクがマージされた後も,各タスクの解決に必要な情報が保存されていることを示す。
本稿では,そのような重みを排除し,既存のモデルマージ手法の一般的な性能を改善するアルゴリズムであるConsensus Mergingを提案する。
論文 参考訳（メタデータ） (2024-05-13T14:54:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。