論文の概要: Dynamic Harness Search: Building Multi-Agent Systems Per-Query via Prediction

• arxiv url: http://arxiv.org/abs/2610.04137v1
• Date: Fri, 02 Oct 2026 23:18:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-12 19:56:00.598512
• Title: Dynamic Harness Search: Building Multi-Agent Systems Per-Query via Prediction
• Title（参考訳）: Dynamic Harness Search:予測によるクエリごとのマルチエージェントシステムの構築
• Abstract要約: エージェントハーネスは、タスクの解決に使用される役割、命令、ツール、通信構造を指定する。 クエリごとのサーチループから実行を移動させるShiFTを導入する。 6つのベンチマークで9,193タスクにわたって、Shiftは平均精度が80%に達している。
• 参考スコア（独自算出の注目度）: 12.866016727776612
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agent harnesses specify the roles, instructions, tools, and communication structure used to solve a task, and the right harness depends on the query. Because the value of each design choice is observable only through execution, tailoring a harness to each query has required either executing alternatives at inference time or costly manual design. We introduce SHIFT, which moves execution out of the per-query search loop. A local LLM architect learns a policy over harness-building actions from search, and a value function that predicts, from measured executions, a utility balancing accuracy against execution cost. For each query, Monte Carlo tree search uses these predictions to construct a harness. Across 9,193 tasks in six benchmarks, from math to document and general-assistant tasks, with a Gemini 3.5 Flash executor, SHIFT attains the highest mean accuracy, about 80%, outperforming 17 baselines that span prompting, prompt optimization, and workflow search, and exceeding the strongest baseline by 7.2 percentage points. A cheaper mode of SHIFT also attains a higher mean accuracy than every baseline while using 32% fewer execution tokens than the strongest baseline. We further show that choosing structure, instructions, and tools jointly beats choosing only instructions or only tools by up to 9.1 percentage points, and that learned value selection identifies more accurate harnesses with lower execution cost from candidate pools.
• Abstract（参考訳）: エージェントハーネスはタスクの解決に使用される役割、命令、ツール、通信構造を指定し、適切なハーネスはクエリに依存する。 それぞれの設計選択の値は実行時にのみ観測可能であるため、各クエリへのハーネスの調整には、推論時に代替手段を実行するか、コストがかかる手動設計が必要になる。 クエリごとのサーチループから実行を移動させるShiFTを導入する。 ローカルLLMアーキテクトは、検索からハーネスビルディングアクションに関するポリシーと、測定された実行から、実行コストに対して精度のバランスをとるユーティリティー関数を予測するバリュー関数を学ぶ。 各クエリに対して、モンテカルロ木探索はこれらの予測を使用してハーネスを構築する。 Gemini 3.5 FlashエグゼキュータのShiFTは、9,193のタスクを6つのベンチマークで実行し、最大平均精度を約80%達成し、プロンプト、最適化、ワークフロー検索にまたがる17のベースラインを上回り、最強のベースラインを7.2%越えている。 より安価なShiftモードでは、最強のベースラインよりも32%少ない実行トークンを使用しながら、すべてのベースラインよりも平均精度が向上する。 さらに,構造,命令,ツールの選択が,最大9.1ポイントの命令やツールのみの選択を共同で上回り,学習した値の選択によって,候補プールからより少ない実行コストでより正確なハーネスが特定できることを示す。

関連論文リスト

• MESH-Harness: Self-Improving Agent Harnesses via Bandit-Guided Compositional Evolution [51.00839146188019]
  MESH-Harnessは、各ハーネスを明示的なロール固有のインターフェイスを持つ機能モジュールにまとめる。 Mixed-start coordinate ascentは、空間を列挙することなく、評価のための完全な構成を選択する。 繰り返しハーネス最適化はMESH-Harnessを5.63-7.79ポイント改善した。
  論文  参考訳（メタデータ） (2026-10-04T15:22:23Z)
• SHarP: Saliency-based Pruning of Agent Harnesses [55.076331468597594]
  Agentは、モデル呼び出し、ツールの使用、タスクの実行を調整することで、大規模な言語モデルが複雑なタスクを完了するのを助ける。 結果として、いくつかのハーネスモジュールが冗長であるかどうかは不明である。 ニューラルネットワークのプルーニングにインスパイアされた我々は、タスクパフォーマンスとトークンコストのバランスを改善する手段として、ハーネスプルーニングを研究した。
  論文  参考訳（メタデータ） (2026-10-03T00:41:14Z)
• Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems [67.04448659688579]
  クエリ非依存の16エントリのコードブックを開発し、上位のデコード候補を1回のバッチフォワードパスでランク付けする。 反復検索がなく、テスト時にメッセージパッシングがないため、Codebook Agentは6つのベンチマークでもっとも正確な方法である。
  論文  参考訳（メタデータ） (2026-09-02T08:10:22Z)
• Verify Smarter, Evolve Further: Efficient Harness Evolution through Behavior-Aware Verification [30.941867057615223]
  既存の提案と検証のメソッドは、固定されたタスクセットですべての候補をスコアします。 私たちは、自動化ハーネス進化のための予算対応フレームワークであるHarnessLensを紹介します。
  論文  参考訳（メタデータ） (2026-08-27T16:12:23Z)
• Task-Aware Harness Provisioning for LLM Agents in Mission-Critical Infrastructure Operations [15.581912094326638]
  既存のシステムは、すべてのタスクに同じ包括的なハーネスを公開します。 最適なハーネス構成を特定し、それを各タスクに必要なものとハーネスが提供するものとの間のリソースマッチング問題とみなす。 本稿では,地図誘導エスカレーションという新しいハーネスプロビジョニングアルゴリズムを提案する。タスク固有のハーネスから始まり,自己チェックの失敗後にのみフルプロビジョニングに拡張する。
  論文  参考訳（メタデータ） (2026-08-18T07:03:13Z)
• Do AI Agents Know When a Task Is Simple? Toward Complexity-Aware Reasoning and Execution [1.733151600403503]
  大規模言語モデル(LLM)エージェントは、ますます多段階のエンジニアリングと情報処理を自動化する。 彼らはしばしば、最大コンテキストファーストの戦略に従い、ファイルや依存関係を読み取り、一行の編集を小さなコードベースの監査に切り替える。 タスク対応型実行-スコープ推定の欠如を論じる。
  論文  参考訳（メタデータ） (2026-07-14T17:59:31Z)
• Tool-Aware Planning in Contact Center AI: Evaluating LLMs through Lineage-Guided Query Decomposition [2.8180871881371456]
  コンタクトセンターにおけるツール・アウェア・プラン生成のためのドメイン・グラウンド・フレームワークとベンチマークを提案する。 i) 基準ベースの計画評価フレームワークを2つのモードで動作させる: (i) 計量的評価器とワンショット評価器、および (ii) 評価器>最適化器ループを介して計画を反復的に洗練するデータ方法論である。
  論文  参考訳（メタデータ） (2026-02-16T17:36:05Z)
• AgentSwift: Efficient LLM Agent Design via Value-guided Hierarchical Search [58.98450205734779]
  大規模言語モデル(LLM)エージェントは、多様なドメインにまたがる強力な機能を示している。 既存のエージェントサーチ手法には3つの大きな制限がある。 これらの課題に対処するための包括的なフレームワークを導入します。
  論文  参考訳（メタデータ） (2025-06-06T12:07:23Z)
• BigCodeBench: Benchmarking Code Generation with Diverse Function Calls and Complex Instructions [72.56339136017759]
  BigCodeBenchは、大規模言語モデル(LLM)に対して、139のライブラリと7つのドメインから1140のきめ細かいタスクに対して、複数の関数呼び出しをツールとして呼び出すためのベンチマークである。 評価の結果,LLMは機能コールを正確に使用するための複雑な指示に従うことができず,スコアは最大60%,人的性能は97%と極めて低いことがわかった。 そこで本研究では,BigCodeBench-Instructという自然言語指向の変種を提案する。
  論文  参考訳（メタデータ） (2024-06-22T15:52:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。