論文の概要: Finding the Right Fit: Model-Harness Interactions across Agent Tasks

• arxiv url: http://arxiv.org/abs/2610.00917v1
• Date: Thu, 01 Oct 2026 01:49:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.844301
• Title: Finding the Right Fit: Model-Harness Interactions across Agent Tasks
• Title（参考訳）: 正しいフィットを見つける:エージェントタスク間のモデル-ハーネス相互作用
• Abstract要約: 4つのハーネス(OpenHands, DeepSeek Harness, PI, openJiuwen)とTUA-Bench, ALE-CLI, Terminal-Bench 4の5つのモデルを組み合わせた66の構成を評価した。 5つのモデルのうち4つのモデルでは、最高のハーネスが1つのベンチマークから別のベンチマークに変更されるが、いくつかのペアリングは保持される。
• 参考スコア（独自算出の注目度）: 27.66428507366024
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Choosing an agent system means choosing both a language model and the harness through which it acts. We ask whether a strong model, harness, or pairing stays strong when the setting changes. We evaluate 66 configurations: four configurable harnesses (OpenHands, DeepSeek Harness, PI, and openJiuwen) paired with five models on TUA-Bench, ALE-CLI, and Terminal-Bench 4, plus the native Codex-GPT and Claude Code-Claude pairings. Model rankings reverse across harnesses. On Terminal-Bench 4, Claude leads GPT by 7.94 points in OpenHands but trails it by 30.16 points in PI. For four of the five models, the best harness changes from one benchmark to another, yet some pairings hold: openJiuwen gives Kimi its highest score on all three benchmarks, by 5.61 to 11.11 points. A model's own vendor harness is not reliably its best, and higher cost does not reliably buy a higher score. On Terminal-Bench 4, GPT scores higher under PI than under DSH at less than a quarter of the cost per task. Matched trajectories suggest why fit varies. Models start almost all repairs themselves, so much depends on whether the harness hands failures back in a form the model can use. GPT does best with PI's lean scaffold, while Kimi, which often issues malformed tool calls, does best in openJiuwen. We argue that the model, the harness, and the task should be evaluated together, and we release the harness adapters, evaluation code, and all 6,204 scored trajectories at https://github.com/liyix/finding-the-right-fit and https://huggingface.co/datasets/yixuanli97/finding-the-right-fit.
• Abstract（参考訳）: エージェントシステムを選択することは、それが作用する言語モデルとハーネスの両方を選択することを意味する。 設定が変わったとき、強いモデル、ハーネス、ペアリングが強いままなのかを問う。 構成可能な4つのハーネス(OpenHands, DeepSeek Harness, PI, openJiuwen)とTUA-Bench, ALE-CLI, Terminal-Bench 4の5つのモデルと、ネイティブのCodex-GPTとClaude Code-Claudeのペアリングを組み合わせた66の構成を評価した。 モデルランキングはハーネスをまたいで逆転する。 ターミナル・ベンチ4では、クロードはOpenHandsで7.94ポイントリードしたが、PIで30.16ポイントリードしている。 5つのモデルのうち4つのモデルにおいて、最高のハーネスは1つのベンチマークから別のベンチマークに変更されるが、いくつかのペアリングは成り立つ: openJiuwenはキミに3つのベンチマークで5.61から11.11ポイントのスコアを与えている。 モデル自身のベンダーハーネスは、確実にベストではなく、より高いコストは、確実により高いスコアを取得することはない。 Terminal-Bench 4 では、GPT は DSH よりも PI 以下で、タスク当たりのコストの 4 分の1 以下である。 一致した軌道は、なぜ適合が変化するのかを示唆している。 モデルはほぼすべての修理を開始するので、ハーネスハンドがモデルが使用可能な形で復帰するかどうかに大きく依存する。 GPTはPIのリーンな足場で最善を尽くし、しばしば不正なツールコールを発行するKimiはopenJiuwenで最善を尽くします。 モデル、ハーネス、タスクは一緒に評価されるべきであり、ハーネスアダプタ、評価コード、および6,204点のトラジェクトリをhttps://github.com/liyix/finding-the-right-fitとhttps://huggingface.co/datasets/yixuanli97/finding-the-right-fitでリリースする。

関連論文リスト

• Mid-Harness: Scaling Actions Between Model and Harness for Terminal Agents [61.74117371826514]
  モデルハーネス境界におけるテスト時間計算の割り当ては,動作信頼性と軌道上の成功率を向上させることができるかを検討する。 実行前に候補アクションをサンプリングし、検証するMid-Harnessを紹介します。
  論文  参考訳（メタデータ） (2026-09-30T15:40:39Z)
• MoMHa: Multi-Objective Optimization of LLM Harnesses over Accuracy, Safety, and Tokens [9.261624868201638]
  我々は、プロンプト、ルート呼び出し、パースアウトプットを構成するモデルを取り巻くPythonのコードであるハーネスが、本質的にはマルチオブジェクトであるファーストクラスのデザインサーフェスであると主張している。 本稿では,ドメインごとの3つの目的(精度,行動安全,トークンコスト)をエージェント提案者によって探索するシステムであるMeta-Harnessを提案する。
  論文  参考訳（メタデータ） (2026-09-25T08:16:56Z)
• JIT-Agent: Scaling Harness Intelligence via Just-in-Time Harness Evolution [74.58840188662151]
  JIT-Agentは、タスク適応エージェントハーネスをオンザフライで合成するために訓練されたハーネスインテリジェンスモデルである。 JIT-Agentは、ジャスト・イン・タイムのハーネス生成のために構築された最初のモデルである。
  論文  参考訳（メタデータ） (2026-08-26T10:05:33Z)
• There Is No Neutral Harness: Modern LLM Leaderboards Are Manufactured by Config-Fragile Items [1.14219428942199]
  複数選択ベンチマークは、質問と正しい答えを修正しますが、ハーネスではありません。 スコアのばらつきを報告し、そのばらつきがどの項目に該当するかを未検討のままにし、それらが次のモデルから切り離した項目であるかどうかを報告する。 12のオープンウェイト命令チューニングLDMが4つのベンチマークから同じ3,679の項目に回答する。
  論文  参考訳（メタデータ） (2026-07-17T00:28:29Z)
• The Scaffold Effect in Coding Agents: Harness Choice as a Hidden Variable in Coding-Agent Evaluation [0.0]
  Qwen 3.6 PlusとMiniMax M2.5を3つのオープンソースハーネスで評価した。 ハーネスの選択は、解決されたタスク毎のトークンの最大40倍の違いを誘導する。 トークン/レイテンシー予算の下で、パスレートでハーネスモデルペアを選択することを推奨する。
  論文  参考訳（メタデータ） (2026-06-08T20:27:06Z)
• HyDRA: Hybrid Dynamic Routing Architecture for Heterogeneous LLM Pools [2.0320563270126493]
  我々は,クエリ毎の細粒度,多次元能力要件を予測するフレームワークHyDRAを提案する。 ショートフォールマッチングアルゴリズムは、予測された要求を満たす機能を持つ最も安価なモデルを選択する。 このフレームワークは、GitHub CopilotのVS Code Chat自動モードのすべてのユーザにデプロイされる。
  論文  参考訳（メタデータ） (2026-05-16T18:19:30Z)
• Meta-Harness: End-to-End Optimization of Model Harnesses [52.31507076660471]
  本稿では,大規模言語モデル(LLM)アプリケーションのためのコード検索を行う外部ループシステムであるMeta-Harnessを紹介する。 オンラインテキスト分類では、Meta-Harnessは4倍少ないコンテキストトークンを使用しながら、最先端のコンテキスト管理システムを7.7ポイント改善する。 検索強化数学推論では、200 IMOレベルの問題の精度を5つの保留モデルの平均4.7ポイント向上する。
  論文  参考訳（メタデータ） (2026-03-30T05:33:50Z)
• Phi-Ground Tech Report: Advancing Perception in GUI Grounding [55.44475003199647]
  textbfPhi-Groundモデルファミリは、5つのグラウンドベンチマークで最先端のパフォーマンスを達成する。 textittextbf43.2 on ScreenSpot-pro と textittextbf27.2 on UI-Vision
  論文  参考訳（メタデータ） (2025-07-31T17:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。