論文の概要: Towards Portable Specification of the Agent Harness
- arxiv url: http://arxiv.org/abs/2610.40917v1
- Date: Thu, 29 Oct 2026 19:43:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 22:05:31.481475
- Title: Towards Portable Specification of the Agent Harness
- Title（参考訳）: エージェントハーネスのポータブル仕様に向けて
- Abstract要約: ハーネスを8つの機能コンポーネントに分解し、システム間で仕様や比較を行う。
我々は、どのモデルがどのハーネスで実行されているかを記録できるポータブル仕様フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models act only through the infrastructure that surrounds them. That infrastructure, the harness, determines what a model can accomplish and how it fails, yet it has no settled definition. To address this gap, we decompose the harness into eight functional components that can be specified and compared across systems, and we propose a portable specification framework that records which model ran in which harness. The record is needed because different harness configurations can yield several-fold differences in reported scores for the same model, and because much of an agent's attack surface lies in its harness. Existing model cards and agent cards provide release and operational information, but do not establish the sequence of effective configurations within a run. Harnesses can change between releases and between runs, and, where agents edit their own tools and configuration, within a run. Enacted AI laws contain documentation duties relevant to covered systems, subject to their respective scopes and application dates, but do not prescribe the common harness record proposed here. Therefore, the harness has to be explicitly described and specified as a versioned part of the system.
- Abstract（参考訳）: 大規模な言語モデルは、それらを取り巻くインフラストラクチャを通してのみ機能する。
そのインフラストラクチャ、すなわちハーネスは、モデルが何を達成し、どのように失敗するかを決定するが、明確な定義は持っていない。
このギャップに対処するために、ハーネスを8つの機能コンポーネントに分解し、システム間で特定・比較できるようにし、ハーネスがどのモデルで実行されているかを記録するポータブルな仕様フレームワークを提案する。
この記録は、異なるハーネス構成が同じモデルに対して報告されたスコアに数倍の違いをもたらす可能性があることと、エージェントの攻撃面がハーネス内にあるためである。
既存のモデルカードとエージェントカードは、リリースと運用に関する情報を提供するが、実行中に効果的な設定のシーケンスを確立することはできない。
ハーネスはリリースと実行の間、エージェントが自身のツールや設定を編集する場所を、実行内で変更することができる。
制定されたAI法には、カバーシステムに関連するドキュメントの義務が含まれており、それぞれのスコープと適用日は規定されているが、ここで提案される一般的なハーネス記録は規定されていない。
したがって、ハーネスは明示的に記述され、システムのバージョン付きの部分として指定されなければならない。
関連論文リスト
- Pairing Matters: Performance, Failures, and Efficiency in Lightweight Coding Agents [9.713706982318447]
自己ホスト型コーディングエージェントは、プロプライエタリなコードと開発トレースを制御されたインフラストラクチャ内に保持しなければならないソフトウェアエンジニアリングチームにとって、しばしば必要である。
軽量でオープンなモデルは、ハードウェア要件を減らすことで、そのようなデプロイメントをより実現可能にする。
我々は,100のSWE-bench検証タスクを対象とした6つのオープンソースハーネスと3つの軽量コーディングモデルのフルファクター評価により,ハーネス-モデル相互作用を評価する。
論文 参考訳（メタデータ） (2026-10-23T03:57:58Z) - AlphaDiana: A Measurement System for Agents in Verifiable Reasoning Tasks [70.52860945958031]
我々は、データセット、エージェント、環境、スコアラーの計測システムであるAlphaDianaを紹介する。
5つの回答ベースベンチマークで3つのオープンソースモデルと3つのオープンソースハーネスについて検討する。
ハーネスは推論の精度を常に改善しないことがわかった。
論文 参考訳（メタデータ） (2026-10-14T14:04:48Z) - HarnessDev: Can LLMs Create and Evolve Their Own Agent Harness? [61.02699867449589]
評価単位をタスク出力から実行インフラストラクチャにシフトするベンチマークであるHarnessDevを紹介します。
Creationでは、エージェントは最小限のシードと少数のケースから始まり、完全な実行システムを構築する。
Evolutionでは、独自のハーネスから始まり、ベンチマークのパフォーマンス向上を目標として、下流の実行フィードバックを使用して反復的に修正する。
論文 参考訳（メタデータ） (2026-09-01T15:45:33Z) - JIT-Agent: Scaling Harness Intelligence via Just-in-Time Harness Evolution [74.58840188662151]
JIT-Agentは、タスク適応エージェントハーネスをオンザフライで合成するために訓練されたハーネスインテリジェンスモデルである。
JIT-Agentは、ジャスト・イン・タイムのハーネス生成のために構築された最初のモデルである。
論文 参考訳（メタデータ） (2026-08-26T10:05:33Z) - Harness Handbook: Making Evolving Agent Harnesses Readable,Navigable, and Editable [46.2784020602283]
本稿ではハーネスから自動的に合成された行動コンテキスト中心の表現であるHarness Handbookを紹介する。
また,BGPD(Behaviment-Guided Progressive Disclosure)についても紹介する。
2つのオープンソースハーネスからの多様な修正要求に対して、ハンドブック支援プランニングは、振る舞いのローカライゼーションと編集計画の品質を改善している。
論文 参考訳（メタデータ） (2026-07-14T21:39:55Z) - Dissecting model behavior through agent trajectories [15.811597127775812]
私たちはインテント・エグゼクティブのギャップを形式化し、モデルが意図するものと、ハーネスが実行しているものとのミスマッチと、その逆です。
このハーネスモデルアライメントの効果を説明するために,SSA(Simple Strands Agent)と呼ばれるシンプルでカスタマイズ可能なハーネスを開発した。
i) 一般的なエージェントベンチマークにおいて,多種多様なモデルプロジェクタファミリーが報告したpass@1のパフォーマンスを再現または改善し, (ii) SSAが生成した128k軌道の解析に基づいて構築する。
論文 参考訳（メタデータ） (2026-06-16T03:17:03Z) - Stop Comparing LLM Agents Without Disclosing the Harness [26.11566311050969]
このポジションペーパーでは、同等のフロンティア能力を持つモデル間で評価された長時間水平タスクに対して、エージェント実行ハーネスは、ラップするモデルよりもエージェントパフォーマンスの強い決定要因である、と論じている。
本稿では,BingConstraint分散の形式化と保護を行う。この体制では,性能はモデル選択よりもハーネス構成により制御され,現在の評価プロトコルはモデル改善にハーネスレベルの利得を体系的に誤っている。
論文 参考訳（メタデータ） (2026-05-07T15:24:59Z) - Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。
本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
論文 参考訳（メタデータ） (2025-10-02T06:25:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。