論文の概要: Harness-IF: Evaluating Instruction Following Across Instruction Surfaces in Coding Agents

• arxiv url: http://arxiv.org/abs/2608.11727v1
• Date: Wed, 12 Aug 2026 07:07:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.485971
• Title: Harness-IF: Evaluating Instruction Following Across Instruction Surfaces in Coding Agents
• Title（参考訳）: Harness-IF: コーディングエージェントにおける命令面のアクロスによる指示の評価
• Abstract要約: Harness-IFは、実行証拠から一度に1つの運用ルールをスコアする。 AP-Accは、不正なデフォルトに対してラベル付けされたルールのみをスコアする。
• 参考スコア（独自算出の注目度）: 29.96375986740068
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When a coding agent obeys a rule, it may simply have been going to do that anyway. Existing instruction-following benchmarks cannot tell the difference: they concentrate rules in the user turn, while coding-agent benchmarks emphasize final task success. We introduce Harness-IF, which scores operational rules one at a time from execution evidence: 60 realistic multi-turn coding items drawn from a 642-rule library, 256 rules receiving verdicts, placed on the five configurable surfaces a deployed agent reads. To separate compliance from coincidence we introduce Against-Prior Accuracy (AP-Acc), which scores only rules labeled as opposing unprompted defaults, observed by re-running tasks with the rule withheld across nine probe builds and curated otherwise. Across 12 frontier models, accuracy spans 72.1-85.9% and AP-Acc 66.1-78.6%; every model is worse on against-prior rules, by 3.6 to 7.4 points (mean 5.81), and the direction survives a common-support analysis with item-clustered intervals. Aggregate scores therefore overstate compliance by a model-specific margin: prior control leaves the top build unchanged and exchanges three adjacent rank pairs. A counterbalanced conflict pilot on nine separate builds adds a second result: pooled precedence does not follow prompt depth, with system prompts, project files, and user instructions ahead of tool and skill descriptions.
• Abstract（参考訳）: コーディングエージェントがルールに従うと、とにかくそうするだけかもしれない。 既存の命令追跡ベンチマークでは、ユーザターンにルールを集中させ、コーディングエージェントベンチマークでは最終タスクの成功を強調している。 我々は,642ルールライブラリから抽出された60の現実的なマルチターンコーディング項目,256のルールを受信するバリデーションを,エージェントが読み取る5つの設定可能な面に配置する,という実行証拠から,運用ルールを1度にスコアするHarness-IFを紹介した。 偶然にコンプライアンスを分離するために、9つのプローブビルドにまたがるルールを適用せずにタスクを再実行し、それ以外はキュレートすることで、非プロンプトデフォルトとラベル付けされたルールのみをスコア付けする、Adopt-Prior Accuracy (AP-Acc)を導入します。 12のフロンティアモデル全体では、精度は72.1-85.9%、AP-Acc 66.1-78.6%で、全てのモデルが3.6から7.4ポイント(平均5.81)、アイテムクラスタリング間隔で共通の分析を継続する。 事前制御はトップビルドをそのままにして、隣接する3つのランクペアを交換する。 プールされた優先順位は、ツールやスキル記述の前に、システムプロンプト、プロジェクトファイル、ユーザインストラクションを含む、迅速な深さに従わない。

関連論文リスト

• Ranked by the Matcher: A Reproducibility Audit of Knowledge Graph Extraction from Threat Reports [5.580052437190499]
  12の検査システムのうち5つのみが記述されたマッチングルールを再実装する。 8つのプロトコルで共有ドキュメントに出力される10のシステムは、45対の注文のうち11を逆転させる。 外部、人間による調整セットでは、機械的なマーカは、-レキシカル、埋め込み、エンテーメント--10で7回以上、レビュアーとアグリーする。
  論文  参考訳（メタデータ） (2026-09-01T04:45:44Z)
• QuoteBench: How Matched Scores Can Hide Command-Path Failures [30.480838412827907]
  実行スコアだけでは、ジェネレーションエラーとジェネレーション後に導入された失敗を区別できない。 QuoteBenchはこの境界線を、インシデントから派生した14のファミリーから56のワンショットタスクに対して正確に最終状態の検証を行う。 コマンド発行エージェントの評価は、一致したスコアを本質的なモデル特性として扱うよりも、モデル構成、生成契約、実行経路、操作点、最終状態などを報告すべきである。
  論文  参考訳（メタデータ） (2026-08-13T17:57:20Z)
• Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
  AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。 コードには手書きのコードはなく、人間による注釈もない。 エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
  論文  参考訳（メタデータ） (2026-07-17T17:41:16Z)
• Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
  PointArena 2026は77.2%の精度でベンチマークで2位である。 ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。 次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
  論文  参考訳（メタデータ） (2026-06-29T06:39:03Z)
• ACCORD: Action-Conditioned Contextual Grounding for Language Agents [69.73525608707764]
  ACCORD(Action-Conditioned Contextual Grounding)は、適応的なグラウンドのためのエージェントフレームワークである。 現状のエージェントは、しばしばそうすることができないことを示す。それらは、観察された特定の情報よりもむしろ仮定から行動し、収集した可能性のある情報を見落とし、既に返された証拠を組み込むことに失敗する。
  論文  参考訳（メタデータ） (2026-06-15T09:05:55Z)
• Converted, Not Equivalent: Benchmarking Codebase Conversion via Observational Equivalence [56.25095230687242]
  コーディングエージェントは、しばしば自身のローカル検証ルーチンを過度に信頼し、表面チェックを満たすアーティファクトの成功を宣言する。 この問題は、事前評価が結果駆動である変換において特に深刻である。 ブラインド・コンバージョンは26.7-28.9%に達し、スペック・パスレートは91.1%まで上昇した。 このことは、失敗は限られた予算やバックボーンの強さよりも、契約ミスによる自己検証に起因していることを示唆している。
  論文  参考訳（メタデータ） (2026-05-27T19:57:15Z)
• AgentAtlas: Beyond Outcome Leaderboards for LLM Agents [0.025718125188898048]
  AgentAtlasは、診断語彙および監査プロトコルとしてのエージェント評価を再設定する。 i)6状態制御-決定分類(Act / Ask / Refuse / Stop / Confirm / Recover)、(ii)一次誤差源と下流衝撃を持つ軌道障害語彙、(iv)8つのモデルで評価された合成1,342-itemに関する実証的プロトコル研究。
  論文  参考訳（メタデータ） (2026-05-19T22:05:12Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• A Deterministic Agentic Workflow for HS Tariff Classification: Multi-Dimensional Rule Reasoning with Interpretable Decisions [16.99257993610188]
  このアーキテクチャは、中国の関税に関するオフラインの知識エンジニアリングと、オンラインの6段階パイプラインを組み合わせたものだ。 226桁の6桁の意見の不一致に関する2段階のマニュアル監査は、HSCodeCompの地味なラベルのごく一部が一般的な規則から逸脱する可能性があることを示唆している。
  論文  参考訳（メタデータ） (2026-05-14T14:04:46Z)
• Iterative Audit Convergence in LLM-Managed Multi-Agent Systems: A Case Study in Prompt Engineering Quality Assurance [0.0]
  AEGISに適用されたエージェント駆動型監査の単一システム事例研究を報告する。 本報告では, 明示的な符号規則, 非単調な収束, 監査スコープの拡がりを含む7カテゴリーの欠陥分類を報告する。
  論文  参考訳（メタデータ） (2026-05-12T15:39:04Z)
• Do Agent Rules Shape or Distort? Guardrails Beat Guidance in Coding Agents [9.989306175511238]
  ルールはパフォーマンスを7-14ポイント向上させるが、ランダムなルールは専門家が作成したものと同じくらい役に立つ。 個々のルールは、主に独立して有害であるが、最大50のルールを分解することなく、集合的に有用である。
  論文  参考訳（メタデータ） (2026-04-13T07:10:01Z)
• Towards a Science of Scaling Agent Systems [79.64446272302287]
  エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。 協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。 ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
  論文  参考訳（メタデータ） (2025-12-09T06:52:21Z)
• SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
  SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。 提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。 我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
  論文  参考訳（メタデータ） (2025-03-11T17:53:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。