論文の概要: ANCHOR: Assessing Naturalistic Constraint Hierarchies and Ordering in Repository-Grounded Agentic Coding

• arxiv url: http://arxiv.org/abs/2610.16859v1
• Date: Mon, 12 Oct 2026 14:28:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.386555
• Title: ANCHOR: Assessing Naturalistic Constraint Hierarchies and Ordering in Repository-Grounded Agentic Coding
• Title（参考訳）: ANCHOR:Repository-Grounded Agentic Codingにおける自然主義的制約階層と順序付けの評価
• Abstract要約: ANCHOR(Assessing Naturalistic Constraint Hierarchies and Ordering in Repository-Grounded Agentic Coding)は、自然主義の多言語リポジトリタスクをベースとしたベンチマークである。 ANCHORは、(i)実際の開発者インタラクションから抽出された10のカテゴリと78の葉型の階層的な分類、(ii)タスク基底の原子的制約をインスタンス化し、それらを型付きおよび/THEN/PRIORITY関係に構成する自動パイプライン、(iii)軌道基底の評価フレームワークを組み合わせる。
• 参考スコア（独自算出の注目度）: 37.76405327916569
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: For repository-grounded coding agents, a functionally correct patch is not necessarily an acceptable one: developers also constrain how the task must be carried out-modification scope, workflow order, validation, tool use, and reporting. This capability, which we call engineering constraint following, remains largely invisible to current evaluations. We introduce ANCHOR (Assessing Naturalistic Constraint Hierarchies and Ordering in Repository-Grounded Agentic Coding), a benchmark built on naturalistic, multilingual repository tasks spanning eight language groups. ANCHOR combines (i) a hierarchical taxonomy of 10 categories and 78 leaf types distilled from real developer interactions, (ii) an automated pipeline that instantiates task-grounded atomic constraints and composes them into typed AND/THEN/PRIORITY relations, and (iii) a trajectory-grounded evaluation framework that checks both the code diff and the execution trajectory with rule-based and LLM judges. Across 19 agent configurations spanning 2 scaffolds and 10 foundation models on 358 tasks, the strongest measured system, Claude Opus 4.8 under Cline, reaches 70.1% atomic compliance and 63.7% relation compliance, while 19.0% of tasks pass every scored checklist item under the strict all-item FCCR criterion. A five-engineer audit of constraints from 50 instances reports 94% feasibility, 94% repository consistency, and 96% realism. In the primary paired set (14 configurations), the mean signed change in task completion after adding constraints is +0.7 percentage points; individual changes vary in both directions. These results distinguish functional success from constraint compliance, with failures concentrated in workflow ordering, tool-use discipline, and reporting, and substantial interactions between models and scaffolds.
• Abstract（参考訳）: リポジトリ基底のコーディングエージェントでは、機能的に正しいパッチは必ずしも許容できるものではない。開発者は、どのようにタスクを修正範囲、ワークフロー順序、バリデーション、ツールの使用、レポートを実行するかを制約する。 この機能は、私たちがエンジニアリング制約と呼ぶもので、現在の評価にはほとんど見えません。 本稿では,8つの言語グループにまたがる自然主義的多言語リポジトリタスクに基づくベンチマークであるANCHOR(Assessing Naturalistic Constraint Hierarchies and Ordering in Repository-Grounded Agentic Coding)を紹介する。 AnCHOR が組み合わさる (i)実際の開発者間相互作用から抽出した10の分類群と78の葉型からなる階層分類群。 (二)タスク基底の原子制約をインスタンス化し、型付きAND/THEN/PRIORITY関係に構成する自動パイプライン (iii)ルールベースおよびLCM審査員によるコード差分と実行軌跡の両方をチェックする軌跡付き評価フレームワーク。 358のタスクで2つの足場と10の基盤モデルにまたがる19のエージェント構成で、最強の計測システムであるクロード・オプス4.8が70.1%の原子順守と63.7%の相関順守を達成した。 50インスタンスからの制約の5人のエンジニアによる監査では、実現可能性94%、リポジトリの一貫性94%、リアリズム96%が報告されている。 プライマリペアセット(14構成)では、制約を加えた後のタスク完了における平均符号付き変更は+0.7ポイントであり、それぞれの変更はどちらの方向でも異なる。 これらの結果は、ワークフローの順序付け、ツール使用の規律、レポート、モデルと足場間の実質的な相互作用など、制約の遵守から機能的な成功を区別する。

関連論文リスト

• AssetForge: Asset-Augmented Task Synthesis for Business Automation Agents [50.07771061768613]
  ビジネス自動化エージェントのトレーニングには、自然に管理された要求をアプリケーション状態と終了状態に接続する実行可能なタスクが必要である。 従来のオートメーションでは、著者はアプリケーションインターフェース、初期記録、ポリシーエビデンス、各タスクの検証可能な結果チェックを再現する必要がある。 AssetForgeは、アセット拡張されたタスク言語パイプラインで、再利用可能なコンストラクション-アセスメントライブラリとタスク特化ライブラリをペアリングします。
  論文  参考訳（メタデータ） (2026-10-13T13:06:16Z)
• Large-scale Repository Engineering via Agent-Native Reusable Code Primitives [26.27948077165739]
  開発環境を備えた大規模言語モデルは、コード生成をリポジトリスケールの構築へと移行した。 Code Primitivesは、インターフェイスコントラクト、依存性のクロージャ、バリデーションテスト、証明を備えた、エージェントネイティブで再利用可能なコンポーネントです。 我々は,リポジトリ構築のための検索可能なライブラリであるCodeFaceに,検証済みプリミティブ1,424を編成する。
  論文  参考訳（メタデータ） (2026-10-06T20:20:50Z)
• ClawsBench: Evaluating Capability and Safety of LLM Productivity Agents in Simulated Workspaces [17.202580606345666]
  生産性タスクを自動化するために、大規模言語モデル(LLM)エージェントがますますデプロイされる。 既存のベンチマークは単純化された環境に依存しており、現実的なマルチサービス環境をキャプチャできない。 我々は,現実的な生産性設定におけるLCMエージェントの評価と改善のためのベンチマークであるClawsBenchを紹介する。
  論文  参考訳（メタデータ） (2026-04-06T21:09:06Z)
• Towards a Science of Scaling Agent Systems [79.64446272302287]
  エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。 協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。 ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
  論文  参考訳（メタデータ） (2025-12-09T06:52:21Z)
• OmniEAR: Benchmarking Agent Reasoning in Embodied Tasks [52.87238755666243]
  OmniEARは,言語モデルが身体的相互作用やツールの使用,マルチエージェントの協調にどう影響するかを評価するためのフレームワークである。 我々は、家庭と工業領域にまたがる1500のシナリオにおける連続的な物理的特性と複雑な空間的関係をモデル化する。 我々の体系的な評価は、モデルが制約から推論しなければならない場合、厳しい性能劣化を示す。
  論文  参考訳（メタデータ） (2025-08-07T17:54:15Z)
• A Hierarchical and Evolvable Benchmark for Fine-Grained Code Instruction Following with Multi-Turn Feedback [30.446511584123492]
  大規模言語モデル(LLM)はコード生成において著しく進歩しているが、階層化され多様な制約を持つ複雑なプログラミング命令に従う能力はいまだ探索されていない。 複数次元にわたるコード生成における命令追従の評価を目的とした総合ベンチマークであるMultiCodeIFを紹介する。 我々は14のプログラミング言語から得られた2,021のコードタスクを合成し、進化させ、フィードバック駆動型タスク変種によるマルチターン評価をサポートする。
  論文  参考訳（メタデータ） (2025-07-01T11:51:40Z)
• SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
  SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。 提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。 我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
  論文  参考訳（メタデータ） (2025-03-11T17:53:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。