論文の概要: Eliciting and Mitigating Specification Satisficing in Coding Agents
- arxiv url: http://arxiv.org/abs/2611.16289v1
- Date: Thu, 12 Nov 2026 04:42:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.361879
- Title: Eliciting and Mitigating Specification Satisficing in Coding Agents
- Title(参考訳): コーディングエージェントにおける仕様満足の緩和と緩和
- Abstract要約: コーディングエージェントは、タスク記述のすべての要件を満たすことができないことが多い。
エージェントが独自の理由からそのような選択を受け入れるため、仕様を満たすことの特定と緩和は困難である。
提案するSatisFixは,コーディングエージェントがこれらの選択とその理由を報告し,各選択をタスク記述に対して確認する。
- 参考スコア(独自算出の注目度): 5.1655179931784305
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Coding agents often fail to meet all requirements in the task description. In some of these failures, the agent considers an implementation choice that meets a requirement, but later decides to commit to another one that does not meet the requirement for a reason it finds acceptable. We call this specification satisficing. It is challenging to identify and mitigate specification satisficing because the agent accepts such choices for its own reasons, and existing self-correction methods are biased toward them. We propose SatisFix, which guides a coding agent to report these choices and their reasons, and then check each choice against the task description. We evaluate SatisFix on DeepSWE and SWE-bench Pro with five LLMs as backbones and two different agent frameworks, and compare it with three self-correction methods. SatisFix improves the pass@1 of the base agent by an average of 5.09% on DeepSWE and 7.06% on the hard subset of SWE-bench Pro. On DeepSWE, it outperforms the best baseline by 3.98%. Our ablation study shows that both steps of SatisFix contribute to the improvement.
- Abstract(参考訳): コーディングエージェントは、タスク記述のすべての要件を満たすことができないことが多い。
これらの失敗のいくつかでは、エージェントは要件を満たす実装の選択を検討するが、後にそれが許容される理由の要件を満たしていない別のものへのコミットを決断する。
私たちはこの仕様を満足としています。
エージェントがそのような選択を自身の理由から受け入れ、既存の自己補正手法がそれらに対して偏っているため、仕様を満たすことの特定と緩和は困難である。
提案するSatisFixは,コーディングエージェントがこれらの選択とその理由を報告し,各選択をタスク記述に対して確認する。
DeepSWE と SWE-bench Pro の SatisFix を5つの LLM のバックボーンと2つの異なるエージェントフレームワークとして評価し、3つの自己補正手法と比較した。
SatisFixはベースエージェントのpass@1をDeepSWEで平均5.09%、SWE-bench Proのハードサブセットで7.06%改善する。
DeepSWEでは、最高のベースラインを3.98%上回る。
アブレーション調査の結果,SatisFixのどちらの段階も改善に寄与していることがわかった。
関連論文リスト
- AdaPRA: Process Reward Agents with Adaptive Rubrics for Data Science [61.06192512211444]
データサイエンスエージェントはエンドツーエンドの機械学習を自動化することができるが、人間のリーダーボードとの競争には程遠い。
我々はこれらの問題に対処するためにAdaPRAを提案する: 同一タスクの試行にまたがって知識を蓄積する永続的符号化エージェントと、エラーを特定し修正するルーリック誘導プロセス監視。
AdaPRAはタスク毎の5つの試行により、80B QwenモデルのパーセンタイルをDSPredict-Easyで24.5ポイント、DS-Hardで14.8ポイント改善し、プロセスエラーを減らす。
論文 参考訳(メタデータ) (2026-10-23T19:46:55Z) - VERAS: Verification-Guided Adaptive Search for Reliable Operations Research [7.97240478663009]
本稿では,信頼性の高い操作研究(OR)問題に対する検証誘導型適応検索手法であるVERASを提案する。
VERASは検証証拠を使用して、実現可能性の修復、制約カバレッジのレビュー、ソリューション品質の改善を優先する。
ORAgentBenchでは、VERASは42.99%のパス率を記録し、報告されたコーデックスの35.51%を上回っている。
論文 参考訳(メタデータ) (2026-10-16T23:50:11Z) - VeriHarness: Scaling Agentic Verification for Long-Horizon Tasks [56.74345405508208]
LLMエージェントはますます複雑で長期のタスクをこなし、そのアウトプットを検証することがますます困難になっている。
本研究では, 基準応答へのアクセスや試験時の潤滑油の分解を行わずに, 固定ベースモデルで検証能力を強化する方法について検討する。
コンセンサスによってエラーを隠蔽できる一方で、不一致はしばしば正しい代替手段を公開することに気付きました。
これらの観察はVeriHarnessを動機付け、ジェネレータが使用する基礎となるLLMを、ワークスペース、エビデンスツール、再利用可能な検証スキルを与えることによって、エージェント検証器に変える。
論文 参考訳(メタデータ) (2026-10-01T03:02:17Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳(メタデータ) (2026-07-17T17:41:16Z) - DeepSWE: Measuring Frontier Coding Agents on Original, Long-Horizon Engineering Tasks [1.7623000586936592]
DeepSWEは、コーディングエージェントを評価するための、113のオリジナルで長期のソフトウェアエンジニアリングタスクのベンチマークである。
タスクは91のアクティブなオープンソースリポジトリと5つの言語でスクラッチから書かれており、上流にコントリビュートされることはない。
SWE-Bench Proのプロンプトの約半分の長さにもかかわらず、DeepSWEのプロンプトは参照ソリューションが5.5倍のコードに触れるタスクを記述する。
論文 参考訳(メタデータ) (2026-07-08T21:45:34Z) - Unlocking Model Potentials Through Adaptive Multi-Agent Scaffolding for Efficient Issue Resolution [4.960870628748691]
非効率的なコンテキスト管理は、迅速なコンテキスト劣化とコンテキスト中毒を引き起こす可能性がある。
共有コンテキストを同期型イベントベースのメッセージパッシングに置き換える分散型マルチエージェントスキャフォールディングであるicat-agentを提案する。
icat-agentは、すべての難易度において、顕著なベースラインを一貫して上回る。
論文 参考訳(メタデータ) (2026-06-24T07:48:05Z) - Converted, Not Equivalent: Benchmarking Codebase Conversion via Observational Equivalence [56.25095230687242]
コーディングエージェントは、しばしば自身のローカル検証ルーチンを過度に信頼し、表面チェックを満たすアーティファクトの成功を宣言する。
この問題は、事前評価が結果駆動である変換において特に深刻である。
ブラインド・コンバージョンは26.7-28.9%に達し、スペック・パスレートは91.1%まで上昇した。
このことは、失敗は限られた予算やバックボーンの強さよりも、契約ミスによる自己検証に起因していることを示唆している。
論文 参考訳(メタデータ) (2026-05-27T19:57:15Z) - Ambig-DS: A Benchmark for Task-Framing Ambiguity in Data-Science Agents [2.3488056916440856]
既存のベンチマークでは、エージェントがタスクが不明確かどうかを無視して、パイプラインが動作しているかどうかをスコア付けしている。
本稿では,予測対象曖昧さと評価対象曖昧さの2つの診断スイートであるAmbig-DSを紹介する。
すべてのタスクに対して、元の完全に指定されたバージョンと、コントロールされた編集によって生成されるあいまいなバリエーションをペアにします。
論文 参考訳(メタデータ) (2026-05-10T18:34:12Z) - SWE-Adept: An LLM-Based Agentic Framework for Deep Codebase Analysis and Structured Issue Resolution [9.339988760379915]
大規模言語モデル(LLM)は、自己完結したタスクに対して強いパフォーマンスを示す。
SWE-Adeptは、ローカライズエージェントが問題関連コードの位置を特定し、解決エージェントが対応する修正を実装するフレームワークである。
SWE-Bench Lite と SWE-Bench Pro の実験は、SWE-Adept が問題ローカライゼーションと解決の両方において、従来のアプローチよりも一貫して優れていることを示した。
論文 参考訳(メタデータ) (2026-03-01T23:52:30Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳(メタデータ) (2025-09-25T14:05:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。