論文の概要: How Agent Skills Fail under Long Contexts: A White-Box Study in Code Auditing
- arxiv url: http://arxiv.org/abs/2607.17937v1
- Date: Mon, 20 Jul 2026 13:34:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.639434
- Title: How Agent Skills Fail under Long Contexts: A White-Box Study in Code Auditing
- Title（参考訳）: ロングコンテキスト下でのエージェントスキルの失敗 - コード監査におけるホワイトボックス調査
- Abstract要約: Agent Skillsパッケージ 手続き的な指示と汎用エージェントの使用のためのチェック。
そこで本研究では,本問題を製品由来のホワイトボックスコード監査ワークフローを用いて検討する。
要求の欠如、ドリフトの編集、チェックの失敗、非エージェント評価/実行時の障害などです。
- 参考スコア（独自算出の注目度）: 1.5217170480235822
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Agent Skills package procedural instructions and checks for use by general-purpose agents, but loading a skill does not guarantee that every requirement remains active throughout a long tool-using trajectory. We study this problem in a production-derived, white-box code-audit workflow. Holding the task and 24 artifact checks fixed, we vary the surrounding context and classify where failures first become visible: lost requirements, editing drift, failed checking, or non-agent evaluator/runtime failures. Codex with gpt-5.4-mini passes 8/10 runs in a 10,991-character clean context but only 3/10 in both a 299,140-character relevant context and an equal-length irrelevant context. This 50-percentage-point difference is large but remains trend-level under two-sided Fisher tests (p = 0.0698). Requirement coverage nevertheless stays above 92% in both long conditions, showing that a few omissions can invalidate an otherwise complete artifact. A second task passes all clean and long runs, so the evidence does not support a universal context-length threshold. A detailed external checklist passes 10/10 runs, compared with 5/10 for a generic self-check (p = 0.0325). Coding-agent scaffolds may help by selecting a smaller working set, but they do not eliminate failures. We do not introduce context rot or a new general monitoring method; we provide a bounded failure classification and empirical case study for white-box code auditing.
- Abstract（参考訳）: Agent Skillsパッケージは、汎用エージェントが使用する手続き的な指示とチェックを提供するが、スキルのロードは、長いツールを使用する軌道を通してすべての要件がアクティブであることを保証するものではない。
そこで本研究では,本問題を製品由来のホワイトボックスコード監査ワークフローを用いて検討する。
タスクと24のアーティファクトチェックを固定すると、周囲の状況が変わり、障害が最初に見える場所が分類されます。
gpt-5.4-miniのコーデックスは10,991文字のクリーンコンテキストで8/10を走らせるが、299,140文字の関連コンテキストと等長無関係コンテキストの両方で3/10しか実行できない。
この50%の差は大きいが、両側のフィッシャー試験(p = 0.0698)ではトレンドレベルのままである。
それにもかかわらず、要件カバレッジはどちらの長い条件でも92%以上であり、いくつかの欠落が他の完全なアーティファクトを無効にできることを示している。
第2のタスクはクリーンで長い実行をパスするため、エビデンスは普遍的なコンテキスト長しきい値をサポートしない。
詳細な外部チェックリストは10/10をパスし、一般的なセルフチェックでは5/10をパスする(p = 0.0325)。
コーディングエージェントの足場は、より小さな作業セットを選択するのに役立つかもしれませんが、失敗を排除しません。
我々は、コンテキストロートや新しい一般的な監視手法を導入せず、有界障害分類とホワイトボックスコード監査のための実証ケーススタディを提供する。
関連論文リスト
- Schwarz: Solver-Aware Agentic Program Verification [1.9215527229034466]
Schwarzはエージェントによる検証ハーネスで、SMTが支援する証明の失敗を局所的に、チェック可能で、修復可能である。
我々は、CとRust/Verus用のSchwarzを実装し、1,475のタスクで評価する。
論文 参考訳（メタデータ） (2026-08-31T13:54:48Z) - Ignorance or Incompetence? Constructing Knowledge-Gated, Verifiable Tasks for LLM Agents [16.70932968825709]
本稿では,タスク命令をコンパクトなアーティファクトから分離するナレッジ付きタスク構築プロトコルを提案する。
1つのフロンティアエージェント構成は、アーティファクトで68.0%のパスレート、それなしで0%のパスレートを達成する。
保持されたタスクがポストトレーニングを改善するという確証はない。
論文 参考訳（メタデータ） (2026-08-31T06:39:27Z) - APIFlow-Bench: Measuring Whether Agents Survive Long, Dependent API Workflows [23.621239974604205]
APIFlow-Benchは、長期依存のREST-APIパフォーマンスのための、完全に監査可能なベンチマークである。
サブタスクによってサブタスクとして,合成APIの世界を前方に生成する。
すべての応答キーと44,362個の未修正実行書き起こしをリリースします。
論文 参考訳（メタデータ） (2026-08-29T08:12:11Z) - Demystifying Agent Skills: Why They Work-Until They Don't [58.92875630998418]
既存の評価は、スキルが集約されたタスクの成功を改善するかどうかを主に測定する。
我々は、表現、結果アノテーション、検索難易度、スキルのクロスフレームワークの影響を分離する。
我々はこれらの観察を3つの高レベルカテゴリと12のスキルユースモードの分類に集約する。
論文 参考訳（メタデータ） (2026-08-14T07:26:38Z) - Do Context Files Help Coding Agents? A Two-Agent Ablation Study on Real Repositories [0.0]
永続コンテキストファイル(AGENTS.md, CLAUDE.md)は、AIコーディングエージェントを誘導する標準的な慣行であるが、それらの効果の証拠は矛盾している。
我々は2つのフロンティアエージェント(Claude Code と Codex)間のコンテキスト注入戦略の制御されたアブレーションを示す。
論文 参考訳（メタデータ） (2026-07-28T11:07:53Z) - Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction [57.138342889101345]
Tencent WorkBuddy Benchは、コーディングエージェントのためのマルチドメイン評価スイートである。
本報告では, 設計手法, スコアリングプロトコル, クロスモデルリーダーボードについて述べる。
論文 参考訳（メタデータ） (2026-07-23T04:34:06Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳（メタデータ） (2026-07-17T17:41:16Z) - DeepSWE: Measuring Frontier Coding Agents on Original, Long-Horizon Engineering Tasks [1.7623000586936592]
DeepSWEは、コーディングエージェントを評価するための、113のオリジナルで長期のソフトウェアエンジニアリングタスクのベンチマークである。
タスクは91のアクティブなオープンソースリポジトリと5つの言語でスクラッチから書かれており、上流にコントリビュートされることはない。
SWE-Bench Proのプロンプトの約半分の長さにもかかわらず、DeepSWEのプロンプトは参照ソリューションが5.5倍のコードに触れるタスクを記述する。
論文 参考訳（メタデータ） (2026-07-08T21:45:34Z) - Auditing Reward Hackability in Code RL Training Environments [0.0]
コードRL環境が誤った解を正しく受け入れる速度を計測する。
SWE-bench Verifiedの49タクのサンプルでは、28.5%のタスクがテストスイートが弱く、Dockerで検証された不正確なパッチがそれらをパスしている。
論文 参考訳（メタデータ） (2026-06-14T23:31:42Z) - SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing [81.51044612408793]
SkillAuditは、地味なフィードバックなしにエージェントスキルを進化させるフレームワークである。
行動の違いを編集指導に変換するために、SkillAuditはProcess-Aligned Contrastive Evaluationを使用する。
Refineはノイズや無関係なガイダンスを広く有用なスキルから取り除き、修復はタスクと競合するパスを置き換える。
論文 参考訳（メタデータ） (2026-06-12T08:20:09Z) - Getting Better at Working With You: Compiling User Corrections into Runtime Enforcement for Coding Agents [99.67681154381803]
Test-time Rule Acquisition and Compiled Enforcement (TRACE)は、コーディングエージェントランタイムのためのスキル層パイプラインである。
開発者が事前に記述した実行時チェックとは異なり、TRACEスキルはユーザのチャット修正に由来する。
論文 参考訳（メタデータ） (2026-06-11T10:43:40Z) - Verify-Gated Completion as Admission Control in a Governed Multi-Agent Runtime: A Bounded Architecture Case Study [0.6875312133832079]
制御されたマルチエージェントランタイムの入出力制御パターンとして,検証ゲート補完について検討する。
観測条件下では,読み取り専用検証ゲートとパケット化入力記録が検査可能で,フェールクロースされた。
論文 参考訳（メタデータ） (2026-05-18T07:52:13Z) - Claw-Eval-Live: A Live Agent Benchmark for Evolving Real-World Workflows [67.92316850084575]
ワークフローエージェントのライブベンチマークであるClaw-Eval-Liveを紹介する。
各リリースは、公開ワークフロー要求信号から構築される。
Claw-Eval-Liveは実行トレース、監査ログ、サービス状態、実行後のワークスペースアーティファクトを記録する。
論文 参考訳（メタデータ） (2026-04-30T17:23:19Z) - ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。
現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。
最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
論文 参考訳（メタデータ） (2026-04-26T16:05:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。