論文の概要: A Jagged Frontier: Evaluating Robustness of Code Agents to Semantics-Preserving Transformations
- arxiv url: http://arxiv.org/abs/2608.18389v1
- Date: Tue, 18 Aug 2026 23:46:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-20 20:13:55.234597
- Title: A Jagged Frontier: Evaluating Robustness of Code Agents to Semantics-Preserving Transformations
- Title（参考訳）: タグ付きフロンティア:意味論的変換に対するコードエージェントのロバスト性の評価
- Abstract要約: 我々は、周辺コードのバリエーションが意味論的に等価な形式に書き換えられる際に、リポジトリレベルの問題を修復するコーディングエージェントが信頼性を維持しているかどうかを評価する。
共通セマンティクス保存変換(SPT)を適用したランダムな変種標本化手法を提案する。
4つのフロンティアモデルのうちの1つを背景とした2つのエージェント足場(ミニSWEエージェントとOpenCode)を評価した。
- 参考スコア（独自算出の注目度）: 7.48361039542955
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: AI code agents are increasingly deployed to resolve real software issues, yet their reliability under superficial code variations remains poorly understood. We evaluate whether coding agents that repair repository-level issues remain reliable when the surrounding codebase is rewritten into a semantically equivalent form. We introduce a random variant sampler that applies common semantics-preserving transformations (SPTs) - spanning control-flow rewrites, dead-code injection, and identifier renaming - to produce perturbed variants. We evaluate two agentic scaffolds (mini-SWE agent and OpenCode) each backed by one of four frontier models (Claude Opus 4.5, Kimi K2.5, MiniMax M2.5, and Qwen 3.6-27B) across instances drawn from SWE-bench Verified and SWE-bench Pro. For each instance, the agent is run multiple times on the unperturbed and perturbed variants, yielding paired resolve-rate estimates that isolate the perturbation effect from intrinsic stochasticity. We find small degradation in most configurations: up to 6.7 percentage points mean resolve-rate drop in the most affected configurations with statistically significant degradations in 6 of 16 configurations of model, scaffold, and dataset. Crucially, no single model ranking by robustness holds across scaffolds - Qwen is among the most robust under mini-SWE agent on SWE-bench Verified yet the most brittle under OpenCode - revealing a jagged robustness frontier. The simpler scaffold (mini-SWE agent) is more robust to perturbation. Our results demonstrate that even top frontier models are susceptible to semantics-preserving perturbations although the effect is not uniform, raising concerns about the deployment reliability of AI code agents in diverse real-world codebases.
- Abstract（参考訳）: AIコードエージェントは、実際のソフトウェア問題を解決するためにますますデプロイされているが、表面的なコードのバリエーションの下での信頼性はいまだによく分かっていない。
我々は,周辺コードベースを意味論的に等価な形式に書き換えた場合でも,リポジトリレベルの問題を修復するコーディングエージェントが信頼性を維持しているかどうかを評価する。
本稿では,制御フローの書き直し,デッドコードインジェクション,識別子のリネームなど,共通セマンティクス保存変換(SPT)を適用したランダムな変種サンプリング手法を提案する。
SWE-bench Verified と SWE-bench Pro から抽出した4つのフロンティアモデル (Claude Opus 4.5, Kimi K2.5, MiniMax M2.5, Qwen 3.6-27B) のうちの1つを背景とした2つのエージェント足場 (mini-SWE agent, OpenCode) の評価を行った。
それぞれの例において、エージェントは乱れのない変種と乱れの変種で複数回実行され、対の分解速度の推定値が得られ、内在的確率性から摂動効果を分離する。
モデル,足場,データセットの6つの構成のうち,統計的に有意な劣化を伴う最も影響の大きい構成では,最大6.7パーセントのポイントがリゾルブレートの低下を意味している。
QwenはSWE-benchのミニSWEエージェントでもっとも堅牢だが、OpenCodeでは最も脆弱である。
より単純な足場(mini-SWEエージェント)は摂動に対してより堅牢である。
我々の結果は、トップフロンティアモデルでさえ、その効果は均一ではないが意味論的に保存される摂動の影響を受けやすいことを示し、様々な現実世界のコードベースにおけるAIコードエージェントのデプロイメント信頼性に関する懸念を提起する。
関連論文リスト
- A Few Pages of Markdown: Committed AI Configuration and Lower Quality Cost after Coding-Agent Adoption [33.31789388282026]
コーディングエージェントは開発速度を増加させるだけでなく、技術的負債も増す。
以前の作業では、採用者の平均的な影響しか報告せず、チーム間の大きな違いを隠蔽しています。
私たちは、バージョン管理アーティファクトに基づく4段階の累積成熟モデルであるRAMPを紹介します。
論文 参考訳（メタデータ） (2026-08-26T00:00:48Z) - KAT-Coder-V2.5 Technical Report [61.907486544595336]
KAT-Coder-V2.5は、実際の実行可能リポジトリ内で自律的に動作するよう訓練されたコーディング中心のエージェントモデルである。
マルチ言語リポジトリをサンドボックス環境に再構築し、フェイル・ツー・パスとパス・ツー・パスの検証を大規模に行う。
我々はさらに、ハーネスランダム化による強化学習、信頼性の強化されたサンドボックス、非対称なアクター-クリティックPPO、およびハイチ指向の報酬フレームワークをスケールする。
論文 参考訳（メタデータ） (2026-07-06T08:14:02Z) - Perception, Verdict, and Evolution: Hindsight-Driven Self-Refining Forensics Agent for AI-Generated Image Detection [80.15317858033534]
ForeAgentは、反復的な自己進化を伴うAI生成画像検出のためのエージェント法医学フレームワークである。
ForeAgentはChameleonベンチマークで最先端のパフォーマンスを達成し、精度は82.18%に達した。
ForeAgent は GPT-5 や GPT-5-mini と比較して、より一貫性があり、因果的な推論をもたらす。
論文 参考訳（メタデータ） (2026-06-25T02:59:33Z) - Unlocking Model Potentials Through Adaptive Multi-Agent Scaffolding for Efficient Issue Resolution [4.960870628748691]
非効率的なコンテキスト管理は、迅速なコンテキスト劣化とコンテキスト中毒を引き起こす可能性がある。
共有コンテキストを同期型イベントベースのメッセージパッシングに置き換える分散型マルチエージェントスキャフォールディングであるicat-agentを提案する。
icat-agentは、すべての難易度において、顕著なベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2026-06-24T07:48:05Z) - ClayBuddy: A Framework, Evaluation, & Mitigation of Coding Agent Failures [1.0742675209112622]
障害モードは、不特定性、能力エラー、エージェントハーネスエラーの3つのメカニズムから派生したものとして研究する。
我々はClayBuddyを提案する。ClayBuddyはユーザの好みを形作るハーネスで、モデルのインセッションで修正してこれらのエラーを軽減できる。
論文 参考訳（メタデータ） (2026-06-13T18:29:53Z) - ClawArena: Benchmarking AI Agents in Evolving Information Environments [61.664633997138004]
ClawArenaは、進化する情報環境におけるAIエージェントの評価のためのベンチマークである。
それぞれのシナリオは、エージェントをノイズ、部分的、時には矛盾するトレースだけに露呈しながら、完全に隠された地上の真実を維持します。
評価は、マルチソースコンフリクト推論、動的信念修正、暗黙のパーソナライゼーションという3つの複合的な課題に基づいて構成される。
論文 参考訳（メタデータ） (2026-04-05T17:55:23Z) - Dynamic analysis enhances issue resolution [53.50448142467294]
DAIRA(Dynamic Analysis-enhanced Issue Resolution Agent)は、エージェントの推論サイクルに動的解析を組み込む自動修復フレームワークである。
テストトレース駆動の方法論によって駆動されるDAIRAは、軽量モニタを使用して重要なランタイムデータを抽出する。
Gemini 3 Flash Previewを使用すると、DAIRAは新たな最先端(SOTA)パフォーマンスを確立し、SWE-bench Verifiedデータセットで79.4%の解像度を達成する。
論文 参考訳（メタデータ） (2026-03-23T14:48:54Z) - Impatient Users Confuse AI Agents: High-fidelity Simulations of Human Traits for Testing Agents [58.00130492861884]
TraitBasisは、AIエージェントを体系的にストレステストするための軽量でモデルに依存しない方法である。
TraitBasisは、ステアブルなユーザ特性に対応するアクティベーション空間で方向を学習する。
We observed on average a 2%-30% performance degradation on $tau$-Trait across frontier model。
論文 参考訳（メタデータ） (2025-10-06T05:03:57Z) - StaAgent: An Agentic Framework for Testing Static Analyzers [7.951459111292028]
StaAgentは、静的アナライザルールを体系的に評価するために、LLM(Large Language Models)の生成能力を利用するエージェントフレームワークである。
StaAgentは一貫性のない振る舞いを明らかにすることによって、ルール実装の欠陥を明らかにするのに役立ちます。
そこで我々は,StaAgentを5つの広く使用されている静的アナライザにまたがって5つの最先端LCMを用いて評価した。
論文 参考訳（メタデータ） (2025-07-20T13:41:02Z) - On the Resilience of LLM-Based Multi-Agent Collaboration with Faulty Agents [58.79302663733703]
大規模言語モデルに基づくマルチエージェントシステムは、専門家エージェントの協力により、様々なタスクにまたがる優れた能力を示している。
不器用なエージェントや悪意のあるエージェントが与える影響 - システム全体のパフォーマンスにおいて、頻繁にタスクでエラーを犯すものは、いまだに過小評価されていない。
本稿では,下流タスクにおける障害要因下での各種システム構造のレジリエンスについて検討する。
論文 参考訳（メタデータ） (2024-08-02T03:25:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。