論文の概要: What Do AI Agents Actually Change? An Empirical Taxonomy of Mutation Patterns in Performance-Improving Pull Requests
- arxiv url: http://arxiv.org/abs/2607.05666v1
- Date: Mon, 06 Jul 2026 22:15:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-08 21:24:51.338073
- Title: What Do AI Agents Actually Change? An Empirical Taxonomy of Mutation Patterns in Performance-Improving Pull Requests
- Title（参考訳）: AIエージェントは実際に何を変えるのか?パフォーマンス改善のプルリクエストにおける変異パターンの実証分類学
- Abstract要約: AIコーディングエージェントはブラックボックスです – コード生成方法の検査はできませんが,変更点を検査することは可能です。
この区別は、検索ベースのソフトウェア工学(SBSE)において重要である。
1,254個の性能関連差分ハンクを5つのエージェントシステムにまたがる216個のPRから分類する。
- 参考スコア（独自算出の注目度）: 39.407739937584104
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: AI coding agents are black boxes: we cannot inspect how they generate code, but we can inspect what they change. This distinction matters for search-based software engineering (SBSE), where techniques such as genetic improvement (in the performance-optimisation application we study) depend on mutation operators that reflect how code is actually transformed. Fewer than 1% of the 33,596 agent PRs in AIDev-pop target performance, making each case a rare window into otherwise opaque agent behaviour. We classify 1,254 performance-relevant diff hunks from 216 of these PRs, spanning five agent systems, against the 18-category syntactic mutation taxonomy of Even-Mendoza et al. (2025) using a dual-LLM intersection pipeline. Three categories dominate: name modification (37.0%), object creation (26.4%), and type change (22.7%), a profile markedly different from prior GI corpora where no change accounted for 84%. Each agent's deployed system commits to a distinctive mutation vocabulary, and each performance strategy activates a largely disjoint category subset. Agent identity and target strategy are therefore informative priors that narrow the effective SBSE operator space. Replication package: https://github.com/5uper6rain/ssbse-challenge-2026
- Abstract（参考訳）: AIコーディングエージェントはブラックボックスです – コード生成方法の検査はできませんが,変更点を検査することは可能です。
この区別は検索ベースのソフトウェア工学(SBSE)において重要であり、遺伝的改善(我々はパフォーマンス最適化アプリケーションで研究している)のような技術は、実際にコードがどのように変換されるかを反映した突然変異演算子に依存している。
AIDev-popターゲット性能における33,596のエージェントPRの1%以下では、各ケースは希少なウィンドウとなり、そうでなければ不透明なエージェントの振る舞いとなる。
これらのPRのうち1,254個のパフォーマンス関連差分ハンクを、5つのエージェントシステムにまたがって、デュアルLLM交差点パイプラインを用いて、Even-Mendoza et al (2025)の18カテゴリの構文的突然変異分類に対して分類する。
名称変更(37.0%)、オブジェクト生成(26.4%)、タイプ変更(22.7%)の3つのカテゴリが支配的であり、以前のGIコーパスとは大きく異なる。
各エージェントのデプロイシステムは、固有の突然変異語彙にコミットし、各パフォーマンス戦略は、大きく不整合なカテゴリサブセットを活性化する。
したがってエージェントのアイデンティティとターゲット戦略は、効果的なSBSE演算子空間を狭める情報的先行性である。
レプリケーションパッケージ:https://github.com/5uper6rain/ssbse-challenge-2026
関連論文リスト
- A Few Pages of Markdown: Committed AI Configuration and Lower Quality Cost after Coding-Agent Adoption [33.31789388282026]
コーディングエージェントは開発速度を増加させるだけでなく、技術的負債も増す。
以前の作業では、採用者の平均的な影響しか報告せず、チーム間の大きな違いを隠蔽しています。
私たちは、バージョン管理アーティファクトに基づく4段階の累積成熟モデルであるRAMPを紹介します。
論文 参考訳（メタデータ） (2026-08-26T00:00:48Z) - ClawArena: Benchmarking AI Agents in Evolving Information Environments [61.664633997138004]
ClawArenaは、進化する情報環境におけるAIエージェントの評価のためのベンチマークである。
それぞれのシナリオは、エージェントをノイズ、部分的、時には矛盾するトレースだけに露呈しながら、完全に隠された地上の真実を維持します。
評価は、マルチソースコンフリクト推論、動的信念修正、暗黙のパーソナライゼーションという3つの複合的な課題に基づいて構成される。
論文 参考訳（メタデータ） (2026-04-05T17:55:23Z) - AgentSZZ: Teaching the LLM Agent to Play Detective with Bug-Inducing Commits [14.213358505741105]
AgentSZZは、バグを引き起こすコミットを特定するエージェントベースのフレームワークである。
従来の方法とは異なり、AgentSZZはタスク固有のツール、ドメイン知識、ReActスタイルのループを統合し、バグの適応的および因果的トレースを可能にする。
実験によると、AgentSZZはすべての設定で最先端のSZZアルゴリズムより一貫して優れている。
論文 参考訳（メタデータ） (2026-04-03T02:54:02Z) - TRAJEVAL: Decomposing Code Agent Trajectories for Fine-Grained Diagnosis [23.834704102474927]
コードエージェントはGitHubの問題を解決することができるが、失敗した場合、現在の評価は場所や理由を可視化しない。
本稿では,エージェントトラジェクトリを3つの解釈段階に分解する診断フレームワークTRAJEVALを紹介する。
我々はこれらの診断が予測可能であることを確認し、0.87-2.1% MAEでモデルレベルのPass@1予測を達成する。
論文 参考訳（メタデータ） (2026-03-25T05:27:03Z) - How AI Coding Agents Modify Code: A Large-Scale Study of GitHub Pull Requests [0.0]
24,014個の統合エージェントPR(440,295個のコミット)と5,081個のヒトPR(23,242個のコミット)を分析した。
エージェントPRはコミットカウントにおいてヒューマンPRと大きく異なる(Cliffの$= 0.5429$)。
これらの発見は、AIコーディングエージェントがオープンソース開発にどのように貢献するかを、大規模な経験的評価を提供する。
論文 参考訳（メタデータ） (2026-01-24T20:27:04Z) - SCOPE: Prompt Evolution for Enhancing Agent Effectiveness [53.75986399936395]
大規模言語モデル(LLM)エージェントは、大規模で動的なコンテキストを生成する環境にますますデプロイされている。
エージェントはこのコンテキストにアクセスできますが、静的なプロンプトには効果的に管理するメカニズムがありません。
textbfSCOPE (Self-evolving Context Optimization via Prompt Evolution) を導入する。
本稿では,戦術的特異性(即時誤りの解消)と戦略的汎用性(長期原則の進化)のバランスをとるデュアルストリーム機構を提案する。
論文 参考訳（メタデータ） (2025-12-17T12:25:05Z) - Towards a Science of Scaling Agent Systems [79.64446272302287]
エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。
協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。
ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
論文 参考訳（メタデータ） (2025-12-09T06:52:21Z) - Learning When to Switch: Adaptive Policy Selection via Reinforcement Learning [0.0]
この研究は、エージェントが系統的な探索(カバレッジ)と目標指向のパスフィニング(収束)を動的に移行してタスクのパフォーマンスを向上させる方法を示す。
固定閾値アプローチとは異なり、エージェントはQラーニングを使用して、カバレッジパーセンテージと目標までの距離に基づいてスイッチング行動に適応する。
その結果、完了時間が23～55%改善され、ランタイムの分散が83%減少し、最悪のシナリオでは71%改善した。
論文 参考訳（メタデータ） (2025-12-06T02:50:32Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z) - Agent KB: Leveraging Cross-Domain Experience for Agentic Problem Solving [62.71545696485824]
我々は,異種エージェントフレームワーク間のシームレスな体験共有を可能にするユニバーサルメモリ基盤であるAgent KBを紹介した。
Agent KBはトラジェクトリを構造化知識ベースに集約し、軽量APIを提供する。
我々は,GAIA,Humanity's Last Exam,GPQA,SWE-benchなどの主要フレームワークにまたがるエージェントを検証した。
論文 参考訳（メタデータ） (2025-07-08T17:59:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。