論文の概要: How Do Coding Agents Optimize Software and Report Performance Validation? A Large-Scale Empirical Study of Open-Source Pull Requests

• arxiv url: http://arxiv.org/abs/2610.03969v1
• Date: Fri, 02 Oct 2026 19:23:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-12 21:19:41.937616
• Title: How Do Coding Agents Optimize Software and Report Performance Validation? A Large-Scale Empirical Study of Open-Source Pull Requests
• Title（参考訳）: コーディングエージェントはいかにソフトウェアを最適化し、性能検証を報告するか? オープンソースプルリクエストの大規模実証研究
• Abstract要約: 2026年6月までに収集された1,130件のエージェントと1,130件の人為的なパフォーマンスPRのサンプルを分析した。 適用結果とパッチ特性を2つのグループで比較し,それらの最適化プラクティスと検証行動について検討する。 その結果,エージェントPRは人間によるPRよりもマージ頻度が低いことがわかった。
• 参考スコア（独自算出の注目度）: 6.528424907236175
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Software performance optimization requires identifying bottlenecks and improvement opportunities, and empirically evaluating the effects and trade-offs across performance objectives. Autonomous AI coding agents submit performance-oriented pull requests (PRs) to open-source projects, yet it remains unclear whether these changes reflect established optimization practices and adequately substantiate their claimed value. Extending our MSR 2026 Mining Challenge pilot study of 407 performance PRs, we analyze a sample of 1,130 agentic and 1,130 human-authored performance PRs collected through June 2026. We compare adoption outcomes and patch characteristics between the two groups, and examine their optimization practices and validation behaviors. The results show that agentic PRs are merged less often than human-authored PRs (54.4% vs. 73.3%), but the two groups use similar optimization strategies and report validation at comparable rates. Agentic PRs rely more on static reasoning and less on benchmarks (46.1% vs. 57.2%), although benchmark use converges by the end of the study period. Agentic PRs also report validation for code-smell refactorings as often as for resource-targeting changes, whereas human-authored PRs do so less often. Across both groups, about half of validated PRs report no quantitative performance metric, and relevant trade-offs are rarely quantified. Agentic optimization practice has become increasingly similar to human practice, but the supporting evidence remains incomplete. Establishing whether agent-proposed optimizations are supported by rigorous, quantitative, and multidimensional evidence remains an important challenge. These findings motivate evaluation infrastructure and review criteria that measure intended effects and relevant costs rather than treating the presence of validation alone as sufficient.
• Abstract（参考訳）: ソフトウェアパフォーマンスの最適化にはボトルネックの特定と改善の機会が必要であり、パフォーマンス目標に対する効果とトレードオフを実証的に評価する必要がある。 自律型AIコーディングエージェントは、パフォーマンス指向プルリクエスト(PR)をオープンソースプロジェクトに提出するが、これらの変更が確立した最適化プラクティスを反映し、彼らの主張する価値を適切に裏付けるかどうかは不明だ。 MSR 2026 Mining Challengeによる407個のパフォーマンスPRの試験結果を拡張し、2026年6月までに収集された1,130個のエージェントと1,130個の人間によるパフォーマンスPRのサンプルを分析した。 適用結果とパッチ特性を2つのグループで比較し,それらの最適化プラクティスと検証行動について検討する。 その結果、エージェントPRは人間によるPR(54.4%対73.3%)よりもマージ頻度が低いことが示されたが、この2つのグループは同様の最適化戦略を使用して、同等のレートでレポート検証を行っている。 エージェントPRは静的推論に頼り、ベンチマーク(46.1%対57.2%)は少ないが、ベンチマークの使用は研究期間の終わりまでに収束する。 エージェントPRは、リソースをターゲットとした変更と同様に、コードスメルリファクタリングのバリデーションも報告している。 両グループ全体で、検証済みPRの約半数が定量的なパフォーマンス指標を報告しておらず、関連するトレードオフが定量化されることはめったにない。 エージェント最適化の実践は、ますます人間の実践と似ているが、支持される証拠はいまだ不完全である。 エージェントが提案する最適化が厳密で定量的かつ多次元的なエビデンスによって支持されるかどうかを確立することは、依然として重要な課題である。 これらの知見は,検証の有無のみを十分に扱うのではなく,意図した効果と関連するコストを測定するための評価基準と評価基準を動機付けている。

関連論文リスト

• On the Effectiveness of Code Representation in Deep Learning-Based Automated Patch Correctness Assessment [27.074607600022315]
  自動プログラム修復(APR)は、正しいパッチを作成しようとする試みであり、過去数十年間、学術と産業の両方から広く注目を集めてきた。 オーバーフィッティング問題に対処するため、コミュニティはパッチの正当性(APCAアプローチ)を予測するためのアプローチを多数提案している。 中でも,デザインの自動マッチングを目的とした局所的な深層学習アプローチが強くなってきている。 パッチの正確性には根本的な理由があるにもかかわらず、コード表現は体系的に研究されていない。
  論文  参考訳（メタデータ） (2026-03-08T08:18:42Z)
• CVeDRL: An Efficient Code Verifier via Difficulty-aware Reinforcement Learning [57.24524263804788]
  コード検証は、LLMベースのコード生成の検証後において重要な役割を果たす。 既存の教師付き微調整手法は、データの不足、高い失敗率、推論効率の低下に悩まされている。 機能的な報酬しか持たない単純RLは、難しいブランチやサンプルに対して効果的な単体テストを生成することができないことを示す。
  論文  参考訳（メタデータ） (2026-01-30T10:33:29Z)
• How Do Agents Perform Code Optimization? An Empirical Study [6.085146597426065]
  エージェントと人間による性能最適化のコミットを比較した最初の実証的研究を行った。 AIで認可されたパフォーマンスPRは、人間で認可されたPRよりも明示的なパフォーマンス検証を含まないことが分かりました。
  論文  参考訳（メタデータ） (2025-12-25T18:20:25Z)
• Fairness Is Not Just Ethical: Performance Trade-Off via Data Correlation Tuning to Mitigate Bias in ML Software [11.766190391560684]
  相関チューニング(CoT)は、データ相関を調整することでバイアスを軽減するために設計された新しい前処理手法である。 CoTは、非特権グループの真の正の率を平均17.5%上昇させる。 今後の研究を促進するため、実験結果とソースコードを公開します。
  論文  参考訳（メタデータ） (2025-12-19T23:50:27Z)
• Efficient Thought Space Exploration through Strategic Intervention [54.35208611253168]
  本稿では,この知見を2つの相乗的コンポーネントを通して操作するHint-Practice Reasoning(HPR)フレームワークを提案する。 フレームワークの中核となる革新は、動的に介入点を識別する分散不整合低減(DIR)である。 算術的および常識的推論ベンチマークによる実験は、HPRの最先端の効率-精度トレードオフを実証している。
  論文  参考訳（メタデータ） (2025-11-13T07:26:01Z)
• Repurposing Synthetic Data for Fine-grained Search Agent Supervision [81.95597592711688]
  LLMベースの検索エージェントは、エンティティ中心の合成データに基づいてますます訓練されている。 一般的なトレーニングメソッドは、このリッチなエンティティ情報を破棄し、代わりにスパースで結果に基づく報酬に依存します。 E-GRPO(Entity-Aware Group Relative Policy Optimization)は、高密度なエンティティ認識報酬関数を定式化する新しいフレームワークである。
  論文  参考訳（メタデータ） (2025-10-28T17:50:40Z)
• On The Impact of Merge Request Deviations on Code Review Practices [2.8402080392117757]
  これらのケースを偏差と仮説で表現し、それらがバイアス分析を無視し、レビュー分析のためにMLモデルを弱めていると仮定する。 MRの37.02%で発生する7つの偏差カテゴリを同定し、数ショットの学習検出法(精度91%)を提案する。 我々は,(1)MR偏差の分類学,(2)AIによる検出アプローチ,(3)MLに基づくレビュー分析への影響の実証的証拠を含む。
  論文  参考訳（メタデータ） (2025-06-10T14:51:20Z)
• On the Role of Feedback in Test-Time Scaling of Agentic AI Workflows [71.92083784393418]
  エージェントAI(自律的な計画と行動を行うシステム)は広く普及しているが、複雑なタスクにおけるタスクの成功率は低いままである。 推論時のアライメントは、サンプリング、評価、フィードバックの3つのコンポーネントに依存します。 本稿では,様々な形態の批判から抽出されたフィードバックを繰り返し挿入するIterative Agent Decoding(IAD)を紹介する。
  論文  参考訳（メタデータ） (2025-04-02T17:40:47Z)
• Revisiting BPR: A Replicability Study of a Common Recommender System Baseline [78.00363373925758]
  我々は,BPRモデルの特徴を考察し,その性能への影響を示し,オープンソースのBPR実装について検討する。 分析の結果,これらの実装とオリジナルのBPR論文の矛盾が明らかとなり,特定の実装に対して最大50%の性能低下がみられた。 BPRモデルは、トップnのレコメンデーションタスクにおける最先端メソッドに近いパフォーマンスレベルを達成でき、特定のデータセット上でもパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2024-09-21T18:39:53Z)
• Understanding the Effects of Adversarial Personalized Ranking Optimization Method on Recommendation Quality [6.197934754799158]
  ベイズパーソナライズランキング(BPR)とAPR最適化フレームワークの学習特性をモデル化する。 APRがBPRよりも人気バイアスを増大させるのは、ショートヘッドアイテムからの肯定的な更新が不均衡に多いためである。
  論文  参考訳（メタデータ） (2021-07-29T10:22:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。