論文の概要: Can Coding Agents Implement Missed Compiler Optimizations? Evaluating LLM Agents on LLVM Peephole Optimizations
- arxiv url: http://arxiv.org/abs/2607.02684v1
- Date: Thu, 02 Jul 2026 18:25:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-09 13:35:55.750888
- Title: Can Coding Agents Implement Missed Compiler Optimizations? Evaluating LLM Agents on LLVM Peephole Optimizations
- Title（参考訳）: 符号化エージェントはコンパイラ最適化を欠いているか?LLVMピープホール最適化におけるLLMエージェントの評価
- Abstract要約: 実世界の欠落したピープホール最適化からタスクを構築する評価フレームワークであるピープホールベンチを紹介する。
我々は,LLVM の InstCombine パスで欠落したピープホール最適化の修正について,最先端のコーディングエージェントをベンチマークした。
正しさと収益性の間の緊張を観察し、同時に両方の次元において人間開発者と一致するエージェントは存在しない。
- 参考スコア（独自算出の注目度）: 3.2479630553628156
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Coding agents built on large language models are now capable of patching sizable real-world codebases, yet whether they can develop compiler optimizations remains an open question. To study this question, we introduce PeepholeBench, an evaluation framework whose tasks are constructed from real-world missed peephole optimizations reported against LLVM's InstCombine pass. Since missed peephole optimizations are typically fixed with small, localized patches, they offer a well-scoped but demanding testbed for coding agents: a correct fix demands rigorous reasoning about program semantics along with familiarity with optimizer-specific conventions. PeepholeBench derives its tasks from 21 resolved LLVM issues and 19 merged pull requests (PRs), supplies agents with only the issue context that existed before each fix, and assesses the resulting patches for both correctness and profitability. With PeepholeBench, we benchmark state-of-the-art coding agents on fixing missed peephole optimizations in LLVM's InstCombine pass, measuring their patches against the corresponding human-written fixes. We observe a tension between correctness and profitability, and no agent matches human developers on both dimensions at once. The dominant failure modes are overly narrow transformations and misuse of LLVM-specific mechanisms, errors that existing test suites rarely expose. Together, these results establish PeepholeBench as a realistic and challenging benchmark for coding agents, and suggest future directions for building agents that can more dependably assist compiler optimization development.
- Abstract（参考訳）: 大きな言語モデル上に構築されたコーディングエージェントは、現在、巨大な現実世界のコードベースにパッチを当てることができるが、コンパイラの最適化を開発できるかどうかは未解決のままである。
本稿では,LLVM の InstCombine パスに対して報告された実世界の欠落したピープホール最適化からタスクを構築する評価フレームワークである PeepholeBench を紹介する。
欠落したピープホールの最適化は通常、小さな局所的なパッチで修正されるため、コーディングエージェントに対して十分にスコープされているが、要求の多いテストベッドを提供する: 正しい修正は、プログラムセマンティクスに関する厳密な推論と、オプティマイザ固有の規約に精通している。
PeepholeBenchは、21の解決されたLLVM問題と19の統合プルリクエスト(PR)からタスクを導き、各修正前に存在した問題コンテキストのみをエージェントに供給し、その結果のパッチを正確性と収益性の両方について評価する。
PeepholeBenchでは、LLVMのInstCombineパスの欠落したピープホール最適化の修正について、最先端のコーディングエージェントをベンチマークし、対応する人手による修正に対するパッチを測定します。
正しさと収益性の間の緊張を観察し、同時に両方の次元において人間開発者と一致するエージェントは存在しない。
主な障害モードは、LLVM固有のメカニズムの過度に狭い変換と誤用である。
これらの結果は、PeepholeBenchをコーディングエージェントの現実的で挑戦的なベンチマークとして確立し、コンパイラ最適化開発をより確実に支援できるエージェントを構築するための今後の方向性を提案する。
関連論文リスト
- The Optimizer Is the Agent: Reasoning-Driven Search across Prompts, Programs, and ML Workflows [72.9051182568928]
推論駆動最適化のための統合フレームワークであるReASearchを提案する。
共有エージェントループとドメイン固有のツールにより、ReASearchは、プロンプト、プログラム、MLを最適化するために、まったく同じスキャフォールドをインスタンス化する。
我々は,複雑な探索行動がエージェントの推論プロセスから自然に現れることを観察する。
論文 参考訳（メタデータ） (2026-08-07T02:15:39Z) - Understanding Agent-Based Patching of Compiler Missed Optimizations [22.677231886742547]
ミスした最適化にパッチを当てるには、報告されたケースを単に修正する以上のことが必要です。
我々は,現実のLLVMの最適化問題に対するベンチマークを構築し,最適化範囲の観点から,エージェント生成パッチと開発者からのパッチを比較した。
論文 参考訳（メタデータ） (2026-07-02T16:12:32Z) - Archer: Towards Agentic Review for Compiler Optimizations [2.4796712345498015]
Archerはコンパイラ最適化のための最初の自動エージェントコードレビューツールである。
過去2ヶ月で,70のオープンPRと328のクローズドPRをLLVMで評価した。
論文 参考訳（メタデータ） (2026-07-02T07:22:40Z) - AdaExplore: Failure-Driven Adaptation and Diversity-Preserving Search for Efficient Kernel Generation [59.964989458924585]
AdaExploreは、パフォーマンスクリティカルなカーネルコード生成のための蓄積された実行フィードバックによる自己改善を可能にするエージェントフレームワークである。
適応段階では、エージェントはタスクを合成し、繰り返し発生する障害を有効ルールの再利用可能なメモリに変換する。
探索段階では、候補核を木として整理し、小さな局所精製とより大きな構造再生を交互に行う。
論文 参考訳（メタデータ） (2026-04-17T18:25:03Z) - Execution-Verified Reinforcement Learning for Optimization Modeling [49.171122807323634]
実行検証学習フレームワークは、数学的プログラミング解法を決定論的で対話的な検証器として扱う。
NL4OPT, MAMO, IndustryOR, OptiBenchをグロビ, OR-Tools, COPTで行った実験では, EVOMがプロセス管理SFTに適合または優れていた。
論文 参考訳（メタデータ） (2026-04-01T03:39:11Z) - ISO-Bench: Can Coding Agents Optimize Real-World Inference Workloads? [0.8749675983608171]
実世界の推論タスクでその能力をテストするためのコーディングエージェントのベンチマークであるISO-Benchを紹介する。
統合プルリクエストから54のタスクをキュレートし、測定可能なパフォーマンスを改善しました。
論文 参考訳（メタデータ） (2026-02-23T08:37:53Z) - REFINE: Enhancing Program Repair Agents through Context-Aware Patch Refinement [12.995571513415905]
大規模言語モデル(LLM)は、最近、自動プログラム修復(APR)に強い可能性を示している。
LLMは、コードコンテキストの限定的な理解と不完全なテストスイートへの過度な信頼のために、正しい修正を作成するのに苦労することが多い。
本稿では,ドラフトパッチを正しいものに体系的に変換する新しいパッチリファインメントフレームワークRefineを提案する。
論文 参考訳（メタデータ） (2025-10-04T00:34:32Z) - Leveraging Large Language Models to Detect Missed Peephole Optimizations [7.48961433936748]
peephole最適化は、コンパイラ最適化の重要なクラスである。
従来の方法はスケールが良くないか、ペプホール最適化の限られたサブセットしかキャプチャできない。
我々は,LLMの創造的かつ信頼性の低いコード最適化能力と厳密な正確性検証を組み合わせた,新しいフレームワークであるLampoを提案する。
論文 参考訳（メタデータ） (2025-08-22T06:36:42Z) - Do AI models help produce verified bug fixes? [62.985237003585674]
大規模言語モデルは、ソフトウェアバグの修正に使用される。
本稿では,プログラマが大規模言語モデルを用いて,自身のスキルを補完する方法について検討する。
その結果は、プログラムバグに対する保証された修正を提供するAIとLLMの適切な役割への第一歩となる。
論文 参考訳（メタデータ） (2025-07-21T17:30:16Z) - SolBench: A Dataset and Benchmark for Evaluating Functional Correctness in Solidity Code Completion and Repair [51.0686873716938]
コード補完モデルによって生成されたSolidityスマートコントラクトの機能的正しさを評価するベンチマークであるSolBenchを紹介する。
本稿では,スマートコントラクトの機能的正当性を検証するための検索拡張コード修復フレームワークを提案する。
その結果、コード修復と検索技術は、計算コストを削減しつつ、スマートコントラクト完了の正しさを効果的に向上することを示した。
論文 参考訳（メタデータ） (2025-03-03T01:55:20Z) - RAP-Gen: Retrieval-Augmented Patch Generation with CodeT5 for Automatic
Program Repair [75.40584530380589]
新たな検索型パッチ生成フレームワーク(RAP-Gen)を提案する。
RAP-Gen 以前のバグ修正ペアのリストから取得した関連する修正パターンを明示的に活用する。
RAP-GenをJavaScriptのTFixベンチマークとJavaのCode RefinementとDefects4Jベンチマークの2つのプログラミング言語で評価する。
論文 参考訳（メタデータ） (2023-09-12T08:52:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。