論文の概要: Pattern-Driven Evaluation of LLM Code Optimization: Isolating Compiler-Transcendent Semantic Reasoning
- arxiv url: http://arxiv.org/abs/2610.24835v1
- Date: Sat, 17 Oct 2026 19:33:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-22 15:52:43.00048
- Title: Pattern-Driven Evaluation of LLM Code Optimization: Isolating Compiler-Transcendent Semantic Reasoning
- Title（参考訳）: LLM符号最適化のパターン駆動評価:コンパイラ・トランジェント・セマンティック推論の分離
- Abstract要約: 本稿では,コンパイラ・トランシデント最適化のベンチマークであるPatternBenchを紹介する。
ランタイムのスピードアップだけで最適化機能が不完全なことを示しています。
フロンティア、オープンウェイト、微調整モデルによる実験は、実行時のスピードアップだけで最適化能力の不完全な説明を提供することを示している。
- 参考スコア（独自算出の注目度）: 0.8399688944263844
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing evaluations of LLM-based code optimization primarily measure end-to-end speedup, obscuring whether a model actually performs the intended optimization. For compiled languages, this is especially problematic: observed gains may reflect transformations already recoverable by modern optimizing compilers rather than optimization behavior attributable to the model itself. We present PatternBench, a benchmark for studying compiler-transcendent optimization, i.e., performance improvements that remain after aggressive compiler optimization. PatternBench targets residual optimization opportunities across seven classes of transformations and pairs runtime evaluation with an AST-based optimization faithfulness analysis that verifies whether the intended optimization is realized in the generated program. Experiments with frontier, open-weight, and fine-tuned models show that runtime speedup alone provides an incomplete account of optimization capability. Optimization faithfulness is strongly associated with realized speedup, and fine-tuning improves both faithfulness and optimization effectiveness. These results suggest that evaluation of LLM-based code optimization should measure not only performance outcomes, but also whether the target transformation was successfully executed.
- Abstract（参考訳）: LLMベースのコード最適化の既存の評価は、主にエンド・ツー・エンドのスピードアップを計測し、モデルが実際に意図した最適化を実行しているかどうかを判断する。
観測されたゲインは、モデル自体に起因する最適化動作ではなく、現代的な最適化コンパイラによって既に回復可能な変換を反映する可能性がある。
本稿では,コンパイラ・トランジェント最適化のベンチマークであるPatternBenchについて述べる。
PatternBenchは、7つの変換クラスとペアのランタイム評価を対象とし、ASTベースの最適化忠実度分析により、生成されたプログラムで目的の最適化が実現されているかどうかを検証する。
フロンティア、オープンウェイト、微調整モデルによる実験は、実行時のスピードアップだけで最適化能力の不完全な説明を提供することを示している。
最適化忠実度は実現されたスピードアップと強く結びついており、微調整は忠実度と最適化効率の両方を改善する。
これらの結果から, LLMに基づくコード最適化の評価は, 性能評価だけでなく, 目標変換が正常に実行されたかどうかも評価すべきであることが示唆された。
関連論文リスト
- Navigating LLM Valley: From AdamW to Memory-Efficient and Matrix-Based Optimizers [0.0]
大規模言語モデルの訓練には、計算とメモリ効率が極端に高い最適化アルゴリズムが必要である。
本稿では,システム・アンド・最適化レンズを用いた大規模言語モデルの設計についてレビューする。
論文 参考訳（メタデータ） (2026-05-09T21:34:28Z) - PerfCoder: Large Language Models for Interpretable Code Performance Optimization [15.79612555952707]
PerfCoderは、ソースコードからパフォーマンス向上したコードを生成するために設計された、大規模な言語モデル(LLM)のファミリーである。
PerfCoderは、人間が読めるアノテーションで、現実世界の最適化トラジェクトリのキュレートされたコレクションに微調整されている。
PerfCoderは、実行時のスピードアップと効率的な最適化率の両方で、既存のモデルをすべて上回っている。
論文 参考訳（メタデータ） (2025-12-16T02:30:04Z) - SemOpt: LLM-Driven Code Optimization via Rule-Based Analysis [7.451702651736553]
SemOptは静的プログラム分析を利用して最適化可能なコードセグメントを正確に識別し、対応する最適化戦略を検索し、最適化結果を生成するフレームワークである。
151の最適化タスクを含むベンチマークにおいて、SemOptは、ベースラインに比べて1.38から28倍の最適化を成功させることにより、異なるLLM下での有効性を示す。
論文 参考訳（メタデータ） (2025-10-18T07:44:18Z) - REASONING COMPILER: LLM-Guided Optimizations for Efficient Model Serving [6.19179006129561]
本稿では,逐次的かつコンテキスト対応な意思決定プロセスとして最適化を定式化する,新しいコンパイルフレームワーク(Dubbed Reasoning)を提案する。
提案手法は,LLM誘導推論がコンパイラ最適化のランドスケープを変革する可能性を示す。
論文 参考訳（メタデータ） (2025-06-02T07:02:46Z) - Compiler Optimization Testing Based on Optimization-Guided Equivalence Transformations [3.2987550056134873]
本稿では,コンパイラ最適化にインスパイアされたメタモルフィックテスト手法を提案する。
提案手法ではまず,最適化条件を満たす入力プログラムを生成するために,最適化されたコード構築戦略を用いる。
事前変換プログラムと後変換プログラムの出力を比較することで、不正な最適化バグを効果的に識別する。
論文 参考訳（メタデータ） (2025-04-06T01:37:57Z) - A Problem-Oriented Perspective and Anchor Verification for Code Optimization [43.28045750932116]
大規模言語モデル(LLM)は、様々なプログラミングタスクを解く際、顕著な能力を示している。
本稿では,LLMが最小実行時間に最適化する能力について検討する。
論文 参考訳（メタデータ） (2024-06-17T16:10:10Z) - LLM as a Complementary Optimizer to Gradient Descent: A Case Study in Prompt Tuning [69.95292905263393]
グラデーションベースとハイレベルなLLMは、協調最適化フレームワークを効果的に組み合わせることができることを示す。
本稿では,これらを相互に補完し,組み合わせた最適化フレームワークを効果的に連携させることができることを示す。
論文 参考訳（メタデータ） (2024-05-30T06:24:14Z) - Learning Performance-Improving Code Edits [107.21538852090208]
本稿では,大規模言語モデル(LLM)を高レベルプログラム最適化に適用するためのフレームワークを提案する。
まず、競争力のある77,000以上のC++プログラミングサブミッションペアによる、人間のプログラマによるパフォーマンス改善編集のデータセットをキュレートする。
提案手法は,検索をベースとした少数ショットプロンプトとチェーン・オブ・シンクレットを提案し,その微調整には,自己再生に基づく性能条件付き生成と合成データ拡張が含まれる。
論文 参考訳（メタデータ） (2023-02-15T18:59:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。