論文の概要: LOOPRAG: Enhancing Loop Transformation Optimization with Retrieval-Augmented Large Language Models
- arxiv url: http://arxiv.org/abs/2512.15766v1
- Date: Fri, 12 Dec 2025 11:09:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-19 18:10:31.680587
- Title: LOOPRAG: Enhancing Loop Transformation Optimization with Retrieval-Augmented Large Language Models
- Title(参考訳): LOOPRAG:Retrieval-Augmented Large Language Modelによるループ変換最適化の強化
- Authors: Yijie Zhi, Yayu Cao, Jianhua Dai, Xiaoyang Han, Jingwen Pu, Qingran Wu, Sheng Cheng, Ming Cai,
- Abstract要約: LOOPRAGは,Large Language Models (LLM) の効率的なループ最適化を行うための検索拡張生成フレームワークである。
ループ特性を利用するパラメータ駆動方式を導入し、様々なループ変換をトリガーし、多様だが合法的なサンプルコードを生成する。
正確かつ効率的なコード生成を実現するために,コンパイル,テスト,パフォーマンス結果を組み込んだフィードバックベースの反復機構を導入する。
- 参考スコア(独自算出の注目度): 23.6344001089164
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Loop transformations are semantics-preserving optimization techniques, widely used to maximize objectives such as parallelism. Despite decades of research, applying the optimal composition of loop transformations remains challenging due to inherent complexities, including cost modeling for optimization objectives. Recent studies have explored the potential of Large Language Models (LLMs) for code optimization. However, our key observation is that LLMs often struggle with effective loop transformation optimization, frequently leading to errors or suboptimal optimization, thereby missing opportunities for performance improvements. To bridge this gap, we propose LOOPRAG, a novel retrieval-augmented generation framework designed to guide LLMs in performing effective loop optimization on Static Control Part. We introduce a parameter-driven method to harness loop properties, which trigger various loop transformations, and generate diverse yet legal example codes serving as a demonstration source. To effectively obtain the most informative demonstrations, we propose a loop-aware algorithm based on loop features, which balances similarity and diversity for code retrieval. To enhance correct and efficient code generation, we introduce a feedback-based iterative mechanism that incorporates compilation, testing and performance results as feedback to guide LLMs. Each optimized code undergoes mutation, coverage and differential testing for equivalence checking. We evaluate LOOPRAG on PolyBench, TSVC and LORE benchmark suites, and compare it against compilers (GCC-Graphite, Clang-Polly, Perspective and ICX) and representative LLMs (DeepSeek and GPT-4). The results demonstrate average speedups over base compilers of up to 11.20$\times$, 14.34$\times$, and 9.29$\times$ for PolyBench, TSVC, and LORE, respectively, and speedups over base LLMs of up to 11.97$\times$, 5.61$\times$, and 11.59$\times$.
- Abstract(参考訳): ループ変換はセマンティックス保存最適化技術であり、並列性のような目的を最大化するために広く使われている。
何十年にもわたっての研究にもかかわらず、ループ変換の最適構成を適用することは、最適化目的のためのコストモデリングを含む固有の複雑さのために、依然として困難である。
最近の研究は、コード最適化のためのLarge Language Models (LLM)の可能性を探っている。
しかし、LLMは効果的なループ変換最適化に苦しむことが多く、しばしばエラーや準最適最適化につながるため、性能改善の機会が欠落している。
このギャップを埋めるために,静的制御部上で効率的なループ最適化を行うためにLLMを誘導する新しい検索拡張生成フレームワークであるLOOPRAGを提案する。
本稿では,ループ特性を利用するパラメータ駆動方式を導入し,様々なループ変換をトリガーし,デモソースとして機能する多種多様な法的サンプルコードを生成する。
そこで本研究では,コード検索における類似性と多様性のバランスをとるループ特徴に基づくループ認識アルゴリズムを提案する。
正確かつ効率的なコード生成を実現するため,LLMをガイドするフィードバックとして,コンパイル,テスト,パフォーマンス結果を組み込んだフィードバックベースの反復機構を導入する。
それぞれの最適化されたコードは、同値チェックのための突然変異、カバレッジ、差分テストを実行する。
ポリベンチ, TSVC, LOREベンチマークスイート上でLOOPRAGを評価し, コンパイラ(GCC-Graphite, Clang-Polly, Perspective, ICX)および代表LSM(DeepSeek, GPT-4)と比較した。
結果は、11.20$\times$, 14.34$\times$, 9.29$\times$ for PolyBench, TSVC, LORE, and speedups over base LLMs of up to 11.97$\times$, 5.61$\times$, 11.59$\times$のベースコンパイラに対する平均的なスピードアップを示している。
関連論文リスト
- Agentic Auto-Scheduling: An Experimental Study of LLM-Guided Loop Optimization [0.9558392439655014]
大規模言語モデル(LLM)は、コンパイラとのクローズドループインタラクションを通じてプロセスをガイドする。
ComPilotは、LLMが特定のループネストのコンパイラへの変換を提案するフィードバックループを確立する。
コンパイラは変換を試み、合法性ステータスを報告し、スピードアップまたはスローダウンを測定します。
ComPilotは、元のコードに対して2.66x(単一実行)と3.54x(ベスト・オブ・5実行)の幾何平均スピードアップを達成する。
論文 参考訳(メタデータ) (2025-11-01T15:32:34Z) - REASONING COMPILER: LLM-Guided Optimizations for Efficient Model Serving [6.19179006129561]
本稿では,逐次的かつコンテキスト対応な意思決定プロセスとして最適化を定式化する,新しいコンパイルフレームワーク(Dubbed Reasoning)を提案する。
提案手法は,LLM誘導推論がコンパイラ最適化のランドスケープを変革する可能性を示す。
論文 参考訳(メタデータ) (2025-06-02T07:02:46Z) - Search-Based LLMs for Code Optimization [16.843870288512363]
開発者によって書かれたコードは、通常効率上の問題に悩まされ、様々なパフォーマンス上のバグを含んでいる。
最近の研究は、タスクをシーケンス生成問題とみなし、大規模言語モデル(LLM)のようなディープラーニング(DL)技術を活用している。
改良された最適化手法の反復的洗練と発見を可能にする,SBLLM という検索ベース LLM フレームワークを提案する。
論文 参考訳(メタデータ) (2024-08-22T06:59:46Z) - Should AI Optimize Your Code? A Comparative Study of Classical Optimizing Compilers Versus Current Large Language Models [0.0]
大規模言語モデル(LLM)は、コード最適化に革命をもたらすAIアプローチの可能性に関する興味深い疑問を提起する。
この作業は、コンパイラコミュニティにとって重要な質問に答えることを目的としている。
本稿では3つの古典最適化コンパイラと2つの最近の大規模言語モデルの比較分析を行う。
論文 参考訳(メタデータ) (2024-06-17T23:26:41Z) - A Problem-Oriented Perspective and Anchor Verification for Code Optimization [43.28045750932116]
大規模言語モデル(LLM)は、様々なプログラミングタスクを解く際、顕著な能力を示している。
本稿では,LLMが最小実行時間に最適化する能力について検討する。
論文 参考訳(メタデータ) (2024-06-17T16:10:10Z) - LLM as a Complementary Optimizer to Gradient Descent: A Case Study in Prompt Tuning [69.95292905263393]
グラデーションベースとハイレベルなLLMは、協調最適化フレームワークを効果的に組み合わせることができることを示す。
本稿では,これらを相互に補完し,組み合わせた最適化フレームワークを効果的に連携させることができることを示す。
論文 参考訳(メタデータ) (2024-05-30T06:24:14Z) - Unleashing the Potential of Large Language Models as Prompt Optimizers: Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。
モデルパラメータ学習における2つの重要な要素を同定する。
グラディエントにインスパイアされた Prompt ベースの GPO を開発した。
論文 参考訳(メタデータ) (2024-02-27T15:05:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。