論文の概要: Compiler Optimization via LLM Reasoning for Efficient Model Serving
- arxiv url: http://arxiv.org/abs/2506.01374v1
- Date: Mon, 02 Jun 2025 07:02:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-04 21:47:34.082595
- Title: Compiler Optimization via LLM Reasoning for Efficient Model Serving
- Title（参考訳）: LLM推論による効率的なモデル実行のためのコンパイラ最適化
- Authors: Sujun Tang, Christopher Priebe, Rohan Mahapatra, Lianhui Qin, Hadi Esmaeilzadeh,
- Abstract要約: 本稿では,コンパイルフレームワーク(REASONING COMPILER)を導入し,最適化を逐次的かつコンテキスト対応な意思決定プロセスとして定式化する。
主要なニューラルネットワークよりもはるかに少ないサンプルで、相当なスピードアップを実現しています。
- 参考スコア（独自算出の注目度）: 7.257845254223727
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While model serving has unlocked unprecedented capabilities, the high cost of serving large-scale models continues to be a significant barrier to widespread accessibility and rapid innovation. Compiler optimizations have long driven substantial performance improvements, but existing compilers struggle with neural workloads due to the exponentially large and highly interdependent space of possible transformations. Although existing stochastic search techniques can be effective, they are often sample-inefficient and fail to leverage the structural context underlying compilation decisions. We set out to investigate the research question of whether reasoning with large language models (LLMs), without any retraining, can leverage the context-aware decision space of compiler optimization to significantly improve sample efficiency. To that end, we introduce a novel compilation framework (dubbed REASONING COMPILER) that formulates optimization as a sequential, context-aware decision process, guided by a large language model and structured Monte Carlo tree search (MCTS). The LLM acts as a proposal mechanism, suggesting hardware-aware transformations that reflect the current program state and accumulated performance feedback. Monte Carlo tree search (MCTS) incorporates the LLM-generated proposals to balance exploration and exploitation, facilitating structured, context-sensitive traversal of the expansive compiler optimization space. By achieving substantial speedups with markedly fewer samples than leading neural compilers, our approach demonstrates the potential of LLM-guided reasoning to transform the landscape of compiler optimization.
- Abstract（参考訳）: モデルサービスによって前例のない能力が解放される一方で、大規模モデルを提供するための高コストは、広くアクセスしやすく、迅速なイノベーションにとって重要な障壁であり続けている。
コンパイラの最適化は長い間、大幅なパフォーマンス改善を推進してきたが、既存のコンパイラは、考えられる変換の指数的に大きく、相互依存の空間のため、ニューラルワークロードに苦慮している。
既存の確率探索手法は有効であるが、しばしばサンプル非効率であり、コンパイル決定の根底にある構造的文脈を活用できない。
そこで我々は,大規模言語モデル(LLM)を用いた推論が,再学習なしに,コンパイラ最適化の文脈認識決定空間を活用でき,サンプル効率を大幅に向上させることができるか,という研究課題について検討した。
そこで我々は,大規模言語モデルと構造化モンテカルロ木探索(MCTS)によって導かれる逐次的かつコンテキスト対応な決定プロセスとして最適化を定式化する,新しいコンパイルフレームワーク(REASONING COMPILER)を導入する。
LLMは提案機構として機能し、現在のプログラム状態と累積的なパフォーマンスフィードバックを反映したハードウェア対応の変換を提案する。
モンテカルロ木探索(MCTS)は、LLMの生成した探索と利用のバランスをとるための提案を取り入れており、拡張コンパイラ最適化空間の構造的、文脈に敏感なトラバースを容易にしている。
先進的なニューラルネットワークよりもはるかに少ないサンプルでかなりのスピードアップを達成することで,LLM誘導推論がコンパイラ最適化の展望を変える可能性を実証する。
関連論文リスト
- ORPP: Self-Optimizing Role-playing Prompts to Enhance Language Model Capabilities [64.24517317344959]
複雑なタスクにおいて、大きな言語モデルから優れたパフォーマンスを引き出すためには、高品質なプロンプトが不可欠である。
本稿では,ロールプレイングプロンプトの最適化と生成によりモデル性能を向上させるフレームワークORPPを提案する。
ORPPは一致しただけでなく、ほとんどの場合、性能の点で既存の主流のプロンプト最適化手法を上回ります。
論文 参考訳（メタデータ） (2025-06-03T05:51:35Z) - SymRTLO: Enhancing RTL Code Optimization with LLMs and Neuron-Inspired Symbolic Reasoning [18.40402135952776]
本稿では,新しいニューロン-シンボリックRTL最適化フレームワークであるSymRTLOを提案する。
有限状態機械(FSM)論理の解析と最適化のための記号モジュールを提案する。
Synopsys Design Compiler と Yosys による RTL-Rewriter ベンチマークの実験では、SymRTLO は 43.9% と 62.5% と 51.1% に向上している。
論文 参考訳（メタデータ） (2025-04-14T16:15:55Z) - Can Large Language Models Be Trusted as Evolutionary Optimizers for Network-Structured Combinatorial Problems? [8.082897040940447]
大きな言語モデル(LLM)は、言語理解とさまざまなドメイン間の推論において素晴らしい能力を持っています。
本研究では,問題構造に係わるLLMの能力を評価するための体系的枠組みを提案する。
我々は,従来の個人レベルのアプローチと比較して,効率を著しく向上するコスト効率の高い集団レベルの最適化戦略を開発する。
論文 参考訳（メタデータ） (2025-01-25T05:19:19Z) - In-context Demonstration Matters: On Prompt Optimization for Pseudo-Supervision Refinement [71.60563181678323]
大規模言語モデル(LLM)は様々なタスクで大きな成功を収めており、生成品質をさらに向上させるためには微調整が必要である場合もある。
これらの課題に対処する直接的な解決策は、教師なしの下流タスクから高信頼のデータを生成することである。
本稿では,プロンプトと全体的な擬似スーパービジョンを両立させる新しい手法,擬似教師付きデモアライメント・アライメント・アライメント・プロンプト・最適化(PAPO)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-10-04T03:39:28Z) - Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。
In-Context Learning (ICL) など。
効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。
下流タスクへのLLM。
我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
論文 参考訳（メタデータ） (2024-09-30T10:48:20Z) - A Reinforcement Learning Environment for Automatic Code Optimization in the MLIR Compiler [0.10923877073891444]
本稿では,MLIRコンパイラ研究の促進を目的とした,MLIRコンパイラの最初のRL環境について紹介する。
また、より単純なアクション部分空間の積として作用空間の新たな定式化を提案し、より効率的かつ効率的な最適化を可能にした。
論文 参考訳（メタデータ） (2024-09-17T10:49:45Z) - RTLRewriter: Methodologies for Large Models aided RTL Code Optimization [21.61206887869307]
本稿では,RTLコードの最適化に大規模なモデルを活用する革新的なフレームワークであるRTLRewriterを紹介する。
回路分割パイプラインを高速な合成と効率的な書き換えに利用する。
特別な検索エンジンは、有用な最適化ガイド、アルゴリズム、コードスニペットを特定するように設計されている。
論文 参考訳（メタデータ） (2024-09-04T09:59:37Z) - Should AI Optimize Your Code? A Comparative Study of Classical Optimizing Compilers Versus Current Large Language Models [0.0]
大規模言語モデル(LLM)は、コード最適化に革命をもたらすAIアプローチの可能性に関する興味深い疑問を提起する。
この作業は、コンパイラコミュニティにとって重要な質問に答えることを目的としている。
本稿では3つの古典最適化コンパイラと2つの最近の大規模言語モデルの比較分析を行う。
論文 参考訳（メタデータ） (2024-06-17T23:26:41Z) - Unleashing the Potential of Large Language Models as Prompt Optimizers: Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。
モデルパラメータ学習における2つの重要な要素を同定する。
グラディエントにインスパイアされた Prompt ベースの GPO を開発した。
論文 参考訳（メタデータ） (2024-02-27T15:05:32Z) - Learning Performance-Improving Code Edits [107.21538852090208]
本稿では,大規模言語モデル(LLM)を高レベルプログラム最適化に適用するためのフレームワークを提案する。
まず、競争力のある77,000以上のC++プログラミングサブミッションペアによる、人間のプログラマによるパフォーマンス改善編集のデータセットをキュレートする。
提案手法は,検索をベースとした少数ショットプロンプトとチェーン・オブ・シンクレットを提案し,その微調整には,自己再生に基づく性能条件付き生成と合成データ拡張が含まれる。
論文 参考訳（メタデータ） (2023-02-15T18:59:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。