論文の概要: RuleFlow : Generating Reusable Program Optimizations with LLMs
- arxiv url: http://arxiv.org/abs/2602.09051v1
- Date: Fri, 06 Feb 2026 21:08:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-11 20:17:43.154587
- Title: RuleFlow : Generating Reusable Program Optimizations with LLMs
- Title(参考訳): RuleFlow : LLMを用いた再利用可能なプログラム最適化の生成
- Authors: Avaljot Singh, Dushyant Bharadwaj, Stefanos Baziotis, Kaushik Varadharajan, Charith Mendis,
- Abstract要約: デプロイからディスカバリを分離する,3段階的なハイブリッドアプローチを導入しています。
RuleFlowがPandasBench上の新しい最先端(SOTA)Pandas最適化フレームワークであることを実証する。
- 参考スコア(独自算出の注目度): 2.862995297420668
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Optimizing Pandas programs is a challenging problem. Existing systems and compiler-based approaches offer reliability but are either heavyweight or support only a limited set of optimizations. Conversely, using LLMs in a per-program optimization methodology can synthesize nontrivial optimizations, but is unreliable, expensive, and offers a low yield. In this work, we introduce a hybrid approach that works in a 3-stage manner that decouples discovery from deployment and connects them via a novel bridge. First, it discovers per-program optimizations (discovery). Second, they are converted into generalised rewrite rules (bridge). Finally, these rules are incorporated into a compiler that can automatically apply them wherever applicable, eliminating repeated reliance on LLMs (deployment). We demonstrate that RuleFlow is the new state-of-the-art (SOTA) Pandas optimization framework on PandasBench, a challenging Pandas benchmark consisting of Python notebooks. Across these notebooks, we achieve a speedup of up to 4.3x over Dias, the previous compiler-based SOTA, and 1914.9x over Modin, the previous systems-based SOTA. Our code is available at https://github.com/ADAPT-uiuc/RuleFlow.
- Abstract(参考訳): Pandasプログラムの最適化は難しい問題だ。
既存のシステムとコンパイラベースのアプローチは信頼性を提供するが、ヘビーウェイトか、限られた最適化のみをサポートする。
逆に、プログラムごとの最適化手法でLLMを使用することで、非自明な最適化を合成できるが、信頼性が低く、コストも高く、収率も低い。
本研究では,3段階的なハイブリッドアプローチを導入し,デプロイから発見を分離し,新たなブリッジを通じてそれらを接続する。
まず、プログラムごとの最適化(発見)を発見する。
第二に、それらは一般化された書き直し規則(ブリッジ)に変換される。
最後に、これらのルールはコンパイラに組み込まれ、自動的に適用できる。
RuleFlowはPythonノートブックで構成されるPandasベンチマークであるPandasBench上の新しい最先端(SOTA)Pandas最適化フレームワークであることを示す。
これらのノートブック全体では、以前のコンパイラベースのSOTAであるDiasの最大4.3倍、以前のシステムベースのSOTAであるModinの1914.9倍のスピードアップを実現している。
私たちのコードはhttps://github.com/ADAPT-uiuc/RuleFlowで利用可能です。
関連論文リスト
- Adaptive Matrix Online Learning through Smoothing with Guarantees for Nonsmooth Nonconvex Optimization [54.723834588133165]
我々は,演算子AMLによる行列変数を用いたオンライン線形最適化について検討した。
プロジェクションを避ける2つの効率的な手法でこのフレームワークをインスタンス化する。
両手法とも, クローズドフォーム更新はシャンプーの後悔と一致し, 計算コストを大幅に削減することを示した。
論文 参考訳(メタデータ) (2026-02-09T03:09:47Z) - Panther: Faster and Cheaper Computations with Randomized Numerical Linear Algebra [0.0]
我々は、既存のRandNLAアルゴリズムを単一の高性能フレームワークに統合するPyTorch互換ライブラリであるPantherを紹介する。
我々はRandNLA技術の有効性とPantherの採用容易性を示す。
論文 参考訳(メタデータ) (2026-01-21T21:23:00Z) - Rewriting Pre-Training Data Boosts LLM Performance in Math and Code [21.587613905318705]
Llama 3.3 Community Licenseの下でリリースされた2つのデータセットを導入し、大きな言語モデル(LLM)のパフォーマンスを大幅に向上させる。
SwallowCodeはPythonスニペットを,構文検証,ピリントベースのスタイルフィルタリング,2段階の書き換えプロセスという,新しい4段階のパイプラインを通じて洗練する。
We show that continual pre-training of Llama-3.1-8B with SwallowCode boosts pass@1 by +17.0 on HumanEval and +17.7 on HumanEval+ than Stack-Edu。
論文 参考訳(メタデータ) (2025-05-05T07:38:43Z) - Training Deep Learning Models with Norm-Constrained LMOs [56.00317694850397]
線形最小化オラクル(LMO)を用いて問題の幾何学に適応する新しいアルゴリズム群を提案する。
我々は,Adamに頼らずに,我々のアルゴリズムであるScionを用いたナノGPTトレーニングの大幅な高速化を示す。
論文 参考訳(メタデータ) (2025-02-11T13:10:34Z) - Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
本研究では,プルーンドモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する最適化に基づく構造的プルーニングを提案する。
我々は、基底となるベルヌーイ分布をサンプルのバイナリ・プルーニングマスクに学習することでこれを実現する。
LLaMA, LLaMA-2, LLaMA-3, Vicuna, Mistral モデルによる実験により, 本手法の有効性と有効性を示すことができた。
論文 参考訳(メタデータ) (2024-06-15T09:31:03Z) - Scaling Sparse Fine-Tuning to Large Language Models [67.59697720719672]
大きな言語モデル(LLM)は、パラメータの数が多いため、完全な微調整が難しい。
本研究では,パラメータの配列とパラメータのデルタを事前学習した値に対して保持する新しいスパース微調整法SpIELを提案する。
提案手法は,LoRAのようなパラメータ効率の高い微調整法よりも性能が優れ,実行時間も同等であることを示す。
論文 参考訳(メタデータ) (2024-01-29T18:43:49Z) - ACPO: AI-Enabled Compiler Framework [1.752593459729982]
本稿では,AI-Enabled Compiler FrameworkのACPOについて述べる。
LLVMには、さまざまな最適化パスにMLモデルを使用するメリットを享受する、シンプルで包括的なツールが提供されている。
LLVMのO3と比較すると,ACPOはPolybenchで4.5%,Cbenchで2.4%の高速化を実現している。
論文 参考訳(メタデータ) (2023-12-15T17:49:24Z) - ELRA: Exponential learning rate adaption gradient descent optimization
method [83.88591755871734]
我々は, 高速(指数率), ab initio(超自由)勾配に基づく適応法を提案する。
本手法の主な考え方は,状況認識による$alphaの適応である。
これは任意の次元 n の問題に適用でき、線型にしかスケールできない。
論文 参考訳(メタデータ) (2023-09-12T14:36:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。