論文の概要: Cleave: Scaling Tensor Program Optimization via Decoupled Algebraic Search and Operator Scheduling
- arxiv url: http://arxiv.org/abs/2610.07742v1
- Date: Tue, 06 Oct 2026 04:37:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.802522
- Title: Cleave: Scaling Tensor Program Optimization via Decoupled Algebraic Search and Operator Scheduling
- Title（参考訳）: Cleave: Decoupled Algebraic SearchとOperator Schedulingによるテンソルプログラムのスケーリング
- Abstract要約: シンボリックデカップリングに基づくMLコンパイラであるCleaveを提案する。
クリーブは、シンボル形状のグラフ上で超最適化を行うことで変換を発見し、その結果のグラフを具体的な形状にスケジュールする。
LLMサブグラフの評価では、Cleaveは最高のベースラインよりも2.8倍高速なカーネルを生成する。
- 参考スコア（独自算出の注目度）: 6.571815138040706
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Optimized kernels such as FlashAttention and FlashDecoding are crucial for accelerating today's large models. Most of them are handwritten by experts because existing ML compilers cannot match their efficiency. Producing such kernels requires fusing computations with multiple reductions, which requires both algebraic transformation of the computation graph and operator scheduling of the transformed graph. Unfortunately, searching the two jointly yields a space too large to navigate. We propose Cleave, an ML compiler built on symbolic decoupling: Cleave discovers transformations by performing superoptimization on a graph with symbolic shapes, and then schedules each resulting graph on concrete shapes. Representing shapes as symbols makes equivalence checking cheap and lets a new Split operator, with a symbolic split count, parallelize along a reduction dimension. Cleave's scheduler fuses graphs with multiple reductions through iterative tiling and horizontal fusion. Evaluation on common LLM subgraphs shows that Cleave generates kernels up to 2.8x faster than the best baseline (1.6x on average) and reduces compilation time by 5.9x on average compared to Mirage. For dynamic workloads captured from production serving traces, Cleave compiles each operator once and achieves geometric mean speedups of 1.4x and 1.7x over FlashInfer's handwritten FA2 and FA3 backends. Cleave's code is available at: https://github.com/nyu-systems/cleave
- Abstract（参考訳）: FlashAttentionやFlashDecodingといった最適化されたカーネルは、今日の大規模モデルの加速に不可欠である。
既存のMLコンパイラはその効率と一致しないため、その多くは専門家によって手書きされている。
このようなカーネルの生成には、複数のリダクションを持つ融合計算が必要であり、計算グラフの代数変換と変換グラフの演算子スケジューリングの両方が必要となる。
残念なことに、この2つを共同で探すと、ナビゲートするにはスペースが大きすぎる。
シンボリックデカップリングに基づいて構築されたMLコンパイラであるCleaveを提案する。
図形をシンボルとして表現することで、同値チェックを安くし、シンボル分割数を持つ新しいスプリット演算子を、縮小次元に沿って並列化させる。
クリーブのスケジューラは、反復的なタイリングと水平融合によってグラフを複数の還元で融合する。
LLMサブグラフの評価では、Cleaveは最良ベースライン(平均1.6倍)よりも最大2.8倍高速なカーネルを生成し、Mirageと比較してコンパイル時間を平均5.9倍削減している。
運用中のトレースから取得した動的ワークロードに対して、Cleaveは各オペレータを一度コンパイルし、FlashInferの手書きFA2およびFA3バックエンド上で、幾何平均スピードアップの1.4倍と1.7倍を達成する。
Cleaveのコードは、https://github.com/nyu-systems/cleave.comで入手できる。
関連論文リスト
- Tensor Seeks Layout: Formalizing Layout Selection for ML Compilers [3.2480918384725306]
本稿では,機械学習コンパイラにおけるレイアウト選択に関する最初の公式研究について述べる。
データフローグラフの最適化としてこの問題を定式化し、演算子の実行コストとこれらの変換のテンソル毎のコストを最小化する。
我々は,AIアクセラレータの本番コンパイラの形式化を実装し,greedysの下でのコンパイルモデルの実行時間を計測する。
論文 参考訳（メタデータ） (2026-08-21T18:44:48Z) - Accelerating GPU Inference of Large Language Models with Moderately Unstructured Sparse Weight Matrices [18.428868416628017]
本稿では,中程度間隔の大規模言語モデル(LLM)に対する効率的な推論手法を提案する。
SpInferで最大1.64倍のスピードアップを実現し、FlashLLMで最大1.41倍のエンドツーエンドスピードアップを実現している。
論文 参考訳（メタデータ） (2026-06-13T13:38:27Z) - Rethinking Efficient Graph Coarsening via a Non-Selfishness Principle [56.92868481531399]
粗大化における近隣住民の集団干渉を優先する非利己的原則を提案する。
局所等方性仮定に基づいて、O(dot d)干渉評価をO(d)に還元する高速なNOPE*を導出する。
粗いグラフの学習は、元のグラフに匹敵する性能を示し、LLMベースのグラフ推論よりも優れた性能を示すことができる。
論文 参考訳（メタデータ） (2026-05-13T05:24:35Z) - GraphMend: Code Transformations for Fixing Graph Breaks in PyTorch 2 [3.3228118981378816]
GraphMendは、PyTorch 2プログラムのFXグラフのブレークを排除したハイレベルコンパイラである。
NVIDIA 3090とA40では、GraphMendは最大75%のレイテンシ削減と最大8%のエンドツーエンドスループットを実現している。
論文 参考訳（メタデータ） (2025-09-17T17:15:35Z) - Automatic Task Parallelization of Dataflow Graphs in ML/DL models [0.0]
本稿では,MLデータフローグラフに固有の並列パスを利用する線形クラスタリング手法を提案する。
我々はONNX形式で入力MLモデルから可読かつ実行可能な並列Pytorch+Pythonコードを生成する。
いくつかのMLグラフの予備結果は、シリアル実行よりも1.9$times$スピードアップである。
論文 参考訳（メタデータ） (2023-08-22T04:54:30Z) - Efficient Signed Graph Sampling via Balancing & Gershgorin Disc Perfect
Alignment [51.74913666829224]
強い反相関を持つデータセットに対して、適切なグラフは正および負のエッジ重みの両方を含むことを示す。
本稿では,平衡符号グラフの概念に着目した線形時間符号グラフサンプリング手法を提案する。
実験結果から, 署名付きグラフサンプリング手法は, 各種データセットにおいて, 既存の高速サンプリング方式よりも優れた性能を示した。
論文 参考訳（メタデータ） (2022-08-18T09:19:01Z) - NumS: Scalable Array Programming for the Cloud [82.827921577004]
タスクベース分散システム上でNumPyのような表現を最適化する配列プログラミングライブラリであるNumSを提案する。
これはLoad Simulated Hierarchical Scheduling (LSHS)と呼ばれる新しいスケジューラによって実現される。
LSHSは、ネットワーク負荷を2倍減らし、メモリを4倍減らし、ロジスティック回帰問題において実行時間を10倍減らし、Rayの性能を向上させる。
論文 参考訳（メタデータ） (2022-06-28T20:13:40Z) - Monarch: Expressive Structured Matrices for Efficient and Accurate
Training [64.6871423399431]
大規模なニューラルネットワークは多くのドメインで優れているが、トレーニングや微調整は高価である。
計算やメモリ要件を減らすための一般的なアプローチは、重み付け行列を構造化行列に置き換えることである。
ハードウェア効率のよい行列(Monarch)のクラスを提案する。
論文 参考訳（メタデータ） (2022-04-01T17:37:29Z) - VersaGNN: a Versatile accelerator for Graph neural networks [81.1667080640009]
我々は,超効率的なサイストリックアレイベースの多用途ハードウェアアクセラレータである textitVersaGNN を提案する。
textitVersaGNNは平均3712$times$ speedup with 1301.25$times$ energy reduction on CPU、35.4$times$ speedup with 17.66$times$ energy reduction on GPUを達成している。
論文 参考訳（メタデータ） (2021-05-04T04:10:48Z) - Force2Vec: Parallel force-directed graph embedding [3.577310844634503]
グラフ埋め込みアルゴリズムはグラフを低次元空間に埋め込み、グラフ固有の性質を保存する。
我々は、機械学習(ML)と可視化タスクの両方に優れるグラフ埋め込み設定において、フォース指向グラフレイアウトモデルを使用するForce2Vecを開発した。
論文 参考訳（メタデータ） (2020-09-17T03:53:25Z) - Straggler-aware Distributed Learning: Communication Computation Latency
Trade-off [56.08535873173518]
ストラグワーカーは冗長な計算を割り当て、データと計算をまたいでコーディングすることで許容できる。
既存のほとんどのスキームでは、各非ストラグリングワーカーは、全ての計算を完了した後、1イテレーションごとに1つのメッセージをパラメータサーバ(PS)に送信する。
このような制限を課すことで、ストレグリング動作の不正確な予測による過剰計算と、ストレグラー/非ストレグラーとしての作業員の処理による未使用の2つの主な欠点が生じる。
論文 参考訳（メタデータ） (2020-04-10T08:39:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。