論文の概要: Prism: Symbolic Superoptimization of Tensor Programs
- arxiv url: http://arxiv.org/abs/2604.15272v1
- Date: Thu, 16 Apr 2026 17:43:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-17 21:29:32.034049
- Title: Prism: Symbolic Superoptimization of Tensor Programs
- Title(参考訳): Prism: テンソルプログラムのシンボル的最適化
- Authors: Mengdi Wu, Xiaoyu Jiang, Oded Padon, Zhihao Jia,
- Abstract要約: Prismはテンソルプログラムのための最初のシンボリック・スーパー最適化器である。
プログラムのファミリーを表すシンボリックグラフを構築し、それを具体的な実装にインスタンス化する。
Prismは、最高のスーパーオプティマイザよりも2.2倍のスピードアップ、最高のコンパイラベースのアプローチよりも4.9倍のスピードアップを実現している。
- 参考スコア(独自算出の注目度): 11.94665744167962
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents Prism, the first symbolic superoptimizer for tensor programs. The key idea is sGraph, a symbolic, hierarchical representation that compactly encodes large classes of tensor programs by symbolically representing some execution parameters. Prism organizes optimization as a two-level search: it constructs symbolic graphs that represent families of programs, and then instantiates them into concrete implementations. This formulation enables structured pruning of provably suboptimal regions of the search space using symbolic reasoning over operator semantics, algebraic identities, and hardware constraints. We develop techniques for efficient symbolic graph generation, equivalence verification via e-graph rewriting, and parameter instantiation through auto-tuning. Together, these components allow Prism to bridge the rigor of exhaustive search with the scalability required for modern ML workloads. Evaluation on five commonly used LLM workloads shows that Prism achieves up to $2.2\times$ speedup over best superoptimizers and $4.9\times$ over best compiler-based approaches, while reducing end-to-end optimization time by up to $3.4\times$.
- Abstract(参考訳): 本稿では,テンソルプログラムのシンボリック・スーパーオプティマイザであるPrismについて述べる。
キーとなるアイデアは、いくつかの実行パラメータを象徴的に表現することで、テンソルプログラムの大きなクラスをコンパクトにエンコードするシンボリックで階層的な表現であるsGraphである。
Prismは最適化を2段階の検索として組織し、プログラムのファミリーを表すシンボリックグラフを構築し、それらを具体的な実装にインスタンス化する。
この定式化により、作用素のセマンティクス、代数的アイデンティティ、ハードウェア制約に対するシンボリック推論を用いて、探索空間の証明可能な部分最適領域の構造化されたプルーニングが可能となる。
我々は,効率的な記号グラフ生成,電子グラフ書き換えによる等価性検証,自動チューニングによるパラメータのインスタンス化技術を開発した。
これらのコンポーネントを組み合わせることで、Prismは最新のMLワークロードに必要なスケーラビリティで、徹底的な検索の厳格さをブリッジすることができる。
一般的に使用されている5つのLLMワークロードの評価によると、Prismは、最高のスーパーオプティマイザよりも2.2\times$のスピードアップと、最高のコンパイラベースのアプローチよりも4.9\times$のスピードアップを実現し、エンドツーエンドの最適化時間を最大3.4\times$に短縮している。
関連論文リスト
- Parameter-optimal unitary synthesis with flag decompositions [0.0]
我々は一元合成のための中心的なツールとしてフラグ分解を導入する。
残りのフラグ回路が最適な回転数4n-2n$でパラメータ化されるように、自由度2n$の対角線を彫ることができます。
これにより、ジェネリックユニタリと行列生成物状態のためのパラメータ最適化量子回路を作成できる。
論文 参考訳(メタデータ) (2026-03-20T18:00:06Z) - Lighter-X: An Efficient and Plug-and-play Strategy for Graph-based Recommendation through Decoupled Propagation [49.865020394064096]
我々は,既存のGNNベースのレコメンデータアーキテクチャとシームレスに統合可能な,効率的かつモジュール化されたフレームワークである textbfLighter-X を提案する。
提案手法は,基本モデルの理論的保証と経験的性能を保ちながら,パラメータサイズと計算複雑性を大幅に低減する。
実験の結果、Lighter-Xはパラメータが大幅に少ないベースラインモデルに匹敵するパフォーマンスを実現している。
論文 参考訳(メタデータ) (2025-10-11T08:33:08Z) - Extreme Compression of Large Language Models via Additive Quantization [59.3122859349777]
我々のアルゴリズムは、AQLMと呼ばれ、情報検索のための古典的な加算量子化(AQ)アプローチを一般化する。
トークン生成のためのAQLMの高速GPUおよびCPU実装を提供しており、最適化されたFP16実装を高速にマッチングまたは性能良くすることができる。
論文 参考訳(メタデータ) (2024-01-11T18:54:44Z) - Performance Embeddings: A Similarity-based Approach to Automatic
Performance Optimization [71.69092462147292]
パフォーマンス埋め込みは、アプリケーション間でパフォーマンスチューニングの知識伝達を可能にする。
本研究では, 深層ニューラルネットワーク, 密度およびスパース線形代数合成, および数値風速予測ステンシルのケーススタディにおいて, この伝達チューニング手法を実証する。
論文 参考訳(メタデータ) (2023-03-14T15:51:35Z) - High-performance symbolic-numerics via multiple dispatch [52.77024349608834]
Symbolics.jlは拡張可能なシンボルシステムで、動的多重ディスパッチを使用してドメインのニーズに応じて振る舞いを変更する。
実装に依存しないアクションでジェネリックapiを形式化することで、システムに最適化されたデータ構造を遡及的に追加できることを示します。
従来の用語書き換えシンプリファイアと電子グラフベースの用語書き換えシンプリファイアをスワップする機能を実証する。
論文 参考訳(メタデータ) (2021-05-09T14:22:43Z) - ProGraML: Graph-based Deep Learning for Program Optimization and
Analysis [16.520971531754018]
本稿では,機械学習のためのグラフベースのプログラム表現であるProGraMLを紹介する。
ProGraMLは平均94.0F1スコアを獲得し、最先端のアプローチを著しく上回っている。
そして、我々のアプローチを2つのハイレベルなタスク - 不均一なデバイスマッピングとプログラム分類 - に適用し、その両方で新しい最先端のパフォーマンスを設定します。
論文 参考訳(メタデータ) (2020-03-23T20:27:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。