論文の概要: Tensor Seeks Layout: Formalizing Layout Selection for ML Compilers
- arxiv url: http://arxiv.org/abs/2608.21555v1
- Date: Fri, 21 Aug 2026 18:44:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.270832
- Title: Tensor Seeks Layout: Formalizing Layout Selection for ML Compilers
- Title（参考訳）: Tensor Sees Layout - MLコンパイラのレイアウト選択の形式化
- Abstract要約: 本稿では,機械学習コンパイラにおけるレイアウト選択に関する最初の公式研究について述べる。
データフローグラフの最適化としてこの問題を定式化し、演算子の実行コストとこれらの変換のテンソル毎のコストを最小化する。
我々は,AIアクセラレータの本番コンパイラの形式化を実装し,greedysの下でのコンパイルモデルの実行時間を計測する。
- 参考スコア（独自算出の注目度）: 3.2480918384725306
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern machine learning compilers select tensor memory layouts to minimize execution cost under hardware constraints. Layout selection is global: an operator may be fastest under one layout while its consumers prefer another, and aligning these preferences requires explicit layout conversions that can hurt model performance. Despite its practical importance, layout selection lacks a formal basis, so current compilers rely on ad-hoc heuristics. This paper presents the first formal study of layout selection in machine learning compilers. We formulate the problem as combinatorial optimization over dataflow graphs, minimizing the sum of operator execution costs and the per-tensor cost of these conversions. Our theoretical analysis shows that optimal layout selection is computationally hard, even for programs containing only matrix multiplications over two-dimensional tensors. We design an optimal polynomial-time algorithm for dataflow graphs of bounded treewidth. For general instances, we give a weighted MaxSAT encoding that an off-the-shelf solver can optimize. The formulation unifies several existing layout optimization strategies, including XLA's layout assignment, partition dimension selection in systolic array compilers, and layout planning in mobile GPU optimizers. We implement the formalization in a production compiler for an AI accelerator and measure the execution time of the compiled models under greedy heuristics, the compiler's rule-based strategy, and an optimal solver. Simple heuristics degrade execution time by up to $5\times$ on some workloads. Where the compiler's cost model is accurate, the solver matches or beats the rule-based strategy. On workloads with complex data movement it falls behind, and since the solver minimizes the stated objective exactly, that gap isolates cost-model error from search quality, showing where compiler effort actually pays off.
- Abstract（参考訳）: 現代の機械学習コンパイラは、ハードウェア制約下での実行コストを最小限に抑えるために、テンソルメモリレイアウトを選択する。
オペレータは1つのレイアウトで最速であり、コンシューマは別のレイアウトを好み、これらの好みを調整するには、モデルのパフォーマンスを損なうような明示的なレイアウト変換が必要である。
実際の重要性にもかかわらず、レイアウトの選択には正式な基礎がないため、現在のコンパイラはアドホックなヒューリスティックに依存している。
本稿では,機械学習コンパイラにおけるレイアウト選択に関する最初の公式研究について述べる。
データフローグラフに対する組合せ最適化としてこの問題を定式化し、演算子の実行コストとこれらの変換のテンソル毎のコストを最小化する。
理論解析により, 2次元テンソル上の行列乗算のみを含むプログラムであっても, 最適配置選択は計算的に困難であることが示唆された。
木幅境界データフローグラフに対する最適多項式時間アルゴリズムを設計する。
一般的な例として、オフザシェルフソルバが最適化可能であるように、重み付きMaxSATを符号化する。
この定式化は、XLAのレイアウト割り当て、シストリクスアレイコンパイラのパーティションディメンション選択、モバイルGPUオプティマイザのレイアウト計画など、既存のレイアウト最適化戦略を統一する。
我々は,AIアクセラレータ用の実運用コンパイラの形式化を実装し,強欲なヒューリスティックスの下でのコンパイルモデルの実行時間,コンパイラのルールベース戦略,最適解法などを測定する。
単純なヒューリスティックスは、いくつかのワークロードで実行時間を最大5\times$に下げる。
コンパイラのコストモデルが正確であれば、ソルバはルールベースの戦略にマッチするか、打ち勝つ。
複雑なデータムーブメントを持つワークロードでは、ソルバが指定した目的を正確に最小化するため、そのギャップは、コストモデルエラーを検索品質から分離し、コンパイラの労力が実際にどこに支払われるかを示す。
関連論文リスト
- SkyEgg: Joint Implementation Selection and Scheduling for Hardware Synthesis using E-graphs [2.363352915727704]
実装の選択とスケジューリングを協調的に最適化する新しいハードウェア合成フレームワークSkyEggを提案する。
SkyEggはVitisで平均3.01倍のスピードアップを実現し、複雑な式では5.22倍に改善されている。
論文 参考訳（メタデータ） (2025-11-19T10:39:45Z) - Learning Grouped Lattice Vector Quantizers for Low-Bit LLM Compression [57.54335545892155]
本稿では,各重みの群に独自の格子コードブックを割り当てるGLVQ(Grouped Lattice Vector Quantization)フレームワークを紹介する。
提案手法は,既存のトレーニング後の量子化ベースラインと比較して,モデルサイズと精度のトレードオフが良好である。
論文 参考訳（メタデータ） (2025-10-23T20:19:48Z) - FFT-based Dynamic Subspace Selection for Low-Rank Adaptive Optimization of Large Language Models [49.397861654088636]
低次元空間へのSVD/QRベースの勾配射影を近似する2段階の手順を提案する。
当社の戦略はランタイムの高速化とメモリ使用量の削減を,さまざまなモデルサイズで最大25%削減できることが示されています。
論文 参考訳（メタデータ） (2025-05-23T14:37:00Z) - Morello: Compiling Fast Neural Networks with Dynamic Programming and Spatial Compression [5.995843028932167]
本稿では,大規模なプログラム仕様をより小さな仕様に分解することで,検索空間をより深く探求するための動的プログラミングに基づくアプローチを提案する。
メモリ要求を減らすために,Z_geq 0$の座標で仕様をインデックス化し,同一の隣接解を圧縮する,新しいメモ表表現を用いる。
論文 参考訳（メタデータ） (2025-05-03T00:14:31Z) - CompilerDream: Learning a Compiler World Model for General Code Optimization [58.87557583347996]
汎用コード最適化のためのモデルベース強化学習手法であるCompilerDreamを紹介する。
最適化パスの固有の特性を正確にシミュレートするコンパイラの世界モデルと、このモデルで訓練されたエージェントから、効率的な最適化戦略を生成する。
さまざまなデータセットを網羅し、LLVMのビルトイン最適化や、値予測とエンドツーエンドコード最適化の両方の設定における最先端メソッドを超越している。
論文 参考訳（メタデータ） (2024-04-24T09:20:33Z) - Large Language Models for Compiler Optimization [22.52765975286403]
コードサイズに対してLLVMアセンブリを最適化するために,スクラッチからトレーニングしたトランスフォーマーモデルを提案する。
最適化前後の命令数と最適化コード自体を予測する。
提案手法は,コンパイラよりも命令数の削減が3.0%向上する。
論文 参考訳（メタデータ） (2023-09-11T22:11:46Z) - ALT: Breaking the Wall between Graph and Operator Level Optimizations
for Deep Learning Compilation [38.8918502461244]
ALTはディープモデルのためのグラフと演算子レベルの共同最適化を行うコンパイラである。
JOGは、単一の演算子の性能とエンドツーエンドの推論性能の両方の観点から、最先端のコンパイラ(例えばAnsor)よりも大幅に優れている。
論文 参考訳（メタデータ） (2022-10-22T11:09:36Z) - Towards Optimal VPU Compiler Cost Modeling by using Neural Networks to
Infer Hardware Performances [58.720142291102135]
VPUNN"は低レベルのタスクプロファイリングに基づいてトレーニングされたニューラルネットワークベースのコストモデルである。
これは、IntelのVPUプロセッサのラインにおける最先端のコストモデリングよりも一貫して優れている。
論文 参考訳（メタデータ） (2022-05-09T22:48:39Z) - A Deep Learning Based Cost Model for Automatic Code Optimization [0.24629531282150877]
自動コード最適化のための新しいディープラーニングベースのコストモデルを提案する。
Tiramisuコンパイラに統合され、最適なコード変換を選択した。
提案手法は,プログラム全体の高速化予測において平均絶対誤差の16%しか持たない。
論文 参考訳（メタデータ） (2021-04-11T08:32:42Z) - Kernel methods through the roof: handling billions of points efficiently [94.31450736250918]
カーネル法は、非パラメトリック学習に対するエレガントで原則化されたアプローチを提供するが、今のところ大規模な問題ではほとんど利用できない。
最近の進歩は、最適化、数値線形代数、ランダム射影など、多くのアルゴリズム的アイデアの利点を示している。
ここでは、これらの取り組みをさらに進めて、GPUハードウェアを最大限に活用する解決器を開発し、テストする。
論文 参考訳（メタデータ） (2020-06-18T08:16:25Z) - Global Optimization of Gaussian processes [52.77024349608834]
少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。
このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。
提案手法の順序の順序による時間収束を,総じて低減する。
論文 参考訳（メタデータ） (2020-05-21T20:59:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。