Fugu-MT 論文翻訳(概要): Deep Learning Compilers: Architecture, Optimization, and Empirical Characterization

論文の概要: Deep Learning Compilers: Architecture, Optimization, and Empirical Characterization

arxiv url: http://arxiv.org/abs/2611.04273v1
Date: Tue, 03 Nov 2026 04:02:15 GMT
ステータス: 翻訳完了
システム内更新日: 2026-11-11 00:39:26.773618
Title: Deep Learning Compilers: Architecture, Optimization, and Empirical Characterization
Title（参考訳）: ディープラーニングコンパイラ: アーキテクチャ、最適化、実証評価
Abstract要約: ディープラーニング(DL)モデルはますます複雑になり、ハードウェアアーキテクチャはより異質になる。本稿では, DLコンパイラのアーキテクチャ進化, コンパイル, 最適化技術について述べる。体系的なアーキテクチャ分析と定量的な実験的証拠を組み合わせることで、現代のDLコンパイラの設計、最適化、実践的な展開に関する洞察を提供する。
参考スコア（独自算出の注目度）: 12.718009707161805
License: http://creativecommons.org/licenses/by/4.0/
Abstract: As deep learning (DL) models become increasingly complex and hardware architectures grow more heterogeneous, DL compilers play a critical role in optimizing computational efficiency and enabling scalable deployment. This paper presents a systematic analysis of DL compilers, covering their architectural evolution, compilation workflows, optimization techniques, and emerging research directions. We organize DL compiler architectures into frontend, middle-end, and backend stages, emphasizing the role of the middle-end in connecting high-level model representations with hardware-specific optimizations. We further examine representative DL compilers and recent optimization techniques across different compilation stages. Beyond architectural and technical analysis, we conduct an empirical evaluation of compiler behaviors to investigate the effectiveness of graph optimization, compilation overhead, and dynamic-shape handling. Experiments using PyTorch/TorchInductor on an NVIDIA RTX A6000 demonstrate that compiler benefits depend strongly on workload characteristics, with speedups of up to 8.21\times for fusion-friendly computation graphs, while other workloads exhibit limited improvements. Our results further reveal that compilation overhead can require thousands of executions to amortize, and dynamic-shape compilation reduces cumulative shape-transition costs by approximately 70\% at the expense of modest steady-state performance degradation. By combining systematic architectural analysis with quantitative experimental evidence, this work provides insights into the design, optimization, and practical deployment of modern DL compilers.
Abstract（参考訳）: ディープラーニング(DL)モデルが複雑化し、ハードウェアアーキテクチャがさらに異質になるにつれて、DLコンパイラは計算効率を最適化し、スケーラブルなデプロイメントを実現する上で重要な役割を果たす。本稿では, DLコンパイラのアーキテクチャ進化, コンパイルワークフロー, 最適化技術, 新たな研究方向性について, 系統的な解析を行った。 DLコンパイラアーキテクチャをフロントエンド、ミドルエンド、バックエンドのステージに整理し、ハイレベルモデル表現とハードウェア固有の最適化を接続する際のミドルウェアの役割を強調します。さらに、様々なコンパイル段階における代表型DLコンパイラと最近の最適化手法について検討する。アーキテクチャおよび技術的解析の他に、グラフ最適化、コンパイルオーバーヘッド、動的形状処理の有効性を調べるために、コンパイラの挙動を実証的に評価する。 NVIDIA RTX A6000でPyTorch/TorchInductorを使用した実験では、コンパイラの利点がワークロード特性に強く依存していることが示されている。さらに, 動的形状のコンパイルでは, 一定状態の性能劣化を犠牲にして, 累積形状変換コストを約70 %削減できることがわかった。体系的なアーキテクチャ分析と定量的な実験的証拠を組み合わせることで、現代のDLコンパイラの設計、最適化、実践的な展開に関する洞察を提供する。

関連論文リスト

PerfDojo: Automated ML Library Generation for Heterogeneous Architectures [28.513777562827485]
大規模言語モデル(LLM)と強化学習(RL)を活用した新しい自動最適化手法PerfLLMを紹介する。 PerfDojoは、ヒューマン可読で数学的にインスパイアされたコード表現を使用して、変換による意味論的妥当性を保証するRLゲームとして、環境フレーミングの最適化である。 PerfLLMの様々なCPU(x86、Arm、RISC-V)とGPUアーキテクチャ間で大きなパフォーマンス向上を実現する能力を示す。
論文参考訳（メタデータ） (2025-11-05T16:05:26Z)
REASONING COMPILER: LLM-Guided Optimizations for Efficient Model Serving [6.19179006129561]
本稿では,逐次的かつコンテキスト対応な意思決定プロセスとして最適化を定式化する,新しいコンパイルフレームワーク(Dubbed Reasoning)を提案する。提案手法は,LLM誘導推論がコンパイラ最適化のランドスケープを変革する可能性を示す。
論文参考訳（メタデータ） (2025-06-02T07:02:46Z)
Leveraging Neural Graph Compilers in Machine Learning Research for Edge-Cloud Systems [5.241450170761232]
この研究は、異種ハードウェアプラットフォーム間でのニューラルネットワークグラフコンパイラの包括的な評価を示す。系統解析により,グラフコンパイラは,ニューラルネットワークとバッチサイズの両方に依存する性能パターンを示すことがわかった。バッチサイズが大きくなるにつれて、パフォーマンスの摩擦を軽減するコンパイラの能力を定量化する新しいメトリクスを導入します。
論文参考訳（メタデータ） (2025-04-28T19:02:16Z)
CompilerDream: Learning a Compiler World Model for General Code Optimization [58.87557583347996]
汎用コード最適化のためのモデルベース強化学習手法であるCompilerDreamを紹介する。最適化パスの固有の特性を正確にシミュレートするコンパイラの世界モデルと、このモデルで訓練されたエージェントから、効率的な最適化戦略を生成する。さまざまなデータセットを網羅し、LLVMのビルトイン最適化や、値予測とエンドツーエンドコード最適化の両方の設定における最先端メソッドを超越している。
論文参考訳（メタデータ） (2024-04-24T09:20:33Z)
Mechanistic Design and Scaling of Hybrid Architectures [114.3129802943915]
我々は、様々な計算プリミティブから構築された新しいハイブリッドアーキテクチャを特定し、テストする。本研究では,大規模計算最適法則と新しい状態最適スケーリング法則解析を用いて,結果のアーキテクチャを実験的に検証する。我々は,MAD合成法と計算-最適パープレキシティを相関させ,新しいアーキテクチャの正確な評価を可能にする。
論文参考訳（メタデータ） (2024-03-26T16:33:12Z)
Harnessing Deep Learning and HPC Kernels via High-Level Loop and Tensor Abstractions on CPU Architectures [67.47328776279204]
この研究は、効率的でポータブルなDeep LearningとHigh Performance Computingカーネルを開発するためのフレームワークを導入している。 1)プロセッシングプリミティブ(TPP)を用いた計算コアの表現と,2)高レベルな宣言的手法でTPPのまわりの論理ループの表現の2つのステップでカーネルの開発を分解する。我々は、スタンドアロンカーネルと、さまざまなCPUプラットフォームにおける最先端実装よりも優れたエンドツーエンドワークロードを使用して、このアプローチの有効性を実証する。
論文参考訳（メタデータ） (2023-04-25T05:04:44Z)
Learning Performance-Improving Code Edits [107.21538852090208]
本稿では,大規模言語モデル(LLM)を高レベルプログラム最適化に適用するためのフレームワークを提案する。まず、競争力のある77,000以上のC++プログラミングサブミッションペアによる、人間のプログラマによるパフォーマンス改善編集のデータセットをキュレートする。提案手法は,検索をベースとした少数ショットプロンプトとチェーン・オブ・シンクレットを提案し,その微調整には,自己再生に基づく性能条件付き生成と合成データ拡張が含まれる。
論文参考訳（メタデータ） (2023-02-15T18:59:21Z)
PolyDL: Polyhedral Optimizations for Creation of High Performance DL primitives [55.79741270235602]
本稿では,Deep Learningプリミティブの高性能実装を自動的に生成するコンパイラアルゴリズムを提案する。我々は多面体モデルを用いた新しいデータ再利用分析アルゴリズムを開発した。また、このようなハイブリッドコンパイラとライブラリ使用の最小限のアプローチが、最先端のパフォーマンスをもたらすことを示す。
論文参考訳（メタデータ） (2020-06-02T06:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。