論文の概要: Small Language Models as Compiler Experts: Auto-Parallelization for Heterogeneous Systems

• arxiv url: http://arxiv.org/abs/2512.19250v1
• Date: Mon, 22 Dec 2025 10:34:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-23 18:54:32.715814
• Title: Small Language Models as Compiler Experts: Auto-Parallelization for Heterogeneous Systems
• Title（参考訳）: コンパイラエキスパートとしての小言語モデル:不均一システムのための自動並列化
• Authors: Prathamesh Devadiga,
• Abstract要約: 本稿では,小 (約1B パラメータ) 言語モデル駆動型コンパイラの自動並列化の総合評価について述べる。 我々は、11の現実世界のカーネルにわたる6つの推論戦略を用いて、gemma3、llama3.2、qwen2.5の3つのモデルを評価する。 376件の総合評価において,提案手法は畳み込み動作における平均速度6.81倍,ピーク性能43.25倍を達成する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Traditional auto-parallelizing compilers, reliant on rigid heuristics, struggle with the complexity of modern heterogeneous systems. This paper presents a comprehensive evaluation of small (approximately 1B parameter) language-model-driven compiler auto-parallelization. We evaluate three models: gemma3, llama3.2, and qwen2.5, using six reasoning strategies across 11 real-world kernels drawn from scientific computing, graph algorithms, and machine learning. Our system is benchmarked against strong compiler baselines, including LLVM Polly, TVM, and Triton. Across 376 total evaluations, the proposed approach achieves an average speedup of 6.81x and a peak performance of 43.25x on convolution operations. We analyze scalability, verify correctness using multiple sanitizers, and confirm robustness across diverse compilers and hardware platforms. Our results demonstrate that small, efficient language models can serve as powerful reasoning engines for complex compiler optimization tasks.
• Abstract（参考訳）: 従来の自動並列化コンパイラは厳密なヒューリスティックに依存しており、現代の異種システムの複雑さに悩まされている。 本稿では,小 (約1B パラメータ) 言語モデル駆動型コンパイラの自動並列化の総合評価について述べる。 gemma3、llama3.2、qwen2.5の3つのモデルを評価し、科学計算、グラフアルゴリズム、機械学習から引き出された11の現実世界のカーネルに対する6つの推論戦略を用いた。 我々のシステムは、LLVM Polly、TVM、Tritonなど、強力なコンパイラベースラインに対してベンチマークされている。 376件の総合評価において,提案手法は畳み込み動作における平均速度6.81倍,ピーク性能43.25倍を達成する。 スケーラビリティを分析し、複数のサニタイザを使用して正当性を検証し、多様なコンパイラやハードウェアプラットフォーム間で堅牢性を確認する。 この結果から,小型かつ効率的な言語モデルが,複雑なコンパイラ最適化タスクの強力な推論エンジンとして機能することが示唆された。

関連論文リスト

• CURA: Size Isnt All You Need - A Compact Universal Architecture for On-Device Intelligence [0.6244816393907943]
  本稿では,多様な機械学習タスクに対して,コンパクトで軽量なソリューションを提供するアーキテクチャCURAを提案する。 コンパクト化のためには、ベースラインモデルに比べて最大2500倍のパラメータで等価な精度を実現した。 一般化のために、4つのNLPベンチマークと1つのコンピュータビジョンデータセットで一貫した性能を示した。
  論文  参考訳（メタデータ） (2025-09-29T11:06:37Z)
• EquiBench: Benchmarking Large Language Models' Reasoning about Program Semantics via Equivalence Checking [58.15568681219339]
  大規模言語モデル(LLM)を評価するための新しいベンチマークであるEquiBenchを紹介する。 このタスクは、プログラムのセマンティクスについて推論するモデルの能力を直接テストする。 19の最先端LCMを評価し、最も難しいカテゴリでは、最高の精度は63.8%と76.2%であり、50%のランダムベースラインよりわずかに高い。
  論文  参考訳（メタデータ） (2025-02-18T02:54:25Z)
• Predictor-Corrector Enhanced Transformers with Exponential Moving Average Coefficient Learning [73.73967342609603]
  トラクションエラーを最小限に抑えるための予測-相関学習フレームワークを提案する。 また、高次予測器を強化するために、指数関数的移動平均ベース係数学習法を提案する。 我々のモデルは3.8BのDeepNetを平均2.9のSacreBLEUで上回り、1/3のパラメータしか使用していない。
  論文  参考訳（メタデータ） (2024-11-05T12:26:25Z)
• A Method for Efficient Heterogeneous Parallel Compilation: A Cryptography Case Study [8.06660833012594]
  本稿では,多様なハードウェアアーキテクチャにまたがるデータ管理と並列計算を最適化するために,ハイパーという新しいMLIRベースの方言を提案する。 HETOCompilerは,複数のハッシュアルゴリズムを実装し,不均一なシステム上での実行を可能にする,暗号に着目したコンパイラのプロトタイプである。
  論文  参考訳（メタデータ） (2024-07-12T15:12:51Z)
• Should AI Optimize Your Code? A Comparative Study of Classical Optimizing Compilers Versus Current Large Language Models [0.0]
  大規模言語モデル(LLM)は、コード最適化に革命をもたらすAIアプローチの可能性に関する興味深い疑問を提起する。 この作業は、コンパイラコミュニティにとって重要な質問に答えることを目的としている。 本稿では3つの古典最適化コンパイラと2つの最近の大規模言語モデルの比較分析を行う。
  論文  参考訳（メタデータ） (2024-06-17T23:26:41Z)
• Large Language Models for Compiler Optimization [22.52765975286403]
  コードサイズに対してLLVMアセンブリを最適化するために,スクラッチからトレーニングしたトランスフォーマーモデルを提案する。 最適化前後の命令数と最適化コード自体を予測する。 提案手法は,コンパイラよりも命令数の削減が3.0%向上する。
  論文  参考訳（メタデータ） (2023-09-11T22:11:46Z)
• HDCC: A Hyperdimensional Computing compiler for classification on embedded systems and high-performance computing [58.720142291102135]
  この研究は、HDC分類メソッドの高レベルな記述を最適化されたCコードに変換する最初のオープンソースコンパイラである、ネームコンパイラを紹介している。 nameは現代のコンパイラのように設計されており、直感的で記述的な入力言語、中間表現(IR)、再ターゲット可能なバックエンドを備えている。 これらの主張を裏付けるために,HDC文献で最もよく使われているデータセットについて,HDCCを用いて実験を行った。
  論文  参考訳（メタデータ） (2023-04-24T19:16:03Z)
• GLaM: Efficient Scaling of Language Models with Mixture-of-Experts [84.33607245023049]
  我々はGLaM(Generalist Language Model)という言語モデル群を提案し,開発する。 GLaMは、厳密な変種に比べてトレーニングコストを大幅に削減しつつ、モデルのキャパシティを拡大するために、わずかに活性化されたミックス・オブ・エキスパートアーキテクチャを使用する。 GPT-3の訓練に使用するエネルギーの1/3しか消費せず、推論にはフロップの半分しか必要とせず、29のNLPタスクにまたがる全体的なゼロショットとワンショットのパフォーマンスは向上している。
  論文  参考訳（メタデータ） (2021-12-13T18:58:19Z)
• Enabling Retargetable Optimizing Compilers for Quantum Accelerators via a Multi-Level Intermediate Representation [78.8942067357231]
  我々は、最適化され、再ターゲット可能で、事前コンパイルが可能なマルチレベル量子古典中間表現(IR)を提案する。 ゲートベースのOpenQASM 3言語全体をサポートし、共通量子プログラミングパターンのカスタム拡張と構文の改善を提供します。 私たちの研究は、通常のPythonのアプローチよりも1000倍高速で、スタンドアロンの量子言語コンパイラよりも5～10倍高速なコンパイル時間を実現しています。
  論文  参考訳（メタデータ） (2021-09-01T17:29:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。