論文の概要: VecTrans: Enhancing Compiler Auto-Vectorization through LLM-Assisted Code Transformations

• arxiv url: http://arxiv.org/abs/2503.19449v3
• Date: Wed, 04 Jun 2025 07:49:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 13:54:39.429655
• Title: VecTrans: Enhancing Compiler Auto-Vectorization through LLM-Assisted Code Transformations
• Title（参考訳）: VecTrans: LLMによるコード変換によるコンパイラの自動ベクタライゼーションの強化
• Authors: Zhongchun Zheng, Kan Wu, Long Cheng, Lu Li, Rodrigo C. O. Rocha, Tianyi Liu, Wei Wei, Jianjiang Zeng, Xianwei Zhang, Yaoqing Gao,
• Abstract要約: VecTransは、コンパイラベースのコードベクトル化を強化するために、大きな言語モデルを活用するフレームワークである。 VecTransは1.77倍のGeomeanスピードアップを実現し、51のテストケースのうち24をベクトル化することに成功した。
• 参考スコア（独自算出の注目度）: 17.974013479973774
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Auto-vectorization is a fundamental optimization for modern compilers to exploit SIMD parallelism. However, state-of-the-art approaches still struggle to handle intricate code patterns, often requiring manual hints or domain-specific expertise. Large language models (LLMs), with their ability to capture intricate patterns, provide a promising solution, yet their effective application in compiler optimizations remains an open challenge due to issues such as hallucinations and a lack of domain-specific reasoning. In this paper, we present VecTrans, a novel framework that leverages LLMs to enhance compiler-based code vectorization. VecTrans first employs compiler analysis to identify potentially vectorizable code regions. It then utilizes an LLM to refactor these regions into patterns that are more amenable to the compilers auto-vectorization. To ensure semantic correctness, VecTrans further integrates a hybrid validation mechanism at the intermediate representation (IR) level. With the above efforts, VecTrans combines the adaptability of LLMs with the precision of compiler vectorization, thereby effectively opening up the vectorization opportunities. experimental results show that among all TSVC functions unvectorizable by GCC, ICC, Clang, and BiSheng Compiler, VecTrans achieves an geomean speedup of 1.77x and successfully vectorizes 24 of 51 test cases. This marks a significant advancement over state-of-the-art approaches while maintaining a cost efficiency of $0.012 per function optimization for LLM API usage.
• Abstract（参考訳）: 自動ベクトル化は、SIMD並列性を利用する現代のコンパイラの基本的な最適化である。 しかし、最先端のアプローチは複雑なコードパターンを扱うのに依然として苦労しており、手動のヒントやドメイン固有の専門知識を必要とすることが多い。 複雑なパターンをキャプチャする機能を備えた大規模言語モデル(LLM)は、有望なソリューションを提供するが、幻覚やドメイン固有の推論の欠如といった問題により、コンパイラ最適化の効果的な適用は、依然としてオープンな課題である。 本稿では,コンパイラベースのコードベクトル化を強化するためにLLMを利用する新しいフレームワークであるVecTransを提案する。 VecTransは、まずコンパイラ分析を使用して、潜在的にベクトル化可能なコード領域を特定する。 次にLLMを使用して、これらのリージョンをコンパイラのオートベクター化に適したパターンにリファクタリングする。 セマンティックな正確性を保証するため、VecTransはさらに、中間表現(IR)レベルでハイブリッド検証機構を統合する。 上記の取り組みにより、VecTransはLLMの適応性とコンパイラベクター化の精度を組み合わせ、ベクター化の機会を効果的に開放する。 実験の結果, GCC, ICC, Clang, BiSheng Compilerで検証できないすべてのTSVC関数の中で, VecTransは1.77倍のジオ平均速度を実現し,51件中24件をベクトル化することに成功した。 これは、LLM APIの使用に対して、1関数あたり0.012ドルというコスト効率を維持しながら、最先端のアプローチよりも大幅に進歩している。

関連論文リスト

• SymRTLO: Enhancing RTL Code Optimization with LLMs and Neuron-Inspired Symbolic Reasoning [18.40402135952776]
  本稿では,新しいニューロン-シンボリックRTL最適化フレームワークであるSymRTLOを提案する。 有限状態機械(FSM)論理の解析と最適化のための記号モジュールを提案する。 Synopsys Design Compiler と Yosys による RTL-Rewriter ベンチマークの実験では、SymRTLO は 43.9% と 62.5% と 51.1% に向上している。
  論文  参考訳（メタデータ） (2025-04-14T16:15:55Z)
• Highly Optimized Kernels and Fine-Grained Codebooks for LLM Inference on Arm CPUs [0.8217552831952]
  大きな言語モデル(LLM)は、言語理解と生成に関する考え方を変えました。 LLM量子化によく使われるグループ量子化形式は、計算上のオーバーヘッドとリソース集約型量子化プロセスを持つ。 本稿では,LLMの超低精度量子化のためのグループワイド非一様符号ブックに基づく量子化手法を提案する。
  論文  参考訳（メタデータ） (2024-12-23T03:44:29Z)
• Vector-ICL: In-context Learning with Continuous Vector Representations [75.96920867382859]
  大規模言語モデル (LLM) はテキストデータに顕著なコンテキスト内学習能力を示す。 ブラックボックス事前学習エンコーダから得られる様々な領域から連続ベクトルに拡張できるかどうかを検討する。 特に,汎用言語モデリング目的のプロジェクタを事前学習することで,Vector-ICLの実現が期待できる。
  論文  参考訳（メタデータ） (2024-10-08T02:25:38Z)
• LLM-Aided Compilation for Tensor Accelerators [6.709490736813537]
  我々は,大規模言語モデル(LLM)を用いてハードウェアアクセラレーター用のコンパイラを構築する方法について論じる。 具体的には,GPT-4がGemminiアクセラレータへのコード変換において高いパスレートを達成する能力を示す。 また,LLMを利用してハードウェア最適化コードを生成するための2フェーズワークフローを提案する。
  論文  参考訳（メタデータ） (2024-08-06T19:10:25Z)
• Should AI Optimize Your Code? A Comparative Study of Classical Optimizing Compilers Versus Current Large Language Models [0.0]
  大規模言語モデル(LLM)は、コード最適化に革命をもたらすAIアプローチの可能性に関する興味深い疑問を提起する。 この作業は、コンパイラコミュニティにとって重要な質問に答えることを目的としている。 本稿では3つの古典最適化コンパイラと2つの最近の大規模言語モデルの比較分析を行う。
  論文  参考訳（メタデータ） (2024-06-17T23:26:41Z)
• LLM-Vectorizer: LLM-based Verified Loop Vectorizer [12.048697450464935]
  大規模言語モデル(LLM)は、個々の配列要素を処理するスカラープログラムからベクトル化されたコードを生成することができる。 LLMは1.1xから9.4xまでのランタイムスピードアップで高性能なベクトルコードを生成することができる。 我々のアプローチでは、TSVCベンチマークデータセットで正しいベクター化の38.2%を検証できる。
  論文  参考訳（メタデータ） (2024-06-07T07:04:26Z)
• Make Every Move Count: LLM-based High-Quality RTL Code Generation Using MCTS [20.135906487081453]
  本稿では,モンテカルロ木探索をベースとした自動トランスフォーマー復号アルゴリズムを提案する。 最先端のLLM(16ビット加算器)が生成する最大の設計のために,本技術は面積遅延生成物において31.8%の改善を達成できる。
  論文  参考訳（メタデータ） (2024-02-05T18:47:04Z)
• StepCoder: Improve Code Generation with Reinforcement Learning from Compiler Feedback [58.20547418182074]
  2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。 CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。 FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。 提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-02-02T13:14:31Z)
• Fast Chain-of-Thought: A Glance of Future from Parallel Decoding Leads to Answers Faster [61.83949316226113]
  FastCoTは並列デコーディングに基づくモデルに依存しないフレームワークである。 我々は、FastCoTが通常のアプローチと比較して、無視できる性能低下だけで、推論時間を20%近く削減できることを示します。
  論文  参考訳（メタデータ） (2023-11-14T15:56:18Z)
• Transpiling RTL Pseudo-code of the POWER Instruction Set Architecture to C for Real-time Performance Analysis on Cavatools Simulator [0.0]
  本稿では,POWER命令セットアーキテクチャ(ISA)のRTL擬似コードをCコードに変換するためのトランスパイラフレームワークを提案する。 トランスパイラは、要件に準拠したCコードを生成することで、Cavatoolsシミュレータとの互換性を保証する。 提案するフレームワークは,RTL擬似コードをCavatoolsエコシステムにシームレスに統合し,総合的なパフォーマンス解析とPower ISAベースのコードの最適化を可能にする。
  論文  参考訳（メタデータ） (2023-06-14T18:53:14Z)
• Inference with Reference: Lossless Acceleration of Large Language Models [97.04200102556551]
  LLMAは、参照によるLarge Language Model (LLM)推論を高速化するアクセラレータである。 LLMによる復号結果と実世界の多くのシナリオで利用できる参照との間には、多くの同一のテキストが存在していることが観察の動機となっている。
  論文  参考訳（メタデータ） (2023-04-10T09:55:14Z)
• Factorizers for Distributed Sparse Block Codes [45.29870215671697]
  分散ブロック符号(SBC)を高速かつ高精度に分解する手法を提案する。 我々の反復分解器は、しきい値に基づく非線形活性化、条件付きランダムサンプリング、および $ell_infty$-based similarity metricを導入している。 CIFAR-100, ImageNet-1K, RAVENデータセット上での4つの深層CNNアーキテクチャの実現可能性を示す。
  論文  参考訳（メタデータ） (2023-03-24T12:31:48Z)
• Enabling Retargetable Optimizing Compilers for Quantum Accelerators via a Multi-Level Intermediate Representation [78.8942067357231]
  我々は、最適化され、再ターゲット可能で、事前コンパイルが可能なマルチレベル量子古典中間表現(IR)を提案する。 ゲートベースのOpenQASM 3言語全体をサポートし、共通量子プログラミングパターンのカスタム拡張と構文の改善を提供します。 私たちの研究は、通常のPythonのアプローチよりも1000倍高速で、スタンドアロンの量子言語コンパイラよりも5～10倍高速なコンパイル時間を実現しています。
  論文  参考訳（メタデータ） (2021-09-01T17:29:47Z)
• QTRAN++: Improved Value Transformation for Cooperative Multi-Agent Reinforcement Learning [70.382101956278]
  QTRANは、最大級の共同作用値関数を学習できる強化学習アルゴリズムである。 理論的な保証は強いが、複雑な環境での実証的な性能は劣っている。 そこで我々はQTRAN++という改良版を提案する。
  論文  参考訳（メタデータ） (2020-06-22T05:08:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。