論文の概要: Compiling Code LLMs into Lightweight Executables

• arxiv url: http://arxiv.org/abs/2603.29813v1
• Date: Tue, 31 Mar 2026 14:40:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-01 15:25:03.727077
• Title: Compiling Code LLMs into Lightweight Executables
• Title（参考訳）: コードLLMを軽量実行デバイスにコンパイルする
• Authors: Jieke Shi, Junda He, Zhou Yang, Chengran Yang, Mykhailo Klymenko, Thong Hoang, Xiwei, Xu, Zhenchang Xing, David Lo,
• Abstract要約: Dittoは、コードLLMのモデルサイズと推論プログラムの両方を最適化する新しい方法である。 私たちは、Dittoを3つの人気のあるコードLLMで評価し、元の推論パイプラインと比較して最大10.5$times$低いメモリ使用量を達成しました。
• 参考スコア（独自算出の注目度）: 18.677096682203697
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The demand for better prediction accuracy and higher execution performance in neural networks continues to grow. The emergence and success of Large Language Models (LLMs) have led to the development of many cloud-based tools for software engineering tasks such as code suggestion. While effective, cloud deployment raises concerns over privacy, latency, and reliance on connectivity. Running LLMs locally on personal devices such as laptops would address these issues by enabling offline use and reducing response time. However, local deployment is challenging: commodity devices lack high-performance accelerators like GPUs and are constrained by limited memory and compute capacity, making it difficult to execute large models efficiently. We present Ditto, a novel method for optimizing both the model size of Code LLMs and their inference programs, particularly for statically-typed programming languages such as C. Our approach integrates two key components: (1) a model compression technique inspired by product quantization, which clusters model parameters into codebooks and quantizes them to lower bit widths while ensuring that outputs remain within a bounded error, as well as synthesizing the inference program for the quantized model; and (2) a compilation pass integrated into LLVM that automatically detects and replaces unoptimized General Matrix-Vector Multiplication (GEMV) operations with implementations from Basic Linear Algebra Subprograms (BLAS) libraries, which are highly optimized for runtime performance. The output of Ditto is an optimized and compiled executable for running selected Code LLMs. We evaluate Ditto on three popular Code LLMs, achieving up to 10.5$\times$ faster inference and 6.4$\times$ lower memory usage compared with their original inference pipeline, while maintaining accuracy close to that of the full-precision models (with an average loss of only 0.27% in pass@1).
• Abstract（参考訳）: ニューラルネットワークの予測精度の向上と実行性能の向上に対する需要は拡大を続けている。 LLM(Large Language Models)の出現と成功は、コード提案のようなソフトウェアエンジニアリングタスクのための多くのクラウドベースのツールの開発につながった。 クラウドデプロイメントは効果的だが、プライバシやレイテンシ、接続性への依存に対する懸念が高まる。 LLMをパソコンなどのパーソナルデバイスでローカルに実行することは、オフラインでの使用を可能にし、応答時間を短縮することでこれらの問題に対処する。 しかし、ローカルデプロイメントは難しい。コモディティデバイスにはGPUのような高性能アクセラレータが欠如しており、メモリと計算能力に制限されているため、大規模なモデルを効率的に実行することは困難である。 我々は,コードLLMのモデルサイズと推論プログラム,特にC言語などの静的型付け言語を最適化する新しい手法であるDittoについて述べる。1) 製品量子化にインスパイアされたモデル圧縮技術,2) モデルパラメータをコードブックにクラスタ化して下位ビット幅に量子化するとともに,出力が有界エラー内に留まることを保証し,(2) 最適化されていない一般行列ベクトル乗算(GEMV) 演算を自動検出・置換するLLVMにコンパイルパスを組み込む。 Dittoの出力は最適化され、コンパイルされた実行ファイルで、選択されたコードLLMを実行する。 最大10.5$\times$高速推論と6.4$\times$低メモリ使用率を元の推論パイプラインと比較しながら、完全な精度モデルに近い精度を維持しながら、Dittoを3つの人気のあるコードLLMで評価します。

関連論文リスト

• Scaling LLM Speculative Decoding: Non-Autoregressive Forecasting in Large-Batch Scenarios [76.85739138203014]
  本稿では,一方向および注目メカニズムを加速する新しいアーキテクチャであるSpecFormerを紹介する。 また,SpecFormerはトレーニング要求の低減と計算コストの削減を実現している。
  論文  参考訳（メタデータ） (2025-11-25T14:20:08Z)
• Harnessing On-Device Large Language Model: Empirical Results and Implications for AI PC [8.837470787975308]
  エッジデバイス上の大規模言語モデル(LLM)は、大きなプライバシー上のメリットを提供する。 これらのオンデバイスLSMは、モデル容量の削減と必要な圧縮技術のために本質的に性能上の制限に直面している。 デバイス上でのLCMを評価するために,モデル能力,開発効率,システム資源を包含する体系的方法論を導入する。
  論文  参考訳（メタデータ） (2025-05-21T02:23:01Z)
• Highly Optimized Kernels and Fine-Grained Codebooks for LLM Inference on Arm CPUs [0.8217552831952]
  大きな言語モデル(LLM)は、言語理解と生成に関する考え方を変えました。 LLM量子化によく使われるグループ量子化形式は、計算上のオーバーヘッドとリソース集約型量子化プロセスを持つ。 本稿では,LLMの超低精度量子化のためのグループワイド非一様符号ブックに基づく量子化手法を提案する。
  論文  参考訳（メタデータ） (2024-12-23T03:44:29Z)
• LUT Tensor Core: A Software-Hardware Co-Design for LUT-Based Low-Bit LLM Inference [10.608817382813786]
  混合精度行列(英: Mixed-precision matrix, mpGEMM)は、より高精度な活性化を伴う低精度重みの乗算を含む重要かつ未解明の演算である。 オフザシェルフハードウェアはこの操作をサポートしておらず、間接的、すなわち非効率な復号化ベースの実装に繋がる。 本稿では,mpGEMMのルックアップテーブル(LUT)に基づくアプローチについて検討し,従来のLUT実装では期待値の達成に失敗することを確認した。
  論文  参考訳（メタデータ） (2024-08-12T08:52:14Z)
• Enabling High-Sparsity Foundational Llama Models with Efficient Pretraining and Deployment [56.44025052765861]
  大規模言語モデル(LLM)は自然言語処理(NLP)に革命をもたらしたが、そのサイズは計算のボトルネックを生み出している。 そこで本研究では,高性能LLMの高精度かつ疎結合な基本バージョンを作成するための新しいアプローチを提案する。 スパース量子化LLaMAの最大8.6倍のCPU上での総高速化を示す。
  論文  参考訳（メタデータ） (2024-05-06T16:03:32Z)
• Extreme Compression of Large Language Models via Additive Quantization [59.3122859349777]
  我々のアルゴリズムは、AQLMと呼ばれ、情報検索のための古典的な加算量子化(AQ)アプローチを一般化する。 トークン生成のためのAQLMの高速GPUおよびCPU実装を提供しており、最適化されたFP16実装を高速にマッチングまたは性能良くすることができる。
  論文  参考訳（メタデータ） (2024-01-11T18:54:44Z)
• L2MAC: Large Language Model Automatic Computer for Extensive Code Generation [52.81694565226513]
  トランスフォーマーベースの大規模言語モデル(LLM)は、基盤となるトランスフォーマーアーキテクチャの固定コンテキストウィンドウによって制約される。 本稿では,L2MACを提案する。L2MACは,LLMをベースとした汎用型自動計算機(von Neumann Architecture)フレームワークで,長期的かつ一貫した出力生成を実現する。
  論文  参考訳（メタデータ） (2023-10-02T16:55:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。