論文の概要: nncase: An End-to-End Compiler for Efficient LLM Deployment on Heterogeneous Storage Architectures

• arxiv url: http://arxiv.org/abs/2512.21571v1
• Date: Thu, 25 Dec 2025 08:27:53 GMT
• ステータス: 情報取得中
• システム内更新日: 2025-12-29 11:58:47.370339
• Title: nncase: An End-to-End Compiler for Efficient LLM Deployment on Heterogeneous Storage Architectures
• Title（参考訳）: nncase: 異種ストレージアーキテクチャ上での効率的なLLMデプロイのためのエンドツーエンドコンパイラ
• Authors: Hui Guo, Qihang Zheng, Chenghai Huo, Dongliang Guo, Haoqi Yang, Yang Zhang,
• Abstract要約: さまざまなターゲットに対して最適化を統合するために設計された、エンドツーエンドのコンパイルフレームワークであるnncaseを提示する。 nncaseは、異種コンピューティングユニットに適応するためのAuto Vectorize、並列戦略を検索するためのAuto Distribution、オンチップキャッシュのローカリティを最大化するAuto Scheduleの3つの重要なモジュールを統合している。
• 参考スコア（独自算出の注目度）: 7.460240094212613
• License:
• Abstract: The efficient deployment of large language models (LLMs) is hindered by memory architecture heterogeneity, where traditional compilers suffer from fragmented workflows and high adaptation costs. We present nncase, an open-source, end-to-end compilation framework designed to unify optimization across diverse targets. Central to nncase is an e-graph-based term rewriting engine that mitigates the phase ordering problem, enabling global exploration of computation and data movement strategies. The framework integrates three key modules: Auto Vectorize for adapting to heterogeneous computing units, Auto Distribution for searching parallel strategies with cost-aware communication optimization, and Auto Schedule for maximizing on-chip cache locality. Furthermore, a buffer-aware Codegen phase ensures efficient kernel instantiation. Evaluations show that nncase outperforms mainstream frameworks like MLC LLM and Intel IPEX on Qwen3 series models and achieves performance comparable to the hand-optimized llama.cpp on CPUs, demonstrating the viability of automated compilation for high-performance LLM deployment. The source code is available at https://github.com/kendryte/nncase.
• Abstract（参考訳）: 大きな言語モデル(LLM)の効率的なデプロイは、従来のコンパイラが断片化されたワークフローと高い適応コストに悩まされるメモリアーキテクチャの不均一性によって妨げられている。 オープンソースでエンドツーエンドのコンパイルフレームワークであるnncaseを紹介します。 Central to nncaseは電子グラフベースの項書き換えエンジンで、位相順序付け問題を緩和し、計算とデータ移動戦略のグローバルな探索を可能にする。 このフレームワークは3つの重要なモジュールを統合している: 不均一なコンピューティングユニットに適応するためのAuto Vectorize、コストを意識した通信最適化による並列戦略検索のためのAuto Distribution、オンチップキャッシュの局所性を最大化するAuto Schedule。 さらに、バッファ対応のCodegenフェーズは、効率的なカーネルインスタンス化を保証する。 評価によると、nncase は Qwen3 シリーズモデルで MLC LLM や Intel IPEX などの主流フレームワークより優れており、CPU上での手動最適化された llama.cpp に匹敵するパフォーマンスを実現し、高速な LLM デプロイメントのための自動コンパイルの実現可能性を示している。 ソースコードはhttps://github.com/kendryte/nncase.comで入手できる。

関連論文リスト

• An LLVM-Based Optimization Pipeline for SPDZ [0.0]
  我々はSPDZプロトコルのための概念実証LLVMベースの最適化パイプラインを実装した。 フロントエンドは軽量なプライバシアノテーションを備えたCのサブセットを受け入れ、LLVM IRに格下げします。 我々のバックエンドは、最適化されたIR上でデータフローと制御フローの分析を行い、ノンブロッキングランタイムスケジューラを駆動します。
  論文  参考訳（メタデータ） (2025-12-11T20:53:35Z)
• Eliminating Multi-GPU Performance Taxes: A Systems Approach to Efficient Distributed LLMs [61.953548065938385]
  分析フレームワークとして'3つの税'(バルク同期、カーネル間データローカリティ、カーネルローンチオーバーヘッド)を紹介した。 我々は、分散GPU実行におけるキー非効率に対処するために、厳密なBSPモデルを超えて移動することを提案する。 BSPベースのアプローチによるエンドツーエンドのレイテンシの10-20%の高速化を観察する。
  論文  参考訳（メタデータ） (2025-11-04T01:15:44Z)
• STARK: Strategic Team of Agents for Refining Kernels [23.717055490630596]
  我々は,GPUカーネル最適化のためのエージェントフレームワークを導入し,マルチエージェント協調による設計空間を探索する。 このフレームワークはエキスパートエンジニアのワークフローを模倣し、LCMがハードウェアトレードオフを推論し、プロファイリングフィードバックを取り入れ、カーネルを反復的に洗練することを可能にする。 我々は,LLMに基づくカーネル最適化のベンチマークであるKernelBenchに対するアプローチを評価し,ベースラインエージェントよりも大幅に改善したことを示す。
  論文  参考訳（メタデータ） (2025-10-19T20:41:46Z)
• xLLM Technical Report [57.13120905321185]
  我々は,知的かつ効率的なLarge Language Model (LLM)推論フレームワークであるxLLMを紹介する。 xLLMは、新しい分離されたサービスエンジンアーキテクチャを構築する。 xLLM-Engineは、システムとアルゴリズムの設計を最適化し、コンピュータリソースを完全に飽和させる。
  論文  参考訳（メタデータ） (2025-10-16T13:53:47Z)
• Towards Agentic OS: An LLM Agent Framework for Linux Schedulers [3.8068085728995307]
  我々は、完全に自律的な大規模言語モデル(LLM)エージェントが、人間の関与なしにLinuxスケジューラを安全かつ効率的に最適化できる、最初のフレームワークであるSchedCPを紹介した。 評価の結果,SchedCPの性能改善は最大1.79倍,コスト削減は有意なエージェントアプローチに比べて13倍であることがわかった。
  論文  参考訳（メタデータ） (2025-09-01T08:38:49Z)
• CUDA-LLM: LLMs Can Write Efficient CUDA Kernels [9.287036563375617]
  大規模言語モデル(LLM)は汎用コード生成において強力な機能を示している。 我々は,textbfFeature SearchReinforcement (FSR) FSRという新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-10T10:51:03Z)
• CompileAgent: Automated Real-World Repo-Level Compilation with Tool-Integrated LLM-based Agent System [52.048087777953064]
  リポジトリレベルのコンパイル専用のエージェントフレームワークであるCompileAgentを提案する。 CompileAgentは5つのツールとフローベースのエージェント戦略を統合し、コンパイル命令検索とエラー解決のためのソフトウェアアーチファクトとのインタラクションを可能にする。 提案手法は,10%から71%の範囲で,コンパイル成功率を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2025-05-07T08:59:14Z)
• L2MAC: Large Language Model Automatic Computer for Extensive Code Generation [52.81694565226513]
  トランスフォーマーベースの大規模言語モデル(LLM)は、基盤となるトランスフォーマーアーキテクチャの固定コンテキストウィンドウによって制約される。 本稿では,L2MACを提案する。L2MACは,LLMをベースとした汎用型自動計算機(von Neumann Architecture)フレームワークで,長期的かつ一貫した出力生成を実現する。
  論文  参考訳（メタデータ） (2023-10-02T16:55:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。