論文の概要: MobileKernelBench: Can LLMs Write Efficient Kernels for Mobile Devices?
- arxiv url: http://arxiv.org/abs/2603.11935v1
- Date: Thu, 12 Mar 2026 13:48:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-13 14:46:26.114642
- Title: MobileKernelBench: Can LLMs Write Efficient Kernels for Mobile Devices?
- Title（参考訳）: MobileKernelBench: LLMはモバイルデバイスに効率的なカーネルを書けるか?
- Authors: Xingze Zou, Jing Wang, Yuhua Zheng, Xueyi Chen, Haolei Bai, Lingcheng Kong, Syed A. R. Abu-Bakar, Zhaode Wang, Chengfei Lv, Haoji Hu, Huan Wang,
- Abstract要約: 大規模言語モデル(LLM)は、コード生成において顕著な能力を示してきたが、モバイルデバイス専用のカーネルを生成する可能性はほとんど調査されていない。
本研究では,LLMがモバイルデバイス用の効率的なカーネルを書けるか,という問題に対して,自動カーネル生成の範囲をモバイル領域に拡張する。
我々は,リポジトリ認識推論と計画・実行パラダイムを備えたマルチエージェントシステムであるMobile K ernel A gent (MoKA)を提案する。
- 参考スコア（独自算出の注目度）: 15.361816481675325
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) have demonstrated remarkable capabilities in code generation, yet their potential for generating kernels specifically for mobile de- vices remains largely unexplored. In this work, we extend the scope of automated kernel generation to the mobile domain to investigate the central question: Can LLMs write efficient kernels for mobile devices? To enable systematic investigation, we introduce MobileKernelBench, a comprehensive evaluation framework comprising a benchmark prioritizing operator diversity and cross-framework interoperability, coupled with an automated pipeline that bridges the host-device gap for on-device verification. Leveraging this framework, we conduct extensive evaluation on the CPU backend of Mobile Neural Network (MNN), revealing that current LLMs struggle with the engineering complexity and data scarcity inher-ent to mobile frameworks; standard models and even fine-tuned variants exhibit high compilation failure rates (over 54%) and negligible performance gains due to hallucinations and a lack of domain-specific grounding. To overcome these limitations, we propose the Mobile K ernel A gent (MoKA), a multi-agent system equipped with repository-aware reasoning and a plan-and-execute paradigm.Validated on MobileKernelBench, MoKA achieves state-of-the-art performance, boosting compilation success to 93.7% and enabling 27.4% of generated kernelsto deliver measurable speedups over native libraries.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、コード生成において顕著な能力を示してきたが、モバイルデバイスに特化したカーネルを生成する可能性はほとんど解明されていない。
本研究では,LLMがモバイルデバイス用の効率的なカーネルを書けるか,という問題に対して,自動カーネル生成の範囲をモバイル領域に拡張する。
組織的な調査を可能にするために,オペレータの多様性とクロスフレームワークの相互運用性を優先するベンチマークを備えた総合評価フレームワークであるMobileKernelBenchと,オンデバイス検証のホストデバイス間ギャップを埋める自動パイプラインを紹介する。
このフレームワークを活用して、我々はMobile Neural Network(MNN)のCPUバックエンドを広範囲に評価し、現在のLLMは、モバイルフレームワークに従属するエンジニアリングの複雑さとデータ不足に悩まされていることを明らかにした。
これらの制限を克服するために,Mobile K ernel A gent (MoKA) というリポジトリ認識推論とプラン・アンド・エグゼクティブパラダイムを備えたマルチエージェントシステムを提案する。
関連論文リスト
- FlashInfer-Bench: Building the Virtuous Cycle for AI-driven LLM Systems [39.33711841865621]
FlashInfer-Benchは、カーネル生成、ベンチマーク、デプロイを接続するフレームワークである。
実際のサービストレースに基づいて構築されたFlashInfer-Benchには、キュレートされたデータセット、堅牢な正確性とパフォーマンスを意識したベンチマークフレームワーク、公開リーダボードが含まれている。
我々は FlashInfer-Bench を用いて LLM エージェントの性能と限界を評価し,GPU プログラム言語間のトレードオフを比較し,将来のエージェント設計に対する洞察を提供する。
論文 参考訳（メタデータ） (2026-01-01T06:18:53Z) - MOBIUS: Big-to-Mobile Universal Instance Segmentation via Multi-modal Bottleneck Fusion and Calibrated Decoder Pruning [91.90342432541138]
モデルサイズとトレーニングデータのスケールアップには、インスタンスレベルの知覚のための高度な基盤モデルがある。
資源制約されたプラットフォームにおける高い計算コスト制限。
我々は,高性能コンピューティングプラットフォームとモバイルデバイスの両方において,効率的なセグメンテーションのための新しいベンチマークを導入する。
論文 参考訳（メタデータ） (2025-10-16T18:00:00Z) - Agentic AI Reasoning for Mobile Edge General Intelligence: Fundamentals, Approaches, and Directions [74.35421055079655]
大規模言語モデル(LLM)は、強力な推論と自律的な意思決定能力を備えたエージェント人工知能(AI)の出現を可能にした。
Mobile Edge General Intelligence (MEGI)は、リアルタイムでプライバシ保護の推論をネットワークエッジにもたらす。
本稿では,MEGIにおけるLLM推論の効率的な展開のための共同最適化フレームワークを提案する。
論文 参考訳（メタデータ） (2025-09-27T10:53:48Z) - Fed MobiLLM: Efficient Federated LLM Fine-Tuning over Heterogeneous Mobile Devices via Server Assisted Side-Tuning [16.47223778897796]
不均一なモバイルデバイス上の大規模言語モデル(LLM)は、パーソナライズされたインテリジェンスの潜在的な応用を促進する。
従来のLLM FTは、モバイルハードウェア上での計算とメモリの負荷を禁止している。
我々は,多種多様な計算/通信速度と局所モデルアーキテクチャを持つモバイルデバイス間での効率的なLLM FTを実現するための新しい設計であるFed MobiLLMを提案する。
論文 参考訳（メタデータ） (2025-08-09T00:41:48Z) - MigGPT: Harnessing Large Language Models for Automated Migration of Out-of-Tree Linux Kernel Patches Across Versions [53.811953357289866]
大規模言語モデル(LLM)は、様々な領域で顕著な進歩を示している。
LLMは不完全なコードコンテキスト理解と不正確なマイグレーションポイント識別に苦労する。
MigGPTは、コードスニペット情報を保持するために新しいコード指紋構造を使用するフレームワークである。
論文 参考訳（メタデータ） (2025-04-13T08:08:37Z) - Are We There Yet? A Measurement Study of Efficiency for LLM Applications on Mobile Devices [5.926813659185372]
小型の大規模言語モデル(LLM)は、大きなモデルに比べて品質に制限があるにもかかわらず、強力なモバイルデバイス上で正常に動作することができる。
小型のLDMだけが強力なモバイルデバイス上で正常に動作するが、大型のモデルに比べて品質に制限がある。
論文 参考訳（メタデータ） (2025-03-10T16:27:17Z) - WDMoE: Wireless Distributed Mixture of Experts for Large Language Models [68.45482959423323]
大規模言語モデル(LLM)は様々な自然言語処理タスクにおいて大きな成功を収めた。
本稿では,無線ネットワーク上での基地局(BS)およびモバイルデバイスにおけるエッジサーバ間のLLMの協調展開を実現するために,無線分散Mixture of Experts(WDMoE)アーキテクチャを提案する。
論文 参考訳（メタデータ） (2024-11-11T02:48:00Z) - PalmBench: A Comprehensive Benchmark of Compressed Large Language Models on Mobile Platforms [11.87161637895978]
ユーザがモバイルデバイス上で大きな言語モデルを評価することができる軽量でオールインワンな自動ベンチマークフレームワークを紹介します。
ハードウェア能力の異なる複数のモバイルプラットフォームに対して、様々な量子化構成(重みとアクティベーションの両方)の異なる様々な人気のあるLCMのベンチマークを提供する。
論文 参考訳（メタデータ） (2024-10-05T03:37:07Z) - MobileAIBench: Benchmarking LLMs and LMMs for On-Device Use Cases [81.70591346986582]
モバイル端末上でのLarge Language Models(LLM)とLarge Multimodal Models(LMM)を評価するためのベンチマークフレームワークであるMobileAIBenchを紹介する。
MobileAIBenchは、さまざまなサイズ、量子化レベル、タスクにわたるモデルを評価し、実際のデバイス上でのレイテンシとリソース消費を測定する。
論文 参考訳（メタデータ） (2024-06-12T22:58:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。