論文の概要: GPU Goldmines: Tunable WebGPU Kernels for Edge LLM Inference

• arxiv url: http://arxiv.org/abs/2610.17321v1
• Date: Mon, 12 Oct 2026 19:22:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 02:12:49.751031
• Title: GPU Goldmines: Tunable WebGPU Kernels for Edge LLM Inference
• Title（参考訳）: GPU Goldmines:エッジLLM推論のための可変WebGPUカーネル
• Abstract要約: WebGPUカーネルを指定、実行、チューニングするためのフレームワークであるGoldminesを紹介します。 さまざまな形状やブラウザのパフォーマンスを特徴付けます。 チャットワークロードのラマのプリフィル段階において、エンドツーエンドで1.48倍の改善を提供します。
• 参考スコア（独自算出の注目度）: 0.3899675786340555
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As demand for LLM inference grows and consumer GPUs grow more capable, edge deployment is becoming increasingly attractive. WebGPU is compelling in this setting because it offers cross-platform portability and browser accessibility. However, these same strengths also make high performance difficult to achieve, as an implementation that performs well in one context may not perform well in another. To address this, we present GPU Goldmines, a framework for specifying, executing, and tuning WebGPU kernels. We instantiate GPU Goldmines with kernels for key LLM building blocks: matrix multiplication, matrix-vector multiplication, and flash attention. We characterize performance across diverse devices, shapes, and browsers, and use the resulting database to accelerate subsequent autotuning and configuration selection. On shapes drawn from Llama and Qwen models, our matrix multiplication kernels outperform ONNX Runtime and llama.cpp WebGPU kernels by 7.0x and 1.41x geometric mean, respectively, and deliver end-to-end improvements of 1.48x in the prefill stage of llama.cpp for chat workloads.
• Abstract（参考訳）: LLM推論の需要が増加し、コンシューマGPUの能力が向上するにつれ、エッジデプロイメントはますます魅力的になりつつある。 WebGPUは、クロスプラットフォームのポータビリティとブラウザアクセシビリティを提供するので、この設定では魅力的です。 しかし、これらの同じ強みは、あるコンテキストでうまく機能する実装が別のコンテキストでうまく機能しないため、高いパフォーマンスを達成するのを難しくする。 これを解決するために、WebGPUカーネルを指定、実行、チューニングするためのフレームワークであるGPU Goldminesを紹介します。 我々は、行列乗算、行列ベクトル乗算、フラッシュアテンションといった主要なLLMビルディングブロックに対して、GPU Goldminesをカーネルでインスタンス化する。 様々なデバイス、形状、ブラウザのパフォーマンスを特徴付け、その結果のデータベースを使用して、その後の自動チューニングと構成選択を高速化する。 Llama と Qwen モデルから得られた形状について、我々の行列乗算カーネルは、ONNX Runtime と llama.cpp WebGPU カーネルをそれぞれ7.0x と 1.41x で上回り、チャットワークロード用の llama.cpp のプリフィルステージにおいて、エンドツーエンドの改善である 1.48x を提供する。

関連論文リスト

• GPU Forecasters: Language Models as Selective Surrogates for Kernel Runtime Optimization [73.92934811090163]
  カーネル評価のための選択的なGPUサロゲートとしてLLMがどのように機能するかを検討する。 限られたGPU測定予算下での高速カーネルの復旧に,その予測が正確で校正され,実用的に有用であるかどうかを計測する。 実験により,LLMは相対的なカーネル性能を正確に予測し,強化学習により性能を向上できることを示した。
  論文  参考訳（メタデータ） (2026-05-29T15:56:08Z)
• UniLab: A Heterogeneous Architecture for Robot RL Beyond GPU-Dominant Paradigms [68.40808444348735]
  シミュレーション支配型ロボット制御では、どのプロセッサが物理を実行するかではなく、シミュレーションスループット、ポリシー学習、実行時同期が効率的なエンドツーエンドループを形成するかどうかが重要な問題である。 データ移動、バッファリング、同期のための統一ランタイムを通じて、GPUポリシー更新からCPU並列シミュレーションを分離する、異種CPU常駐/GPU学習アーキテクチャであるUniLabを提案する。
  論文  参考訳（メタデータ） (2026-05-28T17:53:50Z)
• A Scalable Multi-GPU Framework for Encrypted Large-Model Inference [5.966282323502589]
  完全同型暗号化(FHE)を使用した暗号化AIは、強力なプライバシ保証を提供する。 最近の研究はFHEを加速するためにASICを提案しているが、計算を制約する高価な先進的な製造プロセスを必要としている。 本稿では,大規模モデル上でのFHE推論のためのマルチGPUフレームワークであるCeriumについて述べる。
  論文  参考訳（メタデータ） (2025-12-12T04:15:38Z)
• Multi-GPU Quantum Circuit Simulation and the Impact of Network Performance [0.7340017786387767]
  我々は、HPCシステム上でのベンチマークを容易にするため、QED-C Application-Oriented BenchmarksにMPIを導入する。 我々は最近のNVIDIA Grace Blackwell NVL72アーキテクチャを含む様々な相互接続パスを用いてベンチマークを行った。 GPUアーキテクチャの改善は4.5倍以上のスピードアップにつながったが、相互接続性能の進歩は16倍以上のパフォーマンス改善によるソリューションのソリューション化に大きな影響を与えている。
  論文  参考訳（メタデータ） (2025-11-18T17:04:28Z)
• CUDA-LLM: LLMs Can Write Efficient CUDA Kernels [9.287036563375617]
  大規模言語モデル(LLM)は汎用コード生成において強力な機能を示している。 我々は,textbfFeature SearchReinforcement (FSR) FSRという新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-10T10:51:03Z)
• Challenging GPU Dominance: When CPUs Outperform for On-Device LLM Inference [6.829272097221596]
  我々は、CPUのみの構成で毎秒17トークンを実現し、GPUアクセラレーションによって得られた毎秒12.8トークンを超えることを示す。 この逆直感的な結果の要因を分析し,GPUメモリ転送オーバーヘッドとCPUスレッド最適化が重要な役割を担っていることを明らかにした。 我々の研究結果は、最適化されたCPU推論の未解決の可能性を浮き彫りにして、従来のGPU優先の思考に挑戦する。
  論文  参考訳（メタデータ） (2025-05-09T23:05:53Z)
• SIP: Autotuning GPU Native Schedules via Stochastic Instruction Perturbation [0.0]
  大型言語モデル(LLM)はその出現以来、重要なワークロードとなっている。 また、数十億のパラメータを持ち、大量のデータで訓練されているため、計算コストも高い。 近年、LLMのトレーニングと推論のための専用カーネルが開発されているため、ハードウェアリソースは可能な限り十分に活用されている。
  論文  参考訳（メタデータ） (2024-03-25T15:26:50Z)
• Harnessing Deep Learning and HPC Kernels via High-Level Loop and Tensor Abstractions on CPU Architectures [67.47328776279204]
  この研究は、効率的でポータブルなDeep LearningとHigh Performance Computingカーネルを開発するためのフレームワークを導入している。 1)プロセッシングプリミティブ(TPP)を用いた計算コアの表現と,2)高レベルな宣言的手法でTPPのまわりの論理ループの表現の2つのステップでカーネルの開発を分解する。 我々は、スタンドアロンカーネルと、さまざまなCPUプラットフォームにおける最先端実装よりも優れたエンドツーエンドワークロードを使用して、このアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2023-04-25T05:04:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。