論文の概要: Hawk: Harnessing Hardware-Aware Knowledge for High-Performance NPU Kernel Generation
- arxiv url: http://arxiv.org/abs/2607.01590v2
- Date: Fri, 03 Jul 2026 02:53:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 13:04:58.496157
- Title: Hawk: Harnessing Hardware-Aware Knowledge for High-Performance NPU Kernel Generation
- Title（参考訳）: Hawk:高性能NPUカーネル生成のためのハードウェア知識のハーネス化
- Abstract要約: 我々は,3つのコアモジュールを通じてハードウェア認識知識を活用する,トレーニングフリーのフレームワークであるHawkを紹介した。
ホークは生成精度を49.4%から80.0%に高め、最先端のベースラインよりも2.2倍の高速化を実現している。
- 参考スコア（独自算出の注目度）: 11.866479609153194
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Developing high-performance kernels for Neural Processing Units (NPUs) is a critical industry bottleneck, requiring developers to manually navigate implicit hardware constraints and strict memory hierarchies. While large language models offer immense automation potential, they fail catastrophically on NPUs due to a fundamental lack of hardware-specific priors. Naively transplanting code snippets from similar NPU kernels may pass the compiler, but it consistently triggers runtime crashes and performance degradation by blindly violating underlying hardware constraints. To overcome this, we introduce Hawk, a training-free framework that harnesses hardware-aware knowledge through three core modules: (1) Run-Time Knowledge Synthesis Module, which employs a Triple-Part Executable Knowledge Representation to inherently couple the error context with executable semantics; (2) Bottleneck-Aware Knowledge Retrieval Module, which implements a 2D-Retrieval paradigm to project queries into orthogonal syntactic and hardware-aligned semantic spaces; and (3) Effect-Driven Knowledge Distillation Module, which leverages LLM-driven semantic arbitration to continuously distill the knowledge by pruning errors and consolidating redundancies based on the empirical execution feedback. Extensive evaluations on real-world NPU workloads demonstrate that Hawk elevates generation accuracy from 49.4% to 80.0%, while achieving up to a 2.2x execution speedup over state-of-the-art baselines.
- Abstract（参考訳）: ニューラルネットワークユニット(NPU)用の高性能カーネルの開発は、暗黙のハードウェア制約と厳格なメモリ階層を手動で操作する必要がある、重要な業界ボトルネックである。
大規模言語モデルは、膨大な自動化可能性を提供するが、ハードウェア固有のプリミティブの根本的な欠如により、NPUで破滅的に失敗する。
類似のNPUカーネルからネイティブにコードスニペットを移植すると、コンパイラをパスする可能性があるが、基盤となるハードウェア制約を盲目的に違反することで、実行時のクラッシュとパフォーマンス劣化を継続的に引き起こす。
この問題を解決するために,本研究では,(1)3つのコアモジュールを通じてハードウェア知識を活用するトレーニングフリーフレームワークであるHawkを紹介する。(1)三部構成の実行可能な知識表現を用いた実行時知識合成モジュール,(2)直交構文およびハードウェア対応の意味空間にクエリを投影する2D-retrievalパラダイムを実装したBottleneck-Aware Knowledge Retrievalモジュール,(3)効果駆動知識蒸留モジュール。
実世界のNPUワークロードに対する大規模な評価では、Hawkは生成精度を49.4%から80.0%に向上し、最先端のベースラインよりも2.2倍の高速化を実現している。
関連論文リスト
- CANN Bench: Benchmarking Agent Generated Kernels against Real NPU and Algorithmic Limits [9.970450719182633]
CANN BenchはHuaweiのAscend NPU上のAI生成オペレータコードのオープンベンチマークである。
評価は、コンパイル、機能的正しさ、パフォーマンスを独立した軸として扱う3次元重み付き複合スコアを採用する。
論文 参考訳（メタデータ） (2026-07-08T02:22:22Z) - Hardware-Aware Neural Feature Extraction for Resource-Constrained Devices [3.3898825803029067]
我々は、リソース制約のあるデバイスのためのハードウェア対応のニューラル特徴抽出器であるGideonを紹介する。
ギデオンは1.5MBのメモリフットプリント以下で9.003msの推論時間を達成する。
Batch Normalizationをアフィン層に置き換えるなどのアーキテクチャ上の選択はINT8の堅牢性を大幅に向上させることを示す。
論文 参考訳（メタデータ） (2026-05-05T20:32:00Z) - How LLMs Fail and Generalize in RTL Coding for Hardware Design? [56.361436215029045]
我々は,認知理論に触発された問題解決性に基づく新しい誤り分類法を導入する。
我々の分類学は、障害を構文、意味、解決可能な機能、解決不可能な機能タイプに分類する。
論文 参考訳（メタデータ） (2026-04-26T14:34:49Z) - Towards Cold-Start Drafting and Continual Refining: A Value-Driven Memory Approach with Application to NPU Kernel Synthesis [68.7701048879757]
EvoKernelは、カーネル合成のライフサイクルを自動化する自己進化型エージェントフレームワークである。
ステージ固有のQ値を学び、現在の目標への貢献に基づいて経験を優先する。
モデルの正しさを11.0%から83.0%に改善し、初期ドラフトよりも3.60倍のスピードアップを実現している。
論文 参考訳（メタデータ） (2026-03-11T14:57:06Z) - TriGen: NPU Architecture for End-to-End Acceleration of Large Language Models based on SW-HW Co-Design [4.251127523213289]
TriGenは、ソフトウェア・ハードウエアの共同設計を通じてリソース制約のある環境向けに設計された、新しいNPUアーキテクチャである。
我々は,TriGenが平均2.73倍の性能向上を実現し,ベースラインのNPU設計よりも52%少ないメモリ転送を実現し,精度を損なうことを示した。
論文 参考訳（メタデータ） (2026-02-13T14:28:31Z) - AscendKernelGen: A Systematic Study of LLM-Based Kernel Generation for Neural Processing Units [39.846358001824996]
我々は,NPUカーネル開発のための世代評価統合フレームワークAscend KernelGenを提案する。
本稿では,実世界のカーネル実装から派生したチェーン・オブ・シント推論を取り入れた高品質なデータセットAscend-CoTを紹介する。
NPU KernelBenchも設計しています。これは、様々な複雑さレベルにわたるコンパイル、正確性、パフォーマンスを評価するための包括的なベンチマークです。
論文 参考訳（メタデータ） (2026-01-12T03:12:58Z) - Pangu Embedded: An Efficient Dual-system LLM Reasoner with Metacognition [95.54406667705999]
Pangu Embeddedは、Ascend Neural Processing Units (NPU) 上で開発された効率的なLarge Language Model (LLM) 推論器である。
既存の推論最適化 LLM でよく見られる計算コストと推論遅延の問題に対処する。
単一の統一モデルアーキテクチャ内で、迅速な応答と最先端の推論品質を提供する。
論文 参考訳（メタデータ） (2025-05-28T14:03:02Z) - HOBBIT: A Mixed Precision Expert Offloading System for Fast MoE Inference [54.40808356999408]
フレキシブルで効率的なMoE推論を実現するための混合精度専門家オフロードシステムHOBBITを提案する。
キーとなる洞察は、重要でないキャッシュミスの専門家を低い精度で動的に置き換えることで、専門家のロード遅延を大幅に削減できるということです。
HOBBITは、最先端のMoEオフロードシステムと比較して、デコードで最大9.93倍のスピードアップを達成する。
論文 参考訳（メタデータ） (2024-11-03T04:25:46Z) - Deep learning applied to computational mechanics: A comprehensive
review, state of the art, and the classics [77.34726150561087]
人工知能,特に深層学習(DL)の最近の進歩を概観する。
ハイブリッドおよび純粋機械学習(ML)の手法について論じる。
AIの歴史と限界は、特に古典の誤解や誤解を指摘し、議論され、議論される。
論文 参考訳（メタデータ） (2022-12-18T02:03:00Z) - Confident Adaptive Language Modeling [95.45272377648773]
CALMは、入力と生成時間ごとに異なる量の計算を動的に割り当てるフレームワークである。
ハイパフォーマンスを確実に維持しつつ、計算能力、潜在的スピードアップを最大3ドルまで削減する上で、我々のフレームワークの有効性を実証する。
論文 参考訳（メタデータ） (2022-07-14T17:00:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。