論文の概要: AutoMegaKernel: A Statically-Checked Agent Harness for Self-Retargeting Megakernel Synthesis
- arxiv url: http://arxiv.org/abs/2606.09682v1
- Date: Mon, 08 Jun 2026 16:02:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-09 14:42:07.495415
- Title: AutoMegaKernel: A Statically-Checked Agent Harness for Self-Retargeting Megakernel Synthesis
- Title（参考訳）: AutoMegaKernel: 自己リターゲティング型メガカーネル合成のための統計的に硬化したエージェントハーネス
- Authors: Jaber Jaber, Osama Jaber,
- Abstract要約: AutoMegaresearchKernel (AMK)はHuggingFace Llamaファミリーモデルを単一の永続的なカーネルにコンパイルし、1回の起動で全前方パスを実行する。
AMKは、高帯域のトレーニングクラスであるA100/H100でcuBLASをパスし、ハーネスがクロスSM同期ボトルネックをローカライズする。
これはデコード位置0における精度非対称(W8A16とbf16)の比較であり、最大の実チェックポイントはTinyLlama-1.1Bである。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AutoMegaKernel (AMK) compiles a HuggingFace Llama-family model into a single persistent cooperative CUDA kernel that runs the whole forward pass in one launch, with no per-model hand-written CUDA. The contribution is the system, not raw speed. A frozen schedule-IR validator statically certifies deadlock-freedom and race-freedom via static graph checks (not a mechanized proof), so an unsafe agent-proposed schedule is rejected before launch: across 7,160 adversarial schedules (6,091 unsafe) it had zero false-accepts and accepted all 360 real lowerings. The same source retargets sm_80/sm_90/sm_120 from one codebase, auto-generates correct megakernels for 10 of 10 supported models, and on a real SmolLM2-135M checkpoint reproduces HuggingFace greedy decode token-for-token (perplexity match 2.5e-7). An unattended, agent-drivable autoresearch loop self-improves the megakernel over its own baseline (1.25-1.72x). A search-found int8 (W8A16) megakernel beats CUDA-graphed cuBLAS bf16 at batch-1 decode across NVIDIA's datacenter inference fleet: L4 up to 1.33x, the current-gen L40S 1.25-1.27x, A10G up to 1.08x at scale, and the consumer RTX 5090 1.19-1.23x. The ordering is not a clean function of bandwidth (the 864 GB/s L40S beats the 600 GB/s A10G); the divide is inference-class vs training-class. AMK trails cuBLAS on the high-bandwidth training-class A100/H100, where the harness localizes the cross-SM-sync bottleneck; we report the gap plainly. This is a precision-asymmetric (W8A16 vs bf16) comparison at decode position 0; the largest real checkpoint is TinyLlama-1.1B. Code and the harness: https://github.com/RightNow-AI/AutoMegaKernel
- Abstract（参考訳）: AutoMegaKernel (AMK)はHuggingFace Llamaファミリーモデルを単一の永続的なCUDAカーネルにコンパイルする。
貢献はシステムであり、生のスピードではない。
凍結されたスケジュール-IRバリデータは、静的グラフチェック(機械的な証明ではない)を通じてデッドロックフリードムとレースフリードムを静的に認定するので、ローンチ前に安全でないエージェントが提案したスケジュールは拒否される。
同じソースが1つのコードベースからsm_80/sm_90/sm_120をリターゲットし、10つのサポート対象モデルのうち10の正しいメガカーネルを自動生成し、実際のSmolLM2-135Mチェックポイントでは、HuggingFace greedy decode token-for-tokenを再現する(複雑さは2.5e-7と一致する)。
エージェント駆動のオート検索ループは、自身のベースライン(1.25-1.72x)上のメガカーネルを自己改善する。
検索ベースのint8 (W8A16)メガカーネルは、CUDAでグラフ化されたcuBLAS bf16を、NVIDIAのデータセンター推論フリートのバッチ-1デコードで破り、L4が1.33x、現在のL40S 1.25-1.27x、A10Gが1.08x、消費者向けRTX 5090 1.19-1.23xとなる。
864 GB/s L40Sは600 GB/s A10Gを上回り、差分は推論クラス対トレーニングクラスである。
AMKは、高帯域幅のトレーニングクラスA100/H100でcuBLASを追尾し、ハーネスがクロスSM同期ボトルネックをローカライズする。
これはデコード位置0における精度非対称(W8A16とbf16)の比較であり、最大の実チェックポイントはTinyLlama-1.1Bである。
コードとハーネス:https://github.com/RightNow-AI/AutoMegaKernel
関連論文リスト
- Memory-Bound but Not Bandwidth-Limited: The Physical AI Inference Gap in Batch-1 LLM Decode [0.0]
物理AIシステムは、クラウドのLLMサービスとは異なるワークロードを実行する。
4つのNVIDIA GPUにわたる7から8BクラスのGQA変換器のバッチ1デコードを測定する。
ピーク帯域幅はピーク帯域幅が増加するにつれて減少する。
論文 参考訳（メタデータ） (2026-05-28T21:03:14Z) - Ada-MK: Adaptive MegaKernel Optimization via Automated DAG-based Search for LLM Inference [17.23666143382396]
大型言語モデル(LLM)は、商用オンライン広告システムにおいてリアルタイムな推論を提供する。
MegaKernelは、複数のオペレータを単一の永続カーネルに融合することで、起動オーバーヘッドと運用間ラウンドトリップを排除している。
Ada-MK: K次元分割と組み合わせた3次元共有メモリ制約モデル。
NVIDIA L20では、Ada-MKはバニラRT-LLMで最大23.6%、vLLMで50.2%改善している。
論文 参考訳（メタデータ） (2026-05-12T06:04:28Z) - WildClawBench: A Benchmark for Real-World, Long-Horizon Agent Evaluation [88.10947115397971]
この研究でWildClawBenchは、6つのテーマのカテゴリにまたがる60の人間によるバイリンガルなマルチモーダルタスクのネイティブランタイムベンチマークである。
各タスクは、約8分間のウォールクロック時間と20以上のツールコールで実行されます。
グラディングはハイブリッドであり、決定論的ルールベースのチェック、副作用の環境状態監査、意味的検証のためのLLM/VLM判定を組み合わせている。
論文 参考訳（メタデータ） (2026-05-11T17:49:43Z) - Claudini: Autoresearch Discovers State-of-the-Art Adversarial Attack Algorithms for LLMs [75.62489398666644]
我々は,Claude Codeをベースとしたemphautoresearchスタイルのパイプライン citepkarpathy2026autoresearch が,新しいホワイトボックス対逆攻撃を発見できることを示した。
textbfsignantは、jailbreakで既存のすべての(30以上のメソッド)を著しく上回り、インジェクション評価を促します。
論文 参考訳（メタデータ） (2026-03-25T16:50:56Z) - Scaling DoRA: High-Rank Adaptation via Factored Norms and Fused Kernels [83.99688944263843]
DoRA(Weight-De Low-Rank Adaptation)は、LoRAを方向から分離することで拡張する。
d_in = 8192 とランク r = 384 では、単一のモジュールのノルムは bf16 で512MB の過渡的なワーキングメモリを必要とする。
因子ノルムは、二乗ノルムを O(d_out r + r2) 中間体を通して計算可能な基底、交差、およびグラマー項に分解し、密積を除去する。
論文 参考訳（メタデータ） (2026-03-23T17:57:24Z) - TIDE: Token-Informed Depth Execution for Per-Token Early Exit in LLM Inference [0.0]
TIDEは、定期的なチェックポイント層とルータで学習した小さなレイヤを推論時にアタッチするポストトレーニングシステムであり、トークン毎に隠れた状態が収束した最初期のレイヤを選択する。
DeepSeek R1 Distill 8BのNVIDIA A100では、TIDEは100%プリフィルの終了率(11層でトークンの5%、31層で残るもの)を達成し、プリフィルのレイテンシを7.2%削減し、シングルバッチスループットを6.6%向上させた。
論文 参考訳（メタデータ） (2026-03-22T18:58:07Z) - Compiler-First State Space Duality and Portable $O(1)$ Autoregressive Caching for Inference [0.0]
Mamba-2のステートスペース双対性アルゴリズムは、XLAの融合とタイリングが実際に最適化したものにきれいにマッピングする。
我々は,XLA の標準プリミティブとして,完全な推論パス (プリフィル,キャッシュされた自己回帰復号化) を実装した。
この実装は、単一のJAXソースからCPU、NVIDIA GPU、Google Cloud TPUで無修正で実行される。
論文 参考訳（メタデータ） (2026-03-10T12:03:00Z) - Chronicals: A High-Performance Framework for LLM Fine-Tuning with 3.51x Speedup over Unsloth [0.0]
Unsloth上で3.5倍のスピードアップを実現したオープンソースのトレーニングフレームワークであるCentralsを紹介します。
オンラインのソフトマックスの正しさ、FlashAttention IO complexity O(N2 d2 M-1)、LoRA+学習速度勾配近似など、完全な数学的基礎を提供する。
論文 参考訳（メタデータ） (2026-01-06T00:00:55Z) - dInfer: An Efficient Inference Framework for Diffusion Language Models [54.80918957287927]
拡散に基づく大規模言語モデル (dLLM) は自己回帰(AR) LLM に代わる有望な代替品として登場した。
本稿では、dLLM推論のための効率的かつ効率的なフレームワークであるdInferについて述べる。
論文 参考訳（メタデータ） (2025-10-09T16:19:42Z) - DISTFLASHATTN: Distributed Memory-efficient Attention for Long-context LLMs Training [82.06732962485754]
FlashAttentionは、1つのGPU上でのトレーニングトランスフォーマーベースの大規模言語モデル(LLM)において、2次ピークメモリの使用を線形に削減する。
本研究では,長期LLM学習に最適化されたメモリ効率の高い注意機構であるDisTFLASHATTNを紹介する。
最近のRing AttentionやDeepSpeed-Ulyssesと比較して、1.67xと1.26 - 1.88xのスピードアップを実現している。
論文 参考訳（メタデータ） (2023-10-05T03:47:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。