論文の概要: How to Train Your Little Dragon: Teaching a Small Language Model to Construct and Refine GPU Optimization Scripts

• arxiv url: http://arxiv.org/abs/2610.20980v1
• Date: Wed, 14 Oct 2026 21:49:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.085937
• Title: How to Train Your Little Dragon: Teaching a Small Language Model to Construct and Refine GPU Optimization Scripts
• Title（参考訳）: 小さなドラゴンのトレーニング方法:GPU最適化スクリプトの構築と再定義のための小さな言語モデル
• Abstract要約: HOW TO TRAIN YOUR LITTLE DRAGONは、完全な最適化スクリプトを構築し、既存のものを改善するために、小さな言語モデルを教える訓練手法である。 候補をランク付けしたり、カーネルコードを生成する代わりに、我々のモデルは最適化スクリプトを生成する。 8Bパラメータしか持たないLITTLE DRAGONは、6つのフロンティアLLMよりも高い回避精度とカーネル性能を実現する。
• 参考スコア（独自算出の注目度）: 16.261604923494186
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Compiler transformations interact, making GPU kernel optimization a search for combinations that preserve the computation while improving performance. We introduce HOW TO TRAIN YOUR LITTLE DRAGON, a training method that teaches a small language model both to construct complete optimization scripts and to improve existing ones. Instead of ranking candidates or generating kernel code, our model generates optimization scripts. We devise a compact, lossless representation whose deterministic decoding reconstructs the exact compiler trace, preserving its transformation parameters and dependencies. We use a compiler framework TVM MetaSchedule to build training data on 54,116 distinct workloads, and construct 108,594 examples in two training sets: 60,236 teach the model to generate an optimized script from an unoptimized kernel, while 48,358 teach it to produce a better script given the kernel and a somewhat optimized script. Supervised fine-tuning teaches the model to construct and improve optimization scripts from these search-derived examples. We then add reinforcement learning with a shaped reward that combines correctness with measured performance, awarding a latency-based bonus only to numerically correct kernels. We apply this training method to a model with 8 billion parameters. After supervised fine-tuning and reinforcement learning, the model achieves per-attempt correctness of 91.27% for construction and 92.01% for refinement, while reinforcement learning produces faster kernels than supervised training on 88 of 102 construction tasks and 145 of 170 refinement prompts. With only 8B parameters, our LITTLE DRAGON achieves higher per-attempt correctness and better kernel performance than six frontier LLMs: GPT-6 Astra, Opus 5, Kimi-K3, and GLM-5.3 among them, each with hundreds of billions to trillions of parameters, for which task-specific training is unavailable or expensive.
• Abstract（参考訳）: コンパイラ変換は相互作用し、GPUカーネルの最適化は、パフォーマンスを改善しながら計算を保存する組み合わせを探索する。 HOW TO TRAIN YOUR LITTLE DRAGONは、完全な最適化スクリプトを構築し、既存のものを改善するために、小さな言語モデルを教える訓練手法である。 候補をランク付けしたり、カーネルコードを生成する代わりに、我々のモデルは最適化スクリプトを生成する。 決定論的復号化が正確なコンパイラトレースを再構築し,変換パラメータと依存関係を保存する,コンパクトでロスレスな表現を考案する。 コンパイラフレームワークのTVM MetaScheduleを使用して,54,116の異なるワークロード上でトレーニングデータを構築し,2つのトレーニングセットで108,594のサンプルを構築しています。 改良された微調整は、これらの検索由来の例から最適化スクリプトの構築と改善をモデルに教える。 次に、精度と測定性能を組み合わせ、数値的に正しいカーネルにのみレイテンシベースのボーナスを与える、形をした報酬による強化学習を加えます。 このトレーニング手法を80億のパラメータを持つモデルに適用する。 教師付き微調整および強化学習の後、このモデルは建設に91.27%、改良に92.01%、強化学習は102件の工事に88件、改良プロンプトに145件を指導するよりも高速なカーネルを生成する。 GPT-6 Astra, Opus 5, Kimi-K3, GLM-5.3 の6つのフロンティア LLM よりも高い回避精度とカーネル性能を実現している。

関連論文リスト

• LLMs Are Already Good Tutors: Training-Free Prompt Optimization for Pedagogical Math Tutoring [1.4976621159818981]
  本稿では,API呼び出しによるシステムプロンプトのみのトレーニングフリーなプロンプト最適化が,実用的な代替手段であるかどうかを検討する。 提案手法は,OODベンチマークスイートを5条件で評価し,7つの方法に適応し,5つの教育特化手法を提案する。 82符号の教育コードブックを用いた行動分析により,RL学習モデルの2～3倍の学習知識パターンに依存する学習自由な手法が明らかになった。
  論文  参考訳（メタデータ） (2026-05-26T14:35:57Z)
• It Takes a Good Model to Train a Good Model: Generalized Gaussian Priors for Optimized LLMs [15.263422862969803]
  大規模言語モデルのトレーニング時間圧縮アルゴリズムであるBackSlashを導入する。 GGモデルに基づくLLM最適化のための統一エンドツーエンドフレームワークを提案する。 私たちの貢献は3倍です。 DeepShapeは、トレーニング後の正規化手法で、体重分布をGGプロファイルにマッチさせる。 RF8は、GG-distributed-priord BackSlashトレーニング用に設計された、コンパクトでハードウェア効率の良い8ビット浮動小数点演算フォーマットである。
  論文  参考訳（メタデータ） (2025-05-31T09:49:17Z)
• Democratizing AI: Open-source Scalable LLM Training on GPU-based Supercomputers [65.35142508909892]
  AxoNNと呼ばれる,スケーラブルでポータブルなオープンソースフレームワークで実装された新しい4次元ハイブリッド並列アルゴリズムを提案する。 本稿では,Frontier 上で AxoNN を用いて405ビリオンパラメータ LLM の微調整を行う。
  論文  参考訳（メタデータ） (2025-02-12T06:05:52Z)
• Kimi k1.5: Scaling Reinforcement Learning with LLMs [84.95584393629998]
  我々は、強化学習で訓練された最新のマルチモーダル言語モデル、Kimi k1.5の訓練実践について報告する。 長いコンテキストスケーリングと改善されたポリシー最適化手法が、我々のアプローチの鍵となる要素である。 本システムは,複数のベンチマークやモダリティに対して,最先端の推論性能を実現する。
  論文  参考訳（メタデータ） (2025-01-22T02:48:14Z)
• Slapo: A Schedule Language for Progressive Optimization of Large Deep Learning Model Training [17.556432199389615]
  Slapoは、テンソルレベルの演算子の実行をその算術的定義から切り離すスケジュール言語である。 SlapoはNVIDIA V100 GPUを8台搭載した1台のマシンで最大2.92倍のトレーニングスループットを向上できることを示す。
  論文  参考訳（メタデータ） (2023-02-16T00:34:53Z)
• VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
  私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。 私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。 学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2022-11-17T18:39:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。