論文の概要: HTAM: Hierarchical Transition-Attended Memory for Operator Optimization

• arxiv url: http://arxiv.org/abs/2605.29734v1
• Date: Thu, 28 May 2026 10:29:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:56.184558
• Title: HTAM: Hierarchical Transition-Attended Memory for Operator Optimization
• Title（参考訳）: HTAM: 演算子最適化のための階層的遷移Attended Memory
• Authors: Yining Zhang, Mingyang Yi, Chen Wang, Xuwen Xiang, Tianhe Jia, Zedong Dan, Chengqing Zong, Yue Wang,
• Abstract要約: 近年のLLMベースのコード生成では,演算子の自動生成が期待できるが,演算子最適化はハードウェア対応の検索問題のままである。 粗いヒントは再利用可能であるが実行が困難であるのに対して、詳細な記憶は動作可能であるが検索空間を拡大し、最適化のボトルネックを曖昧にしている。 本稿では,LLMに基づく演算子最適化のための粗大なフレームワークであるHTAMを提案する。
• 参考スコア（独自算出の注目度）: 32.20872995255167
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: High-performance GPU kernels are essential for efficient LLM deployment, yet optimizing them remains expertise-intensive. Recent LLM-based code generation makes automatic GPU operator generation promising, but operator optimization remains a hardware-aware search problem. Existing LLM-based methods face a granularity mismatch: coarse hints are reusable but hard to execute, whereas detailed memories are actionable but enlarge the search space and obscure optimization bottlenecks. The key challenge is therefore to organize optimization experience at an appropriate granularity. To address this issue, this paper proposes HTAM (Hierarchical Transition-Attended Memory), a coarse-to-fine framework for LLM-based operator optimization. HTAM builds a two-level Hierarchical Transition Graph (HTG) to organize coarse global directions, detailed local strategies, and transition experience between optimization steps. During each evolution step, HTAM selects a global direction from the current state and recent optimization history, retrieves the corresponding local strategy memory, and uses it to guide concrete CUDA code generation. Experiments on the full KernelBench suite demonstrate that HTAM consistently improves correctness, fast-solution rate, and speedup over LLM-based baselines, while backend and Robust-KBench studies indicate transferable benefits from structured memory.
• Abstract（参考訳）: 高性能GPUカーネルは効率的なLLMデプロイメントには不可欠だが、最適化は専門知識に重点を置いている。 最近のLLMベースのコード生成はGPU演算子の自動生成を有望なものにしているが、演算子最適化はハードウェア対応の検索問題のままである。 粗いヒントは再利用可能であるが実行が困難であるのに対して、詳細な記憶は動作可能であるが検索空間を拡大し、最適化のボトルネックを曖昧にしている。 そのため、重要な課題は最適化経験を適切な粒度で整理することである。 本稿では,LLMに基づく演算子最適化のための粗大なフレームワークであるHTAM(Hierarchical Transition-Attended Memory)を提案する。 HTAMは、粗いグローバルな方向、詳細なローカル戦略、最適化ステップ間の遷移経験を整理するために、2レベル階層遷移グラフ(HTG)を構築する。 各進化段階において、HTAMは現在の状態と最近の最適化履歴からグローバルな方向を選択し、対応するローカル戦略メモリを検索し、具体的なCUDAコード生成をガイドする。 完全なKernelBenchスイートの実験では、HTAMはLLMベースのベースラインよりも正確性、高速解法率、スピードアップを一貫して改善し、バックエンドとRobust-KBench研究は構造化メモリによる転送可能な利点を示している。

関連論文リスト

• QiMeng-Kernel: Macro-Thinking Micro-Coding Paradigm for LLM-Based High-Performance GPU Kernel Generation [41.53673797546332]
  マイクロコーディングは、人間の専門家の段階最適化戦略にインスパイアされた階層的なフレームワークである。 最適化戦略を実装の詳細から切り離し、高レベルの戦略と低レベルの実装によって正確性を確保する。 レベル1-2と3で100%と70%の精度を達成し、SOTAの汎用とドメインファインチュアリングのLLMよりも50%以上、LLMよりも7.3倍、エキスパート最適化のPyTorch Eagerカーネルより2.2倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2025-11-25T09:17:47Z)
• STARK: Strategic Team of Agents for Refining Kernels [23.717055490630596]
  我々は,GPUカーネル最適化のためのエージェントフレームワークを導入し,マルチエージェント協調による設計空間を探索する。 このフレームワークはエキスパートエンジニアのワークフローを模倣し、LCMがハードウェアトレードオフを推論し、プロファイリングフィードバックを取り入れ、カーネルを反復的に洗練することを可能にする。 我々は,LLMに基づくカーネル最適化のベンチマークであるKernelBenchに対するアプローチを評価し,ベースラインエージェントよりも大幅に改善したことを示す。
  論文  参考訳（メタデータ） (2025-10-19T20:41:46Z)
• LLM as a Complementary Optimizer to Gradient Descent: A Case Study in Prompt Tuning [69.95292905263393]
  グラデーションベースとハイレベルなLLMは、協調最適化フレームワークを効果的に組み合わせることができることを示す。 本稿では,これらを相互に補完し,組み合わせた最適化フレームワークを効果的に連携させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-30T06:24:14Z)
• Revisiting Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning: A Benchmark [166.40879020706151]
  本稿では、微調整時のメモリコスト低減のためのソリューションとして、BPフリーゼロオーダー最適化(ZO)への移行を提案する。 従来のZO-SGD法とは異なり、我々の研究はより広い範囲のZO最適化手法に探索を広げる。 本研究は,タスクアライメントの重要性,前方勾配法の役割,アルゴリズムの複雑さと微調整性能のバランスについて,これまで見過ごされてきた最適化原理を明らかにした。
  論文  参考訳（メタデータ） (2024-02-18T14:08:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。