論文の概要: LLM4LLM: Bridging Kernel Benchmarks and Real Deployment via Closed-Loop Agentic Optimization
- arxiv url: http://arxiv.org/abs/2608.21836v1
- Date: Sat, 22 Aug 2026 08:12:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.485762
- Title: LLM4LLM: Bridging Kernel Benchmarks and Real Deployment via Closed-Loop Agentic Optimization
- Title（参考訳）: LLM4LLM: クローズドループエージェント最適化によるカーネルベンチマークと実展開
- Abstract要約: 大規模言語モデルは、低レベルのコードとカーネル最適化のために、ますます有能なエージェントになっている。
デプロイ対応のクローズドループ最適化フレームワーク LLM4LLM を紹介する。
評価されたモデルごとにエンドツーエンドのレイテンシを改善し、A100/H100で3.91$times$/6.98$times$ometry-meanスピードアップを達成する。
- 参考スコア（独自算出の注目度）: 7.393546440833148
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models have become increasingly capable agents for low-level code and kernel optimization, but isolated kernel benchmarks provide only a proxy for the deployment behavior that matters in language-model inference. We identify a benchmark-to-deployment gap: candidate kernels that appear correct and fast in standalone harnesses can exhibit different performance, safety, or phase behavior after integration into a real inference workload. We introduce LLM4LLM, a deployment-aware closed-loop optimization framework that starts from a target inference script, extracts phase-aware optimization tasks, searches with an experience-guided episodic agent, and accepts patches through in-model validation. Across ten language-model inference workloads on A100 and H100 GPUs, LLM4LLM improves end-to-end latency for every evaluated model, achieving 3.91$\times$/6.98$\times$ geometric-mean speedups on A100/H100; as supporting kernel-level evidence, it also attains up to 2.745$\times$ GeoMean speedup on KernelBench Level 2.
- Abstract（参考訳）: 大規模言語モデルは、低レベルのコードとカーネル最適化のためにますます有能なエージェントになっているが、独立したカーネルベンチマークは、言語モデル推論において重要なデプロイメント動作のプロキシを提供するだけである。
スタンドアロンのハーネスで正しく高速に見える候補カーネルは、実際の推論ワークロードに統合された後、異なるパフォーマンス、安全性、フェーズ動作を示すことができる。
LLM4LLMは、ターゲット推論スクリプトから始まり、フェーズ認識最適化タスクを抽出し、経験誘導型エピソードエージェントで検索し、モデル内バリデーションを通じてパッチを受信する、デプロイ対応クローズドループ最適化フレームワークである。
A100とH100の10の言語モデル推論ワークロードに対して、LLM4LLMは、評価モデル毎のエンドツーエンドのレイテンシを改善し、A100/H100の幾何学平均スピードアップを3.91$\times$/6.98$\timesで達成した。
関連論文リスト
- Beyond Scaling: Self-Evolving LLM Agents for Hardware Kernel Optimization via an Experience-Driven Workflow and Experience Graph Memory [19.236924182307085]
既存のカーネル最適化エージェントは、決定、その観察された実行フィードバック、そしてその証拠を使用する後の決定をほとんど保存しない。
ハードウェアカーネル最適化のための経験駆動型フレームワーク KOPE を提案する。
論文 参考訳（メタデータ） (2026-08-26T09:27:39Z) - PACE: A Proxy for Agentic Capability Evaluation [60.3743414796937]
PACEは、既存の非エージェント評価からインスタンスを選択することで、プロキシベンチマークを構築するフレームワークである。
14のモデル、4つのエージェントベンチマーク、19の非エージェントベンチマークによる実験では、PACE-Benchがエージェントスコアを予測し、LOOCVは絶対誤差(MAE)を4%以下、スピアマン相関は0.80以上、ペアワイズモデルの精度は85%で、いずれもエージェント評価コストの1%以下である。
論文 参考訳（メタデータ） (2026-07-02T10:59:03Z) - KForge: LLM-Driven Cross-Platform Kernel Generation for AI Accelerators [5.703659894138959]
生産推定は、不均一な加速器の混合をますます狙う。
それぞれのパイプラインは、増大するハードウェアバックエンドとプログラミングモデルにまたがって、ハイパフォーマンスカーネルを必要としている。
我々は、2つのLLMベースのエージェントによって駆動される反復リファインメントループを中心に構築されたクロスプラットフォームフレームワークであるKForgeを紹介する。
論文 参考訳（メタデータ） (2026-06-01T23:48:55Z) - FastKernels: Benchmarking GPU Kernel Generation in Production [15.284289018908781]
LLMベースのGPUカーネル生成エージェントは急速に進歩している。
しかし、彼らの進歩は最適化されたベンチマークによって制限されています。
Fast Kernelsはプロダクショングレードの推論フレームワークで、強化されたシステムと同等に動作する。
論文 参考訳（メタデータ） (2026-05-22T04:19:04Z) - Optimas: An Intelligent Analytics-Informed Generative AI Framework for Performance Optimization [0.6117371161379209]
Optimasは、マルチエージェントワークフロー上に構築された、モジュール化された、完全に自動化されたエンドツーエンドのAI生成フレームワークである。
パフォーマンス診断を、確立された文献ベースのコード変換にマッピングする。
100%正しいコードを生成し、98.82%以上の実験で性能を向上させる。
論文 参考訳（メタデータ） (2026-04-26T21:34:51Z) - AdaExplore: Failure-Driven Adaptation and Diversity-Preserving Search for Efficient Kernel Generation [59.964989458924585]
AdaExploreは、パフォーマンスクリティカルなカーネルコード生成のための蓄積された実行フィードバックによる自己改善を可能にするエージェントフレームワークである。
適応段階では、エージェントはタスクを合成し、繰り返し発生する障害を有効ルールの再利用可能なメモリに変換する。
探索段階では、候補核を木として整理し、小さな局所精製とより大きな構造再生を交互に行う。
論文 参考訳（メタデータ） (2026-04-17T18:25:03Z) - Improving Efficiency of GPU Kernel Optimization Agents using a Domain-Specific Language and Speed-of-Light Guidance [2.6106833542109693]
エージェントが操作する抽象化レベルについて、2つの重要な観察を行う。
CUTLASSが支援するGPUカーネル用のコンパイラを備えたDSLであるCUTLASSでこれらの原則を実装します。
我々は、SOLガイダンスを使用して、ヘッドルームを推定し、最適化試験をガイドし、SOLに近い問題を優先順位付けし、ベンチマークをゲームするカーネルにフラグを付ける。
論文 参考訳（メタデータ） (2026-03-30T21:16:39Z) - Agent Factories for High Level Synthesis: How Far Can General-Purpose Coding Agents Go in Hardware Optimization? [8.899459735174174]
本稿では,汎用符号化エージェントが高レベルのアルゴリズム仕様からハードウェア設計をいかに最適化できるかを実証研究する。
複数の自律的最適化エージェントの構築と調整を行う2段階パイプラインであるエージェントファクトリを導入する。
AMD Vitis HLS を用いた Claude Code (Opus4.5/4.6) を用いた HLS-Eval と Rodinia-HLS の 12 個のカーネルに対するアプローチの評価を行った。
論文 参考訳（メタデータ） (2026-03-26T17:57:50Z) - VeriAgent: A Tool-Integrated Multi-Agent System with Evolving Memory for PPA-Aware RTL Code Generation [52.43796056267479]
高品質なベリログコード生成のためのPPA対応ツール統合マルチエージェントフレームワークを提案する。
当社のフレームワークでは,EDAツールをtextitProgrammer Agent, textitCorrectness Agent, textitPPA Agentで構成されるクローズドループワークフローに明示的に組み込んでいる。
モデル再トレーニングなしに継続的な改善をサポートするために,構造化メモリノードに最適化エクスペリエンスを外部化するtextitEvolved Memory Mechanismを導入する。
論文 参考訳（メタデータ） (2026-03-18T11:25:40Z) - Resource-Efficient Iterative LLM-Based NAS with Feedback Memory [49.44875022114861]
ニューラルアーキテクチャサーチ(NAS)はネットワーク設計を自動化するが、従来の手法ではかなりの計算資源を必要とする。
本稿では,大規模言語モデル(LLM)を活用して,畳み込みニューラルネットワークアーキテクチャを反復的に生成し,評価し,洗練するクローズドループパイプラインを提案する。
論文 参考訳（メタデータ） (2026-03-12T16:00:22Z) - $\nabla$-Reasoner: LLM Reasoning via Test-Time Gradient Descent in Latent Space [71.23672814629448]
$nabla$-Reasonerは、トークンログに対する差別化可能な最適化をデコードループに統合する反復生成フレームワークである。
$nabla$-Reasonerは、挑戦的な数学的推論ベンチマークで20%以上の精度の向上を実現している。
論文 参考訳（メタデータ） (2026-03-05T08:42:54Z) - dInfer: An Efficient Inference Framework for Diffusion Language Models [54.80918957287927]
拡散に基づく大規模言語モデル (dLLM) は自己回帰(AR) LLM に代わる有望な代替品として登場した。
本稿では、dLLM推論のための効率的かつ効率的なフレームワークであるdInferについて述べる。
論文 参考訳（メタデータ） (2025-10-09T16:19:42Z) - Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference [23.633481089469836]
LLM(Large Language Models)の自動回帰デコーディングは、ハードウェアの性能に大きなオーバーヘッドをもたらす。
トレーニング可能なパラメータを0.0002$%しか必要とせず,A100-40GBのGPUをたった16時間で効率的にトレーニングできる並列プロンプトデコーディングを提案する。
我々のアプローチでは、最大2.49$times$ スピードアップを示し、最小のメモリオーバーヘッドは0.0004$%である。
論文 参考訳（メタデータ） (2024-05-28T22:19:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。