論文の概要: Conjugate Compilation: Self-Improving Agentic Co-Compilation for Speculative Decoding

• arxiv url: http://arxiv.org/abs/2610.25012v1
• Date: Sun, 18 Oct 2026 04:46:51 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:25:59.874497
• Title: Conjugate Compilation: Self-Improving Agentic Co-Compilation for Speculative Decoding
• Title（参考訳）: 共役コンパイル:投機的復号化のための自己改善エージェント共コンパイル
• Abstract要約: 投機的復号化は、提供プロセスに2つのモデルをもたらす: 小さなドラフトモデルは、より大きなターゲットモデルが検証するトークンを提案する。 クロスモデルコンパイル問題として投機的復号を再構成した CONJUGATE CompiLATION を導入する。 私たちの重要な洞察は、クロスモデルコンパイルは、共有された共有実行の計測されたパフォーマンスによって通知されるべきであるということです。
• 参考スコア（独自算出の注目度）: 3.6256888511150795
• License:
• Abstract: As LLM adoption surges, scaling model serving requires unlocking stranded GPU capacity alongside deploying more GPUs. Speculative decoding brings two models into the serving process: a small draft model proposes tokens that a larger target model verifies. Yet compiling these models individually leaves their shared execution outside the compiler's optimization boundary. We introduce CONJUGATE COMPILATION, which reframes speculative decoding as a cross-model compilation problem and jointly optimizes the draft and target models within their shared execution rather than treating each in isolation. Our key insight is that cross-model compilation should be informed by the measured performance of the co-located shared execution it produces: an optimization that improves a kernel in isolation need not improve the models when they execute together. To expand cross-model opportunities, we devise operand layouts that interleave blocks from both models within common tiles, co-locating GEMM and non-GEMM work while preserving their mathematics. We realize CONJUGATE COMPILATION through a self-improving agentic search system in which an LLM edits cross-model optimization plans using the compiler and GPU execution as its environment. Each proposed plan is compiled and evaluated through its co-located shared execution, whose measured score, together with kernel-level verdicts and compiler feedback, informs subsequent proposals, while Monte Carlo tree search accumulates rewards to guide exploration. Across six single-GPU speculative-decoding configurations on NVIDIA B300 and RTX 5090 GPUs, CONJUGATE COMPILATION achieves a geometric-mean per-round speedup of 1.37x over conventional execution. Interleaved kernels raise this speedup to 1.45x, reaching 1.59x in the best case. CONJUGATE COMPILATION also improves GPU utilization on average by 1.46x on RTX 5090 and 1.50x on B300.
• Abstract（参考訳）: LLMの採用が急増するにつれて、スケーリングモデルの提供には、より多くのGPUをデプロイすると同時に、立ち往生したGPUキャパシティのアンロックが必要になる。 投機的復号化は、提供プロセスに2つのモデルをもたらす: 小さなドラフトモデルは、より大きなターゲットモデルが検証するトークンを提案する。 しかし、これらのモデルを個別にコンパイルすると、共有実行はコンパイラの最適化境界外になる。 クロスモデルコンパイル問題として投機的復号化を再構成し、個別に扱うのではなく、共用実行内でのドラフトモデルとターゲットモデルを共同で最適化するCONJUGATE計算を導入する。 私たちの重要な洞察は、クロスモデルコンパイルは、その生成する共有実行の計測パフォーマンスによって通知されるべきである、ということだ。 本研究では,共通タイル内の両モデルからブロックをインターリーブするオペランドレイアウトを考案し,GEMMと非GEMMを共同配置し,それらの数学を保存した。 我々は,LLMがコンパイラとGPUの実行を環境として、クロスモデル最適化計画を編集する自己改善型エージェントサーチシステムを通じて,ConJUGATE圧縮を実現する。 提案した各プランは、カーネルレベルの評定とコンパイラのフィードバックとともに、スコアを計測した共有実行を通じてコンパイルされ、評価され、モンテカルロ木探索は探索をガイドするために報酬を蓄積する。 NVIDIA B300とRTX 5090 GPU上の6つのシングルGPUの投機的デコード構成に対して、ConJUGATE CompiLATIONは、従来の実行よりも1.37倍の幾何平均のスピードアップを達成する。 インターリーブカーネルはこのスピードアップを1.45倍に引き上げ、ベストケースでは1.59倍に達する。 CONJUGATE CompiLATIONは、RTX 5090では平均1.46倍、B300では1.50倍のGPU利用率も向上している。

関連論文リスト

• LLM4LLM: Bridging Kernel Benchmarks and Real Deployment via Closed-Loop Agentic Optimization [7.393546440833148]
  大規模言語モデルは、低レベルのコードとカーネル最適化のために、ますます有能なエージェントになっている。 デプロイ対応のクローズドループ最適化フレームワーク LLM4LLM を紹介する。 評価されたモデルごとにエンドツーエンドのレイテンシを改善し、A100/H100で3.91$times$/6.98$times$ometry-meanスピードアップを達成する。
  論文  参考訳（メタデータ） (2026-08-22T08:12:16Z)
• AsmEvo: Agentic Assembly-Level Optimization of AMD GPU Kernels with Functional Equivalence Verification [21.700338424307517]
  本稿では,AMD GPUカーネル用のエージェント組立レベルウェアAsmEvoを紹介する。 AsmEvoは、コードオブジェクトのリカバリ、メタデータのリカバリ、プロファイリングガイド付きホットウィンドウの編集、正確性に制限されたタイミング、パッチのフォールバックを組み合わせたものだ。 MI308Xでは、AsmEvoは選ばれた30のBenchカーネルの29を改良し、平均1.35倍、最大3.88倍のスピードアップを達成した。
  論文  参考訳（メタデータ） (2026-08-21T03:34:22Z)
• CUDA MPC: A GPU-Native Solver for Model Predictive Control [0.0]
  モデル予測制御(MPC)は、高速なダイナミックス、高次元モデル、あるいは長い水平線を持つシステムに制約対応制御を提供する。 本稿では,ハードウェアの最適化アルゴリズム,実行モデル,メモリアーキテクチャを共同設計したGPUネイティブなMPCフレームワークであるMPCを紹介する。
  論文  参考訳（メタデータ） (2026-08-04T03:02:04Z)
• A High-Throughput Compute-Efficient POMDP Hide-And-Seek-Engine (HASE) for Multi-Agent Operations [0.0]
  我々はC++で構築された計算効率の高いDec-POMDPエンジン、Hide-And-Seek-Engineを紹介した。 我々のエンジンは、AMD 9950X (16コア)上の1エージェント1024環境の分散観測において、毎秒最大33,000,000ステップのスループットを維持できる。 エンジンは、ベースラインのシングルスレッドベクトル化NumPy実装よりも約3,500$times$のスループット向上を実現している。
  論文  参考訳（メタデータ） (2026-04-29T20:09:13Z)
• Eliminating Multi-GPU Performance Taxes: A Systems Approach to Efficient Distributed LLMs [61.953548065938385]
  分析フレームワークとして'3つの税'(バルク同期、カーネル間データローカリティ、カーネルローンチオーバーヘッド)を紹介した。 我々は、分散GPU実行におけるキー非効率に対処するために、厳密なBSPモデルを超えて移動することを提案する。 BSPベースのアプローチによるエンドツーエンドのレイテンシの10-20%の高速化を観察する。
  論文  参考訳（メタデータ） (2025-11-04T01:15:44Z)
• NGPU-LM: GPU-Accelerated N-Gram Language Model for Context-Biasing in Greedy ASR Decoding [54.88765757043535]
  この研究は、統計的なn-gram言語モデルのデータ構造を再考し、GPU最適化推論の高速かつ並列な操作を可能にする。 我々のアプローチは NGPU-LM と呼ばれ、7% 未満の計算オーバーヘッドを持つ全ての主要な ASR モデルに対して、カスタマイズ可能なgreedy decoding を導入している。 提案手法は,ビーム探索による顕著な遅延を回避しつつ,greedy と beam search の精度ギャップの50%以上を排除できる。
  論文  参考訳（メタデータ） (2025-05-28T20:43:10Z)
• CompileAgent: Automated Real-World Repo-Level Compilation with Tool-Integrated LLM-based Agent System [52.048087777953064]
  リポジトリレベルのコンパイル専用のエージェントフレームワークであるCompileAgentを提案する。 CompileAgentは5つのツールとフローベースのエージェント戦略を統合し、コンパイル命令検索とエラー解決のためのソフトウェアアーチファクトとのインタラクションを可能にする。 提案手法は,10%から71%の範囲で,コンパイル成功率を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2025-05-07T08:59:14Z)
• EPS-MoE: Expert Pipeline Scheduler for Cost-Efficient MoE Inference [49.94169109038806]
  本稿では,既存の並列処理方式を超越したMoE用パイプラインスケジューラであるEPS-MoEを紹介する。 その結果,既存の並列推論手法と比較して,プリフィルスループットは52.4%向上した。
  論文  参考訳（メタデータ） (2024-10-16T05:17:49Z)
• ParaGraph: Weighted Graph Representation for Performance Optimization of HPC Kernels [1.304892050913381]
  抽象構文木を拡張した並列アプリケーションのためのグラフベースの新しいプログラム表現を提案する。 提案した表現は,OpenMPコード領域のランタイムを予測するために,グラフニューラルネットワーク(GNN)をトレーニングすることで評価する。 その結果,本手法は実効性があり,実行時予測では 0.004 から 0.01 に RMSE を正規化していることがわかった。
  論文  参考訳（メタデータ） (2023-04-07T05:52:59Z)
• SWARM Parallelism: Training Large Models Can Be Surprisingly Communication-Efficient [69.61083127540776]
  ディープラーニングアプリケーションは、数十億のパラメータを持つ大きなモデルを使用することの恩恵を受ける。 これらのモデルのトレーニングは、特殊なHPCクラスタを必要とするため、非常に高価である。 安価な"プリエンプティブル"インスタンスを使用するか、あるいは複数のリージョンから既存のリソースをプールする。
  論文  参考訳（メタデータ） (2023-01-27T18:55:19Z)
• MPLP++: Fast, Parallel Dual Block-Coordinate Ascent for Dense Graphical Models [96.1052289276254]
  この研究は、人気のあるDual Block-Coordinate Ascent原則に基づく新しいMAP-solverを導入している。 驚いたことに、性能の低い解法に小さな変更を加えることで、既存の解法を大きなマージンで大幅に上回る新しい解法MPLP++を導出します。
  論文  参考訳（メタデータ） (2020-04-16T16:20:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。