論文の概要: FlashVector: Agent for Hierarchical Model Serving Stack Optimization
- arxiv url: http://arxiv.org/abs/2609.17391v1
- Date: Tue, 15 Sep 2026 16:27:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.617442
- Title: FlashVector: Agent for Hierarchical Model Serving Stack Optimization
- Title（参考訳）: FlashVector: スタック最適化を実現する階層モデルエージェント
- Abstract要約: モデルサービスは、製品レコメンデーションシステムにおける最大のコストドライバの1つです。
モデルサービススタックの全レイヤにわたるパフォーマンスを最適化するエージェントシステムであるFlashを紹介します。
- 参考スコア（独自算出の注目度）: 10.025205889943122
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Model serving is one of the largest cost drivers in production recommender systems. Maximizing its throughput requires navigating a deeply layered hierarchy: GPU kernels, the ML framework computation graph, the model server, and on-demand feature processing -- each demanding specialized domain expertise. Such cross-layer expertise is inherently difficult to acquire, and does not scale with a workload that continuously grows and evolves, leaving significant cost efficiency gains unrealized. While recent AI agents have demonstrated human expert level efficiency in standalone GPU kernel optimization, automated tuning and optimization for the rest of the serving stack remain largely unexplored. We present FlashVector, an agentic system that optimizes performance across all layers of the model serving stack. The key contribution is an extensible framework to generalize the single kernel optimization agent paradigm to heterogeneous technical stacks, and to deliver performance improvements holistically. After deployment in Unity's Vector advertising platform, FlashVector achieved up to 2x throughput increase and up to 1.98x latency speedup on model server, and up to 1.6x throughput increase on feature store. These optimizations were discovered not only at the GPU kernel and computation graph levels, but also across the other components of the model serving stack, such as the model server (NVIDIA Triton's C++ codebase) and the on-demand feature transformation service (Python codebase), demonstrating the extensibility of the framework to more complex system architectures.
- Abstract（参考訳）: モデルサービスは、製品レコメンデーションシステムにおける最大のコストドライバの1つです。
スループットの最大化には、GPUカーネル、MLフレームワーク計算グラフ、モデルサーバ、オンデマンド機能処理など、深く階層化された階層をナビゲートする必要がある。
このようなクロスレイヤーの専門知識は本質的に取得が困難であり、継続的に成長し進化するワークロードにスケールしないため、コスト効率の大幅な向上は実現されない。
最近のAIエージェントは、スタンドアロンのGPUカーネル最適化において、人間の専門家レベルの効率を実証しているが、サービススタックの残りの部分に対する自動チューニングと最適化は、ほとんど探索されていないままである。
本稿では、モデルサービススタックの全層にわたるパフォーマンスを最適化するエージェントシステムであるFlashVectorを紹介する。
重要な貢献は、単一カーネル最適化エージェントのパラダイムを異種技術的スタックに一般化し、全体的なパフォーマンス改善を実現するための拡張可能なフレームワークである。
UnityのVector広告プラットフォームにデプロイすると、FlashVectorは最大2倍のスループット向上とモデルサーバでの最大1.98倍のレイテンシスピードアップ、機能ストアでの最大1.6倍のスループット向上を達成した。
これらの最適化はGPUカーネルや計算グラフレベルだけでなく、モデルサーバ(NVIDIA TritonのC++コードベース)やオンデマンド機能変換サービス(Pythonコードベース)など、モデル提供スタックの他のコンポーネントでも発見され、より複雑なシステムアーキテクチャへのフレームワークの拡張性を示している。
関連論文リスト
- EGG: An Expert-Guided Agent Framework for Kernel Generation [6.7681055398028995]
LLMの判断を導くために,専門家最適化の原則を取り入れた,カーネル生成のためのエキスパートガイドエージェントフレームワークEGGを提案する。
EGGはPyTorchよりも平均2.13倍のスピードアップを実現し、既存のエージェントベースおよびRLベースのアプローチより優れている。
論文 参考訳（メタデータ） (2026-06-25T08:44:26Z) - Sol Video Inference Engine: Agent-Native Full-Stack Acceleration Framework for Efficient Video Generation [50.504140880964336]
本稿では,ビデオ拡散モデルのためのエージェント型,ネイティブな,トレーニング不要なアクセラレーションフレームワークであるSol Video Inferenceを紹介する。
キャッシュ、スパースアテンション、トークンプルーニング、量子化、カーネル融合の5つの広く適用可能なテクニックをエージェントアクセラレーションスタックにまとめる。
ほぼロスレスなVBench品質を維持しながら、エンドツーエンドのアクセラレーションを2倍以上に向上させる。
論文 参考訳（メタデータ） (2026-06-21T17:23:20Z) - Optimizing PyTorch Inference with LLM-Based Multi-Agent Systems [1.2289544895833646]
マルチエージェントPyTorch最適化システムを比較するためのフレームワークを提案する。
エラー修正エージェントと組み合わせた場合,エクスプロイトヘビー戦略が最善であることを示す。
最も優れた実装は、H100 GPU上で平均2.88倍のスピードアップを達成する。
論文 参考訳（メタデータ） (2025-11-21T05:37:38Z) - xLLM Technical Report [57.13120905321185]
我々は,知的かつ効率的なLarge Language Model (LLM)推論フレームワークであるxLLMを紹介する。
xLLMは、新しい分離されたサービスエンジンアーキテクチャを構築する。
xLLM-Engineは、システムとアルゴリズムの設計を最適化し、コンピュータリソースを完全に飽和させる。
論文 参考訳（メタデータ） (2025-10-16T13:53:47Z) - ZeroLM: Data-Free Transformer Architecture Search for Language Models [54.83882149157548]
現在の自動プロキシ発見アプローチは、検索時間の拡張、データの過度なオーバーフィットへの感受性、構造的な複雑さに悩まされている。
本稿では,効率的な重み統計によるモデルキャパシティの定量化を目的とした,新しいゼロコストプロキシ手法を提案する。
本評価は,FlexiBERT ベンチマークで Spearman's rho 0.76 と Kendall's tau 0.53 を達成し,このアプローチの優位性を示すものである。
論文 参考訳（メタデータ） (2025-03-24T13:11:22Z) - AutoHete: An Automatic and Efficient Heterogeneous Training System for LLMs [68.99086112477565]
トランスフォーマーベースの大規模言語モデル(LLM)は、シーケンスモデリングやテキスト生成において例外的な機能を示した。
既存の異種トレーニング手法は、トレーニング可能なモデルの規模を大幅に拡大するが、かなりの通信オーバーヘッドとCPUワークロードを導入している。
本稿では,シングルGPU環境とマルチGPU環境の両方に互換性のある,自動的で効率的なヘテロジニアストレーニングシステムであるAutoHeteを提案する。
論文 参考訳（メタデータ） (2025-02-27T14:46:22Z) - Inference Optimization of Foundation Models on AI Accelerators [68.24450520773688]
トランスフォーマーアーキテクチャを備えた大規模言語モデル(LLM)を含む強力な基礎モデルは、ジェネレーティブAIの新たな時代を支えている。
モデルパラメータの数が数十億に達すると、実際のシナリオにおける推論コストと高いレイテンシーが排除される。
このチュートリアルでは、AIアクセラレータを用いた補完推論最適化テクニックに関する包括的な議論を行っている。
論文 参考訳（メタデータ） (2024-07-12T09:24:34Z) - Harnessing Deep Learning and HPC Kernels via High-Level Loop and Tensor Abstractions on CPU Architectures [67.47328776279204]
この研究は、効率的でポータブルなDeep LearningとHigh Performance Computingカーネルを開発するためのフレームワークを導入している。
1)プロセッシングプリミティブ(TPP)を用いた計算コアの表現と,2)高レベルな宣言的手法でTPPのまわりの論理ループの表現の2つのステップでカーネルの開発を分解する。
我々は、スタンドアロンカーネルと、さまざまなCPUプラットフォームにおける最先端実装よりも優れたエンドツーエンドワークロードを使用して、このアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2023-04-25T05:04:44Z) - Slapo: A Schedule Language for Progressive Optimization of Large Deep
Learning Model Training [17.556432199389615]
Slapoは、テンソルレベルの演算子の実行をその算術的定義から切り離すスケジュール言語である。
SlapoはNVIDIA V100 GPUを8台搭載した1台のマシンで最大2.92倍のトレーニングスループットを向上できることを示す。
論文 参考訳（メタデータ） (2023-02-16T00:34:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。