論文の概要: Optimizing AI Inference Across the Deployment Stack

• arxiv url: http://arxiv.org/abs/2609.10550v1
• Date: Wed, 01 Jul 2026 15:26:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.491455
• Title: Optimizing AI Inference Across the Deployment Stack
• Title（参考訳）: デプロイメントスタック全体のAI推論の最適化
• Abstract要約: 本稿では,デプロイメントスタック全体にわたる推論最適化の統一的解析処理について述べる。 我々は、精度、レイテンシ、スループット、メモリフットプリント、エネルギに関する制約付き多目的問題としてデプロイメントを定式化する。 我々はJetson AGX Orinや5つの推論フレームワークを含むエッジプラットフォームからエビデンスを合成する。
• 参考スコア（独自算出の注目度）: 0.8913544654492699
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: AI deployment performance is shaped not by model architecture alone, but by interactions among compression, compiler transformations, and serving policies. Published benchmarks often report latency and throughput under incomparable conditions, limiting their use for deployment decisions. This paper presents a unified analytical treatment of inference optimization across the deployment stack. We introduce a three-layer taxonomy covering model-level techniques such as quantization, pruning, and distillation; compiler transformations such as graph fusion, layout optimization, and kernel autotuning; and system policies such as dynamic batching, admission control, and memory tiering. We formulate deployment as a constrained multi-objective optimization problem over accuracy, latency, throughput, memory footprint, and energy, and analyze a deployment-ranking functional with Pareto monotonicity and scale invariance. Roofline models show how memory-bandwidth hierarchies bound performance across precision regimes, while queuing models explain how service-time changes amplify response time under load. To improve comparability, we propose an evidence protocol that separates measured, derived, and analytical claims; limits numerical comparison to within-paper results; and requires reporting of hardware, software versions, batch semantics, and thermal state. We synthesize evidence from edge platforms, including Jetson AGX Orin and five inference frameworks; data center GPUs, including A100 and H100 with three LLM serving engines; and quantization studies across the Llama-3.1 family. The synthesis shows that deployment outcomes are governed by cross-layer interactions that no single-layer analysis can predict. We conclude with a constraint-aware selection procedure and open problems in compiler-serving co-optimization, cross-hardware performance prediction, and standardized energy reporting.
• Abstract（参考訳）: AIデプロイメントのパフォーマンスは、モデルアーキテクチャだけでなく、圧縮やコンパイラ変換、ポリシの提供といったインタラクションによって形作られています。 公開されたベンチマークは、しばしば互換性のない条件下でのレイテンシとスループットを報告し、デプロイメントの決定に使用を制限する。 本稿では,デプロイメントスタック全体にわたる推論最適化の統一的解析処理について述べる。 本稿では,量子化,プルーニング,蒸留などのモデルレベルの手法,グラフ融合,レイアウト最適化,カーネル自動チューニングなどのコンパイラ変換,動的バッチ処理,入出力制御,メモリ階層化といったシステムポリシを網羅した3層分類法を提案する。 精度,レイテンシ,スループット,メモリフットプリント,エネルギに対する制約付き多目的最適化問題としてデプロイメントを定式化し,Paretoの単調性とスケール不変性によるデプロイメントレベルの関数の解析を行った。 Rooflineモデルは、メモリ帯域幅階層が精度の高いレシエーション間でパフォーマンスをバインドする方法を示し、キューイングモデルは、サービス時間の変化が負荷下での応答時間を増幅する方法を説明する。 コンパラビリティを向上させるために,測定,導出,解析的クレームを分離し,数値比較を紙内結果に制限するエビデンスプロトコルを提案し,ハードウェア,ソフトウェアバージョン,バッチセマンティクス,熱状態の報告を必要とする。 我々は、Jetson AGX Orinと5つの推論フレームワークを含むエッジプラットフォームからのエビデンス、A100とH100を含むデータセンターGPUと3つのLLMサービスエンジン、Llama-3.1ファミリ間の量子化研究を合成する。 この合成により、デプロイメントの結果は単層解析が予測できない層間相互作用によって制御されることが示された。 本稿では,コンパイラの協調最適化,クロスハードウェア性能予測,標準化されたエネルギレポーティングにおける制約対応の選択手順とオープンな問題について結論する。

関連論文リスト

• HoliBench: A Cross-Platform Benchmarking and Deployment Toolkit for Foundation Models in CPS-IoT Applications [2.050075597129042]
  ファンデーションモデルは、CPSやIoTアプリケーションのための組み込みおよびエッジプラットフォームにますますデプロイされている。 既存のベンチマークツールはモデル機能を独立して評価し、十分な計算量を想定した精度を報告している。 HoliBenchは、プラットフォーム間の正確性、レイテンシ、エネルギを共同で特徴付けるモジュール式ベンチマークおよびデプロイメントツールキットです。
  論文  参考訳（メタデータ） (2026-09-11T04:03:20Z)
• Planning-aligned Token Compression for Long-Context Autonomous Driving [95.59023657139208]
  条件付きVQ-VA上に構築した計画整合型ワーキングメモリフレームワークを提案する。 圧縮は歴史的軌跡と学習した計画意図の両方で条件付けられている。 歴史的文脈が行動の正確性に最も重要となる高信号動的シナリオについて評価する。
  論文  参考訳（メタデータ） (2026-06-05T17:16:21Z)
• The Silent Hyperparameter: Quantifying the Impact of Inference Backends on LLM Reproducibility [4.514361164656055]
  バックエンドのみを選択することで、ベンチマークスコアを最大16.6ポイントシフトできることが示されています。 これは、キャッシュやグラフ、カスタムカーネル、ロジット処理におけるエンジン固有のデフォルトなど、システムレベルの最適化によって実現されています。
  論文  参考訳（メタデータ） (2026-05-19T08:37:27Z)
• Dynamic analysis enhances issue resolution [53.50448142467294]
  DAIRA(Dynamic Analysis-enhanced Issue Resolution Agent)は、エージェントの推論サイクルに動的解析を組み込む自動修復フレームワークである。 テストトレース駆動の方法論によって駆動されるDAIRAは、軽量モニタを使用して重要なランタイムデータを抽出する。 Gemini 3 Flash Previewを使用すると、DAIRAは新たな最先端(SOTA)パフォーマンスを確立し、SWE-bench Verifiedデータセットで79.4%の解像度を達成する。
  論文  参考訳（メタデータ） (2026-03-23T14:48:54Z)
• Metrics and evaluations for computational and sustainable AI efficiency [26.52588349722099]
  現在のアプローチでは全体像の提供に失敗し、システムの比較と最適化が難しい。 本稿では,計算および環境メトリクスを統合するAIモデル推論のための統一的再現可能な方法論を提案する。 本フレームワークは, 遅延を系統的に測定し, スループット, エネルギー消費, 位置調整二酸化炭素排出量を計測することにより, 実用的で炭素を意識した評価を行う。
  論文  参考訳（メタデータ） (2025-10-18T03:30:15Z)
• HEAS: Hierarchical Evolutionary Agent Simulation Framework for Cross-Scale Modeling and Multi-Objective Search [4.807104001943257]
  階層シミュレーションエージェント(Hierarchical Simulation Agent, HEAS)は、階層化されたエージェントベースのモデリングを進化的最適化とトーナメント評価で統合するPythonフレームワークである。 HEASは、共有コンテキストを読み書きする決定論的レイヤにスケジュールされた軽量プロセス(ストリーム)の階層としてモデルを表現する。 compact APIとCLIは、シングルオブジェクトとマルチオブジェクトの進化をシミュレートし、最適化し、評価します。
  論文  参考訳（メタデータ） (2025-08-21T13:35:46Z)
• Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field and Online Inference [47.460898983429374]
  我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。 EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。 得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
  論文  参考訳（メタデータ） (2023-12-10T15:22:30Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。