論文の概要: CARB: A Characterization-Guided Framework for CNN Inference Cost Prediction and Deployment Screening

• arxiv url: http://arxiv.org/abs/2608.10506v1
• Date: Tue, 11 Aug 2026 05:27:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-12 19:14:45.917942
• Title: CARB: A Characterization-Guided Framework for CNN Inference Cost Prediction and Deployment Screening
• Title（参考訳）: CARB: CNN推論コスト予測とデプロイスクリーニングのための評価ガイド付きフレームワーク
• Abstract要約: 既存のアプローチは、FLOP、レイテンシ測定、またはエネルギープロキシとしての単一デバイスプロファイリングに依存している。 本稿では2つのGPUプラットフォーム上での13419 CNN構成のワークロード特性について述べる。 我々はCARB、R2 0.99で3つのターゲット全てを共同で予測するカスケードブレンドアンサンブル、および秒間に90%以上の候補を排除した2段階のデプロイメントスクリーニングワークフローを開発する。
• 参考スコア（独自算出の注目度）: 3.4577090606397163
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Accurate pre-deployment estimation of CNN inference cost--energy, latency, and peak memory--is increasingly critical as models are deployed on resource-constrained GPU platforms. Existing approaches rely on FLOPs, latency measurements, or single-device profiling as energy proxies, overlooking the non-linear interactions between architectural design and hardware load. We present a workload characterization study of 13 419 CNN configurations on two GPU platforms (RTX 5090 and RTX 3080) under GPU telemetry, revealing that energy, latency, and memory exhibit fundamentally distinct scaling behaviors: energy and latency diverge by 3x under high computational demand, and cross-GPU transferability differs by target--energy and latency require platform-specific models while memory transfers well across the two tested platforms. Building on these characterization findings, we develop CARB, a cascade-blended ensemble that jointly predicts all three targets with R2 ~0.99, and a two-stage deployment screening workflow that eliminates over 90% of candidates in seconds, reducing large design spaces to a Pareto-prioritized shortlist validated against real hardware.
• Abstract（参考訳）: CNNのコスト - エネルギー、レイテンシ、ピークメモリ - の正確な事前デプロイ推定は、モデルがリソース制約のあるGPUプラットフォームにデプロイされるにつれて、ますます重要になっている。 既存のアプローチは、アーキテクチャ設計とハードウェア負荷の間の非線形相互作用を見越して、FLOP、レイテンシ測定、またはエネルギープロキシとしての単一デバイスプロファイリングに依存している。 我々は,GPUテレメトリによる2つのGPUプラットフォーム(RTX 5090とRTX 3080)上の13のCNN構成のワークロード特性について,エネルギー,レイテンシ,メモリが根本的に異なるスケーリング動作を示すことを示した。 これらの特徴を生かしたCARB, R2 ~0.99 の3つのターゲット全てを共同で予測するカスケードブレンドアンサンブル,および2段階配置スクリーニングワークフローを開発し, 90%以上の候補を秒間に除去し, 大規模設計スペースを実際のハードウェアに対して検証したパレート優先のショートリストに還元する。

関連論文リスト

• HoliBench: A Cross-Platform Benchmarking and Deployment Toolkit for Foundation Models in CPS-IoT Applications [2.050075597129042]
  ファンデーションモデルは、CPSやIoTアプリケーションのための組み込みおよびエッジプラットフォームにますますデプロイされている。 既存のベンチマークツールはモデル機能を独立して評価し、十分な計算量を想定した精度を報告している。 HoliBenchは、プラットフォーム間の正確性、レイテンシ、エネルギを共同で特徴付けるモジュール式ベンチマークおよびデプロイメントツールキットです。
  論文  参考訳（メタデータ） (2026-09-11T04:03:20Z)
• CTA-Pipelining: A Latency-Oriented Spatial Scaling Method for Multi-GPU Systems [2.870762512009438]
  本稿では,共有メモリマルチGPUシステムを活用するための実行パラダイムであるCTA-pipeliningを紹介する。 遅延指向の空間スケーリング手法として、CTAパイプライニングは協調スレッドアレイレベルを活用する。 その結果、CTAパイプライニングはマイクロバッチに比べてレイテンシを最大31.8%削減することがわかった。
  論文  参考訳（メタデータ） (2026-07-08T18:54:08Z)
• Scaling Parallel Sequence Models to Foundation-Scale Vision Encoders [123.58723804218151]
  ビジョンファウンデーションモデルは、自己注意の二次的なコストによってボトルネックとなる。 2次元空間伝搬伝搬に基づくC-GSPNを提案する。
  論文  参考訳（メタデータ） (2026-05-30T14:29:43Z)
• Profiling-Driven Adaptive Distributed Transformer Inference on Embedded Edge Deployment [60.442064966340524]
  本稿では、WiFi経由で接続されたNVIDIA Jetson Orin Nanoデバイスに関するプロトタイプ研究を行う。 主な発見は、主なボトルネックは、ネットワーク帯域幅だけでなく、通信中のCPU-GPUステージングである。 実験によると、この戦略はフルテンソル交換と比較して遅延を65%-77%減らし、エネルギー消費を34%-52%減らしている。
  論文  参考訳（メタデータ） (2026-05-25T10:39:28Z)
• Silicon Showdown: Performance, Efficiency, and Ecosystem Barriers in Consumer-Grade LLM Inference [0.0]
  本稿では,Nvidia と Apple Silicon のエコシステムについて,系統的な実証分析を行った。 大規模モデルをデプロイするために必要なアーキテクチャ内トレードオフを特徴付ける。 我々は、コンシューマグレードの推論において、最適なハードウェアは計算密度(Nvidia)とメモリ容量(Apple)の複雑な相互作用によって定義されると結論付けた。
  論文  参考訳（メタデータ） (2026-05-01T08:45:47Z)
• Scalable Generative Game Engine: Breaking the Resolution Wall via Hardware-Algorithm Co-Design [17.941176878609337]
  我々は、スケーラブルなTextitHardware-Algorithm共設計フレームワークを導入することにより、生成モデルと高分解能ニューラルネットワークのギャップを埋める。 このシステムは, それぞれ26.4 FPSと48.3 FPSの流体を供給し, 有効遅延は2.7msである。
  論文  参考訳（メタデータ） (2026-01-31T08:52:51Z)
• Energy Scaling Laws for Diffusion Models: Quantifying Compute and Carbon Emissions in Image Generation [50.21021246855702]
  本稿では,計算複雑性(FLOP)に基づく拡散モデルに対するGPUエネルギー消費予測のためのKaplanスケーリング法の適用法を提案する。 提案手法は, テキストエンコーディング, 反復的復号化, 復号化コンポーネントへの拡散モデル推論を分解し, 複数の推論ステップをまたいだ繰り返し実行により, 演算の復号化がエネルギー消費を支配しているという仮説を導いた。 この結果は拡散予測の計算バウンドの性質を検証し、持続可能なAIデプロイメント計画と炭素フットプリント推定の基礎を提供する。
  論文  参考訳（メタデータ） (2025-11-21T08:12:47Z)
• Accelerating Linear Recurrent Neural Networks for the Edge with Unstructured Sparsity [39.483346492111515]
  線形リカレントニューラルネットワークは、推論中に一定のメモリ使用量と時間毎の時間を含む強力な長距離シーケンスモデリングを可能にする。 非構造化空間は、互換性のあるハードウェアプラットフォームによって加速されるときに、計算とメモリの要求を大幅に削減できる魅力的なソリューションを提供する。 非常に疎い線形RNNは、高密度ベースラインよりも高い効率と性能のトレードオフを一貫して達成している。
  論文  参考訳（メタデータ） (2025-02-03T13:09:21Z)
• EfficientViT: Multi-Scale Linear Attention for High-Resolution Dense Prediction [67.11722682878722]
  この研究は、新しいマルチスケール線形注意を持つ高解像度ビジョンモデルのファミリーであるEfficientViTを提示する。 マルチスケール線形注意は,グローバルな受容場とマルチスケール学習を実現する。 EfficientViTは従来の最先端モデルよりも優れたパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2022-05-29T20:07:23Z)
• Accelerating Training and Inference of Graph Neural Networks with Fast Sampling and Pipelining [58.10436813430554]
  グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。 我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。 本稿では,これらのボトルネックを緩和する一連の改良点について述べる。 また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
  論文  参考訳（メタデータ） (2021-10-16T02:41:35Z)
• Multi-Exit Semantic Segmentation Networks [78.44441236864057]
  本稿では,最先端セグメンテーションモデルをMESSネットワークに変換するフレームワークを提案する。 パラメトリド早期出口を用いた特別訓練されたCNNは、より簡単なサンプルの推測時に、その深さに沿って保存する。 接続されたセグメンテーションヘッドの数、配置、アーキテクチャとエグジットポリシーを併用して、デバイス機能とアプリケーション固有の要件に適応する。
  論文  参考訳（メタデータ） (2021-06-07T11:37:03Z)
• FastFlowNet: A Lightweight Network for Fast Optical Flow Estimation [81.76975488010213]
  ディセンス光学フロー推定は、多くのロボットビジョンタスクで重要な役割を果たしています。 現在のネットワークはしばしば多くのパラメータを占有し、計算コストがかかる。 提案したFastFlowNetは、周知の粗大なやり方で、以下のイノベーションで機能する。
  論文  参考訳（メタデータ） (2021-03-08T03:09:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。