論文の概要: Achieving Near-Zero-Overhead Multi-Model Hierarchical Classification in Real-Time Detection Pipelines

• arxiv url: http://arxiv.org/abs/2608.11770v1
• Date: Wed, 12 Aug 2026 08:14:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.515565
• Title: Achieving Near-Zero-Overhead Multi-Model Hierarchical Classification in Real-Time Detection Pipelines
• Title（参考訳）: 実時間検出パイプラインにおけるニアゼロ・オーバーヘッドマルチモデル階層分類の実現
• Abstract要約: ターゲット認識、監視、自動運転車、ドローンドメインにおけるエッジデプロイされた視覚システムは、階層的な推論パイプラインを必要とする。 GPU上ですべてのモデルを実行すると、パイプラインが成長するにつれてリアルタイムスループットを制限するシリアルボトルネックが発生する。 ゼロフォールバックDLAバックボーンに対する5段階の手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Edge-deployed vision systems in target recognition, surveillance, autonomous vehicles, and drone domains require hierarchical inference pipelines where a detection model identifies objects of interest and downstream classifiers provide fine-grained attribute analysis. Running all models on the GPU creates a serial bottleneck that limits real-time throughput as pipeline stages grow. Modern edge SoCs pair GPUs with dedicated neural accelerators (NPUs, DLAs) capable of concurrent execution, yet deploying custom models on these accelerators remains impractical due to strict operator constraints, quantization incompatibilities, and an undocumented end-to-end pipeline. We target NVIDIA Jetson DLA cores as the representative platform. We present a five-step methodology for zero GPU fallback DLA INT8 deployment of classification backbones, comprising architecture adaptation, manual dynamic range workaround to rescue TensorRT's implicit quantization (recovering 94.0% accuracy from implicit quantization's 75%) for rapid pipeline validation before explicit quantization, quantization-aware training, ONNX graph surgery for DLA compilation, and a concurrent GPU-detection/DLA-classification inference pipeline. We document nine engineering constraints with root-cause analysis and generalizable solutions. Validation on a dual-head person attribute classifier running on DLA alongside a GPU object detector on a Jetson Orin NX demonstrates near-zero pipeline overhead (12.5 vs. 13.3~FPS detector-only at 1080p), with dual-DLA scaling at no additional cost. The methodology is backbone-agnostic and generalizes to any detection-classification edge pipeline.
• Abstract（参考訳）: ターゲット認識、監視、自動運転車、ドローンドメインのエッジデプロイされた視覚システムは階層的な推論パイプラインを必要とし、検出モデルが興味のあるオブジェクトを識別し、下流の分類器がきめ細かな属性分析を提供する。 GPU上ですべてのモデルを実行すると、パイプラインが成長するにつれてリアルタイムスループットを制限するシリアルボトルネックが発生する。 現代的なエッジのSoCは、専用のニューラルアクセラレータ(NPU、DLA)と、同時実行が可能なGPUをペアリングするが、これらのアクセラレータにカスタムモデルをデプロイするのは、厳格なオペレータ制約、量子化の不互換性、ドキュメントなしのエンドツーエンドパイプラインのため、現実的ではない。 代表プラットフォームとしてNVIDIA Jetson DLAコアをターゲットとしています。 本稿では,GPUのフォールバックをゼロにする5段階の手法を提案する。アーキテクチャ適応,手動ダイナミックレンジ回避による救済を行うTensorRTの暗黙的量子化(暗黙的量子化の75%から94.0%の精度を回復する)による,明示的量子化前のパイプライン検証,量子化対応トレーニング,DLAコンパイル用ONNXグラフ手術,同時GPU検出/DLA分類推論パイプラインを含む,分類バックボーンのデプロイを行う。 根本原因分析と一般化可能な解を用いて,9つの工学的制約を文書化する。 Jetson Orin NX上のGPUオブジェクト検出器と並行してDLA上で動作するデュアルヘッドの属性分類器の検証では、パイプラインのオーバーヘッド(12.5対13.3〜FPS検出器のみ1080p)が示され、デュアルDLAスケーリングは追加費用なしで実現された。 この手法はバックボーンに依存しず、任意の検出分類エッジパイプラインに一般化する。

関連論文リスト

• Carry-Through Checksum: A Lightweight Fault-Detection for CNN Inference at the Edge [0.21748200848556343]
  組込みGPU上でのCNN推論におけるソフトエラー検出の基本的な新しい手法であるキャリースルーを提案する。 提案手法はFP32とFP16の臨界断層の95.86%と86.56%を画像当たりのオーバーヘッドで検出する。
  論文  参考訳（メタデータ） (2026-09-15T07:15:30Z)
• PEAT: Pseudo-Error Assessment for GPU Kernel Validation in DNN Training [1.0132958091492892]
  我々は、DNNアンダーラインTrainingにおけるGPUカーネル検証に関連するアンダーラインPseudo-underlineErrorアンダーライン評価のための軽量検査フレームワークPEATを提案する。 従来のフォールトインジェクション(FI)にインスパイアされたPEATのプロファイラは、トレーニングフロー内のオペレーションワイドカーネルを起動し、モデルの状態を収集する。 PEATのAnalyzerはプロファイルエラーを特徴付け、ゴールデンエラーと比較してカーネルのエラー分布からのいくつかのシグネチャを明らかにしている。
  論文  参考訳（メタデータ） (2026-09-11T21:16:15Z)
• Characterizing Vision-Language-Action Models across XPUs: Constraints and Acceleration for On-Robot Deployment [8.758783768535805]
  VLA(Vision-Language-Action)モデルは、一般的なロボット制御に期待できるが、ロボット上での展開は、コストとエネルギー予算の厳しいリアルタイム推論によってボトルネックとなる。 本稿では,モデル・ハードウエアのコキャラクタリゼーションによる低コストVLAデプロイメントの系統的解析を行う。
  論文  参考訳（メタデータ） (2026-04-27T13:12:16Z)
• Distributed Training under Packet Loss [8.613477072763404]
  信頼性の低いコネクションを利用するとレイテンシが低下するが、パケットを落としてモデルの精度と収束を犠牲にする可能性がある。 そこで本研究では,パケット損失の正確性と収束性を保証する原理的なエンドツーエンドソリューションを提案する。 この研究は、コミュニケーション効率の高いプロトコルと、現代の大規模モデルの訓練で要求される精度と保証のギャップを埋めるものである。
  論文  参考訳（メタデータ） (2025-07-02T11:07:20Z)
• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• Iterative Filter Pruning for Concatenation-based CNN Architectures [9.651318927588934]
  現代の物体検出器は、連結を伴う高度に相互接続された畳み込み層を有する。 本稿では,畳み込み層間の接続グラフに基づいて,連結層を扱う手法を提案する。 FPGAとNVIDIA Jetson Xavier AGXにプルーンドモデルをデプロイする。
  論文  参考訳（メタデータ） (2024-05-04T19:40:42Z)
• Communication-Efficient Graph Neural Networks with Probabilistic Neighborhood Expansion Analysis and Caching [59.8522166385372]
  大規模グラフ上でのグラフニューラルネットワーク(GNN)のトレーニングと推論は、GNNの登場以来活発に研究されている。 本稿では,分散環境におけるノードワイドサンプリングを用いたGNNによるミニバッチ学習と推論について述べる。 分割された特徴データを扱うために,従来のSALIENTシステムを拡張したSALIENT++を提案する。
  論文  参考訳（メタデータ） (2023-05-04T21:04:01Z)
• Accelerating Training and Inference of Graph Neural Networks with Fast Sampling and Pipelining [58.10436813430554]
  グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。 我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。 本稿では,これらのボトルネックを緩和する一連の改良点について述べる。 また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
  論文  参考訳（メタデータ） (2021-10-16T02:41:35Z)
• Bringing AI pipelines onto cloud-HPC: setting a baseline for accuracy of COVID-19 AI diagnosis [5.313553229474047]
  私たちは、"CLAIRE COVID-19 Universal Pipeline"と呼ばれるパラメトリックパイプラインを定義する重要な要素としてStreamFlow Management Systemを提唱します。 このパイプラインは、新型コロナウイルス(COVID-19)の肺病変をCTスキャンから分類し、それらを精度で比較し、パフォーマンスベースラインを設定する最適化方法を探索することができる。 StreamFlowで設計されたパイプラインのポータビリティ・バイ・デザインのおかげで、従来のHPCインフラストラクチャで見られる膨大な計算能力が必要になります。
  論文  参考訳（メタデータ） (2021-08-02T16:45:00Z)
• Layer Pruning on Demand with Intermediate CTC [50.509073206630994]
  我々はコネクショニスト時間分類(CTC)に基づくASRの訓練と刈り取り方法を提案する。 本稿では,Transformer-CTCモデルをオンデマンドで様々な深さでプルーニングできることを示し,GPU上でのリアルタイム係数を0.005から0.002に改善した。
  論文  参考訳（メタデータ） (2021-06-17T02:40:18Z)
• DAAIN: Detection of Anomalous and Adversarial Input using Normalizing Flows [52.31831255787147]
  我々は、アウト・オブ・ディストリビューション(OOD)インプットと敵攻撃(AA)を検出する新しい手法であるDAINを導入する。 本手法は,ニューラルネットワークの内部動作を監視し,活性化分布の密度推定器を学習する。 当社のモデルは,特別なアクセラレータを必要とせずに,効率的な計算とデプロイが可能な単一のGPUでトレーニングすることが可能です。
  論文  参考訳（メタデータ） (2021-05-30T22:07:13Z)
• Faster object tracking pipeline for real time tracking [0.0]
  マルチオブジェクトトラッキング(MOT)は、視覚ベースのアプリケーションにとって難しい実践的問題である。 本稿では,検出に基づく物体追跡手法の高速化に有効な汎用パイプラインについて紹介する。
  論文  参考訳（メタデータ） (2020-11-08T06:33:48Z)
• Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned Edge Learning Over Broadband Channels [69.18343801164741]
  パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。 本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
  論文  参考訳（メタデータ） (2020-10-08T15:27:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。