論文の概要: Data-Model-Hardware Tri-Design for Energy-Efficient Video Intelligence

• arxiv url: http://arxiv.org/abs/2210.08578v1
• Date: Sun, 16 Oct 2022 16:21:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 20:56:47.765436
• Title: Data-Model-Hardware Tri-Design for Energy-Efficient Video Intelligence
• Title（参考訳）: エネルギー効率の高いビデオインテリジェンスのためのデータモデルハードウエアトライデザイン
• Authors: Yimeng Zhang, Akshay Karkal Kamath, Qiucheng Wu, Zhiwen Fan, Wuyang Chen, Zhangyang Wang, Shiyu Chang, Sijia Liu, Cong Hao
• Abstract要約: 本稿では,HDビデオストリーム上での高スループット,低コスト,高精度MOTのためのデータモデル・ハードウエア・トリデザイン・フレームワークを提案する。 現状のMOTベースラインと比較して、我々の三設計アプローチは12.5倍の遅延低減、20.9倍のフレームレート改善、5.83倍の低消費電力、9.78倍のエネルギー効率を実現でき、精度は低下しない。
• 参考スコア（独自算出の注目度）: 90.30316433184414
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we propose a data-model-hardware tri-design framework for high-throughput, low-cost, and high-accuracy multi-object tracking (MOT) on High-Definition (HD) video stream. First, to enable ultra-light video intelligence, we propose temporal frame-filtering and spatial saliency-focusing approaches to reduce the complexity of massive video data. Second, we exploit structure-aware weight sparsity to design a hardware-friendly model compression method. Third, assisted with data and model complexity reduction, we propose a sparsity-aware, scalable, and low-power accelerator design, aiming to deliver real-time performance with high energy efficiency. Different from existing works, we make a solid step towards the synergized software/hardware co-optimization for realistic MOT model implementation. Compared to the state-of-the-art MOT baseline, our tri-design approach can achieve 12.5x latency reduction, 20.9x effective frame rate improvement, 5.83x lower power, and 9.78x better energy efficiency, without much accuracy drop.
• Abstract（参考訳）: 本稿では,HDビデオストリーム上での高スループット,低コスト,高精度なマルチオブジェクト追跡(MOT)のためのデータモデル・ハードウエアトリデザインフレームワークを提案する。 まず,超軽量な映像インテリジェンスを実現するために,大規模な映像データの複雑さを軽減するために,時間的フレームフィルタリングと空間的サリエンシ強調手法を提案する。 第2に,ハードウェアフレンドリーなモデル圧縮手法を設計するために,構造認識重みのスパーシティを利用する。 第3に,データとモデルの複雑性低減を支援することで,高エネルギー効率でリアルタイム性能を実現することを目的とした,スパーシティ認識,スケーラブル,低消費電力アクセラレーション設計を提案する。 既存の作業とは違って、現実のmotモデル実装のためのソフトウェア/ハードウェアの協調最適化に向けてしっかりとした一歩を踏み出します。 現状のMOTベースラインと比較して、我々の三設計アプローチは12.5倍の遅延低減、20.9倍のフレームレート改善、5.83倍の低消費電力、9.78倍のエネルギー効率を実現でき、精度は低下しない。

関連論文リスト

• LADDER: An Efficient Framework for Video Frame Interpolation [12.039193291203492]
  ビデオフレーム補間(VFI)は、スローモーション生成、フレームレート変換、ビデオフレーム復元など、様々な応用において重要な技術である。 本稿では,効率と品質のバランスをとることを目的とした,効率的なビデオフレームフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-17T06:47:17Z)
• RAVEN: Rethinking Adversarial Video Generation with Efficient Tri-plane Networks [93.18404922542702]
  本稿では,長期的空間的および時間的依存関係に対処する新しいビデオ生成モデルを提案する。 提案手法は,3次元認識型生成フレームワークにインスパイアされた,明示的で単純化された3次元平面のハイブリッド表現を取り入れたものである。 我々のモデルは高精細度ビデオクリップを解像度256時間256$ピクセルで合成し、フレームレート30fpsで5ドル以上まで持続する。
  論文  参考訳（メタデータ） (2024-01-11T16:48:44Z)
• Exploring Lightweight Hierarchical Vision Transformers for Efficient Visual Tracking [69.89887818921825]
  HiTは、さまざまなデバイス上で高速に動作可能な、効率的なトラッキングモデルの新たなファミリーだ。 HiTはLaSOTベンチマークで64.6%のAUCを達成した。
  論文  参考訳（メタデータ） (2023-08-14T02:51:34Z)
• Spatiotemporal Attention-based Semantic Compression for Real-time Video Recognition [117.98023585449808]
  本稿では,各フレームにおけるフレームと画素の重要性を評価するために,時間的注意に基づくオートエンコーダ(STAE)アーキテクチャを提案する。 我々は3D-2D CNNを組み合わせた軽量デコーダを開発し、欠落した情報を再構成する。 実験の結果,VT_STAEはビデオデータセットH51を,5%の精度で104倍圧縮できることがわかった。
  論文  参考訳（メタデータ） (2023-05-22T07:47:27Z)
• Efficient Heterogeneous Video Segmentation at the Edge [2.4378845585726903]
  ヘテロジニアス計算を利用したリソース制限エッジデバイスのための効率的なビデオセグメンテーションシステムを提案する。 具体的には、ニューラルネットワークの仕様を多次元にわたって探索することで、ネットワークモデルを設計する。 我々は、CPU、GPU、NPUにまたがるシステムの異種データフローを分析し、最適化する。
  論文  参考訳（メタデータ） (2022-08-24T17:01:09Z)
• EfficientViT: Multi-Scale Linear Attention for High-Resolution Dense Prediction [67.11722682878722]
  この研究は、新しいマルチスケール線形注意を持つ高解像度ビジョンモデルのファミリーであるEfficientViTを提示する。 マルチスケール線形注意は,グローバルな受容場とマルチスケール学習を実現する。 EfficientViTは従来の最先端モデルよりも優れたパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2022-05-29T20:07:23Z)
• FastFlowNet: A Lightweight Network for Fast Optical Flow Estimation [81.76975488010213]
  ディセンス光学フロー推定は、多くのロボットビジョンタスクで重要な役割を果たしています。 現在のネットワークはしばしば多くのパラメータを占有し、計算コストがかかる。 提案したFastFlowNetは、周知の粗大なやり方で、以下のイノベーションで機能する。
  論文  参考訳（メタデータ） (2021-03-08T03:09:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。