論文の概要: EdgeOAR: Real-time Online Action Recognition On Edge Devices

• arxiv url: http://arxiv.org/abs/2412.01267v1
• Date: Mon, 02 Dec 2024 08:35:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:45:16.364196
• Title: EdgeOAR: Real-time Online Action Recognition On Edge Devices
• Title（参考訳）: EdgeOAR:エッジデバイス上でリアルタイムのオンライン行動認識
• Authors: Wei Luo, Deyu Zhang, Ying Tang, Fan Wu, Yaoxue Zhang,
• Abstract要約: 本稿では,映像ストリームにおける行動の即時的分析と分類を含むフレームワークであるオンライン行動認識(OAR)の課題に対処する。 この問題を解決するために、エッジデバイス上でOAR用に特別に設計された新しいフレームワークであるEdgeARを設計しました。 提案手法では, 最新技術(SOTA)法と比較して, レイテンシを99.23%削減し, エネルギー消費を99.28%削減する。
• 参考スコア（独自算出の注目度）: 18.424406745729364
• License:
• Abstract: This paper addresses the challenges of Online Action Recognition (OAR), a framework that involves instantaneous analysis and classification of behaviors in video streams. OAR must operate under stringent latency constraints, making it an indispensable component for real-time feedback for edge computing. Existing methods, which typically rely on the processing of entire video clips, fall short in scenarios requiring immediate recognition. To address this, we designed EdgeOAR, a novel framework specifically designed for OAR on edge devices. EdgeOAR includes the Early Exit-oriented Task-specific Feature Enhancement Module (TFEM), which comprises lightweight submodules to optimize features in both temporal and spatial dimensions. We design an iterative training method to enable TFEM learning features from the beginning of the video. Additionally, EdgeOAR includes an Inverse Information Entropy (IIE) and Modality Consistency (MC)-driven fusion module to fuse features and make better exit decisions. This design overcomes the two main challenges: robust modeling of spatio-temporal action representations with limited initial frames in online video streams and balancing accuracy and efficiency on resource-constrained edge devices. Experiments show that on the UCF-101 dataset, our method EdgeOAR reduces latency by 99.23% and energy consumption by 99.28% compared to state-of-the-art (SOTA) method. And achieves an adequate accuracy on edge devices.
• Abstract（参考訳）: 本稿では,映像ストリームにおける行動の即時的分析と分類を含むフレームワークであるオンライン行動認識(OAR)の課題に対処する。 OARは厳格なレイテンシ制約の下で動作しなければなりません。エッジコンピューティングのリアルタイムフィードバックに必要なコンポーネントになります。 既存の方法は、通常ビデオクリップ全体の処理に依存するが、即時認識を必要とするシナリオでは不足している。 この問題を解決するために、エッジデバイス上でOAR用に特別に設計された新しいフレームワークであるEdgeOARを設計しました。 EdgeOARにはEarly Exit-oriented Task-specific Feature Enhancement Module (TFEM)が含まれている。 ビデオの冒頭からTFEM学習機能を実現するための反復学習手法を設計する。 さらに、EdgeOARには、Inverse Information Entropy (IIE)とModality Consistency (MC)駆動のフュージョンモジュールが含まれており、フィーチャを融合させ、より良い出口決定を行う。 この設計は2つの主要な課題を克服する: オンラインビデオストリームの初期フレームに制限のある時空間的行動表現のロバストなモデリングと、リソース制約されたエッジデバイス上での精度と効率のバランス。 UCF-101データセットでは、EdgeOARは最新技術(SOTA)と比較してレイテンシを99.23%削減し、エネルギー消費量を99.28%削減する。 そしてエッジデバイス上で適切な精度を達成する。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Efficient Multi-Object Tracking on Edge Devices via Reconstruction-Based Channel Pruning [0.2302001830524133]
  現代のMOTシステムで使用されるような複雑なネットワークの圧縮に適したニューラルネットワークプルーニング手法を提案する。 我々は、高い精度を維持しつつ、最大70%のモデルサイズ削減を実現し、さらにJetson Orin Nanoの性能を向上させる。
  論文  参考訳（メタデータ） (2024-10-11T12:37:42Z)
• AyE-Edge: Automated Deployment Space Search Empowering Accuracy yet Efficient Real-Time Object Detection on the Edge [43.53507577737864]
  AyE-Edgeは、自動デバイスデプロイメントスペースを探索する、この種の最初の開発ツールである。 AyE-Edgeはモバイルデバイス上で実施された大規模な実世界実験に優れています。 最先端のSOTA(State-of-the-art (SOTA))と比較すると、96.7%の消費電力削減が目覚ましい。
  論文  参考訳（メタデータ） (2024-07-25T16:17:08Z)
• Weak-to-Strong 3D Object Detection with X-Ray Distillation [75.47580744933724]
  本稿では,既存の任意の3Dオブジェクト検出フレームワークにシームレスに統合する多目的手法を提案する。 オブジェクト・コンプリートフレームを用いたX線蒸留は、教師付き設定と半教師付き設定の両方に適している。 提案手法は,半教師あり学習における最先端の手法を1-1.5mAPで超越する。
  論文  参考訳（メタデータ） (2024-03-31T13:09:06Z)
• D$^2$ST-Adapter: Disentangled-and-Deformable Spatio-Temporal Adapter for Few-shot Action Recognition [60.84084172829169]
  大規模な事前訓練された画像モデルに数発のアクション認識を適用することは、ロバストな特徴抽出器を学習するための効果的な戦略であることが証明されている。 D$2$ST-Adapter (Disentangled-and-Deformable Spatio-Temporal Adapter) は,アクション認識に適した新しいチューニングフレームワークである。
  論文  参考訳（メタデータ） (2023-12-03T15:40:10Z)
• Fast and Resource-Efficient Object Tracking on Edge Devices: A Measurement Study [9.976630547252427]
  マルチオブジェクトトラッキング(MOT)は動く物体を検出し、実際のシーンがビデオに写っているときにフレームによって位置をトラッキングする。 本稿では,オブジェクト追跡における性能問題とエッジ固有の最適化機会について検討する。 EMOと呼ばれるエッジ固有のパフォーマンス最適化戦略をいくつか提示し、リアルタイムオブジェクト追跡を高速化する。
  論文  参考訳（メタデータ） (2023-09-06T02:25:36Z)
• LAMBO: Large AI Model Empowered Edge Intelligence [71.56135386994119]
  次世代エッジインテリジェンスは、オフロード技術を通じて様々なアプリケーションに恩恵をもたらすことが期待されている。 従来のオフロードアーキテクチャは、不均一な制約、部分的な認識、不確実な一般化、トラクタビリティの欠如など、いくつかの問題に直面している。 我々は、これらの問題を解決するための10億以上のパラメータを持つLarge AI Model-Based Offloading (LAMBO)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-29T07:25:42Z)
• Implicit Temporal Modeling with Learnable Alignment for Video Recognition [95.82093301212964]
  本稿では,極めて高い性能を達成しつつ,時間的モデリングの労力を最小限に抑える新しいImplicit Learnable Alignment(ILA)法を提案する。 ILAはKineetics-400の88.7%で、Swin-LやViViT-Hに比べてFLOPははるかに少ない。
  論文  参考訳（メタデータ） (2023-04-20T17:11:01Z)
• Gradient Backpropagation based Feature Attribution to Enable Explainable-AI on the Edge [1.7338677787507768]
  そこで本研究では,勾配バックプロパゲーションに基づく特徴属性アルゴリズムのデータフローを解析し,推論に要するリソースのオーバーヘッドを推定する。 我々は,エッジデバイスを対象とした高レベル合成(HLS)に基づくFPGA設計を開発し,3つの特徴帰属アルゴリズムをサポートする。 提案手法は,最小限のオーバーヘッドで特徴属性をサポートするために推論アクセラレータを再利用し,エッジ上でのリアルタイムXAIを実現する経路を示す。
  論文  参考訳（メタデータ） (2022-10-19T22:58:59Z)
• Motion-aware Memory Network for Fast Video Salient Object Detection [15.967509480432266]
  我々は、隣接するフレームから現在のフレームの有用な時間情報をVSODの時間枝として抽出する時空間メモリ(STM)ベースのネットワークを設計する。 符号化段階では、電流とその隣接するフレームから高次特徴を用いて高次時間特徴を生成する。 復号化段階では,空間的および時間的分岐に対する効果的な融合戦略を提案する。 提案モデルでは,光学フローなどの前処理を必要とせず,推定時に100FPS近い速度に達することができる。
  論文  参考訳（メタデータ） (2022-08-01T15:56:19Z)
• Fast Online Video Super-Resolution with Deformable Attention Pyramid [172.16491820970646]
  ビデオスーパーレゾリューション(VSR)には、ビデオストリーミングやテレビなど、厳格な因果性、リアルタイム、レイテンシの制約を課す多くのアプリケーションがある。 変形性アテンションピラミッド(DAP)に基づく繰り返しVSRアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-02-03T17:49:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。