論文の概要: DIR-BHRNet: A Lightweight Network for Real-time Vision-based Multi-person Pose Estimation on Smartphones
- arxiv url: http://arxiv.org/abs/2407.13777v1
- Date: Mon, 1 Jul 2024 11:49:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-28 18:48:53.832360
- Title: DIR-BHRNet: A Lightweight Network for Real-time Vision-based Multi-person Pose Estimation on Smartphones
- Title（参考訳）: DIR-BHRNet - スマートフォン上でのリアルタイム視覚に基づくマルチパーソンポーズ推定のための軽量ネットワーク
- Authors: Gongjin Lan, Yu Wu, Qi Hao,
- Abstract要約: スマートフォン上のリアルタイムMPPEのための軽量ニューラルネットワークDIR-BHRNetを提案する。
DIR-BHRNetを現行のAndroidスマートフォンに実装し,10FPS以上の性能を実現している。
- 参考スコア（独自算出の注目度）: 17.070981341542932
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Human pose estimation (HPE), particularly multi-person pose estimation (MPPE), has been applied in many domains such as human-machine systems. However, the current MPPE methods generally run on powerful GPU systems and take a lot of computational costs. Real-time MPPE on mobile devices with low-performance computing is a challenging task. In this paper, we propose a lightweight neural network, DIR-BHRNet, for real-time MPPE on smartphones. In DIR-BHRNet, we design a novel lightweight convolutional module, Dense Inverted Residual (DIR), to improve accuracy by adding a depthwise convolution and a shortcut connection into the well-known Inverted Residual, and a novel efficient neural network structure, Balanced HRNet (BHRNet), to reduce computational costs by reconfiguring the proper number of convolutional blocks on each branch. We evaluate DIR-BHRNet on the well-known COCO and CrowdPose datasets. The results show that DIR-BHRNet outperforms the state-of-the-art methods in terms of accuracy with a real-time computational cost. Finally, we implement the DIR-BHRNet on the current mainstream Android smartphones, which perform more than 10 FPS. The free-used executable file (Android 10), source code, and a video description of this work are publicly available on the page 1 to facilitate the development of real-time MPPE on smartphones.
- Abstract（参考訳）: ヒューマンポーズ推定(HPE)、特にマルチパーソンポーズ推定(MPPE)は、ヒューマンマシンシステムなどの多くの領域に適用されている。
しかし、現在のMPPEメソッドは一般的に強力なGPUシステム上で動作し、多くの計算コストがかかる。
低パフォーマンスコンピューティングを持つモバイルデバイス上でのリアルタイムMPPEは難しい課題である。
本稿では,スマートフォン上でリアルタイムMPPEを実現するための軽量ニューラルネットワークDIR-BHRNetを提案する。
DIR-BHRNetでは、DIR(Dense Inverted Residual)を設計し、よく知られたInverted Residualに奥行きの畳み込みとショートカット接続を加えることにより精度を向上させるとともに、各ブランチの適切な数の畳み込みブロックを再構成することで計算コストを削減するために、新しい効率的なニューラルネットワーク構造であるBa balanced HRNet(BHRNet)を設計する。
我々は、よく知られたCOCOおよびCrowdPoseデータセット上でDIR-BHRNetを評価する。
その結果,DIR-BHRNetはリアルタイム計算コストの精度で最先端の手法よりも優れていた。
最後に、DIR-BHRNetを現在のメインストリームのAndroidスマートフォンに実装し、10 FPS以上のパフォーマンスを実現しています。
フリー使用可能なファイル(Android 10)、ソースコード、およびこの作業のビデオは、スマートフォン上でリアルタイムMPPEの開発を容易にするために、ページ1で公開されている。
関連論文リスト
- Training Deep Boltzmann Networks with Sparse Ising Machines [5.048818298702389]
深層生成AIモデルをトレーニングすることにより,確率ビット(pビット)ベースのIsingマシンのための新しいアプリケーションドメインを示す。
スパース、非同期、および非常に並列なIsingマシンを使用して、ハイブリッド確率-古典計算設定でディープボルツマンネットワークを訓練する。
論文 参考訳（メタデータ） (2023-03-19T18:10:15Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳（メタデータ） (2022-01-09T09:31:50Z) - Collaborative Learning over Wireless Networks: An Introductory Overview [84.09366153693361]
主に、ワイヤレスデバイス間の協調トレーニングに焦点を合わせます。
過去数十年間、多くの分散最適化アルゴリズムが開発されてきた。
データ局所性 – すなわち、各参加デバイスで利用可能なデータがローカルのままである間、共同モデルを協調的にトレーニングすることができる。
論文 参考訳（メタデータ） (2021-12-07T20:15:39Z) - PhiNets: a scalable backbone for low-power AI at the edge [2.7910505923792646]
PhiNetsは、リソース制約のあるプラットフォーム上でのディープラーニングベースの画像処理に最適化された、スケーラブルなバックボーンである。
PhiNetは計算コスト、動作メモリ、パラメータメモリを分離するために特別に設計された逆残差ブロックに基づいている。
STM32H743マイクロコントローラをベースとしたプロトタイプノードへのアプローチを実証する。
論文 参考訳（メタデータ） (2021-10-01T12:03:25Z) - GRIM: A General, Real-Time Deep Learning Inference Framework for Mobile
Devices based on Fine-Grained Structured Weight Sparsity [46.75304109970339]
本稿では、畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方に汎用的な新しいモバイル推論加速フレームワークGRIMを設計する。
ブロックベースカラムロープルーニング(BCR)による微細粒度構造解析手法を提案する。
我々のGRIMフレームワークは、この新たなきめ細かな構造化された空間に基づいて、(a)リアルタイムモバイル推論のためのコンパイラ最適化とコード生成という2つの部分で構成されています。
論文 参考訳（メタデータ） (2021-08-25T03:50:46Z) - Broadcasted Residual Learning for Efficient Keyword Spotting [7.335747584353902]
モデルサイズと計算負荷を小さくして高精度な放送残差学習手法を提案する。
また,放送残差学習に基づく新しいネットワークアーキテクチャ,BC-Residual Network(BC-ResNet)を提案する。
BC-ResNetsは、Googleの音声コマンドデータセット v1 と v2 で、最先端の98.0% と98.7% のトップ-1 の精度をそれぞれ達成している。
論文 参考訳（メタデータ） (2021-06-08T06:55:39Z) - Lite-HRNet: A Lightweight High-Resolution Network [97.17242913089464]
人間のポーズ推定に有効な高分解能ネットワークLite-HRNetを提案する。
シャッフルブロックにおける高用量(1x1)の畳み込みが計算ボトルネックとなる。
シャッフルブロックにおけるコストのかかる(1x1)畳み込みを置き換えるために,軽量な条件付きチャネル重み付けを導入する。
論文 参考訳（メタデータ） (2021-04-13T17:59:31Z) - Learning Frequency-aware Dynamic Network for Efficient Super-Resolution [56.98668484450857]
本稿では、離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。
実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。
ベンチマークSISRモデルおよびデータセット上での実験は、周波数認識動的ネットワークが様々なSISRニューラルネットワークに使用できることを示している。
論文 参考訳（メタデータ） (2021-03-15T12:54:26Z) - FastFlowNet: A Lightweight Network for Fast Optical Flow Estimation [81.76975488010213]
ディセンス光学フロー推定は、多くのロボットビジョンタスクで重要な役割を果たしています。
現在のネットワークはしばしば多くのパラメータを占有し、計算コストがかかる。
提案したFastFlowNetは、周知の粗大なやり方で、以下のイノベーションで機能する。
論文 参考訳（メタデータ） (2021-03-08T03:09:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。