論文の概要: Lightweight Pixel Difference Networks for Efficient Visual Representation Learning

• arxiv url: http://arxiv.org/abs/2402.00422v1
• Date: Thu, 1 Feb 2024 08:39:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-02 16:03:22.908171
• Title: Lightweight Pixel Difference Networks for Efficient Visual Representation Learning
• Title（参考訳）: 効率的な視覚表現学習のための軽量画素差ネットワーク
• Authors: Zhuo Su, Jiehua Zhang, Longguang Wang, Hua Zhang, Zhen Liu, Matti Pietik\"ainen, Li Liu
• Abstract要約: emphPixel Different Convolution (PDC) と Binary PDC (Bi-PDC) という2種類の新しいコンボリューションを提案する。 エッジ検出やオブジェクト認識などの視覚的タスクに対して,高効率かつ高精度な表現を学習するために,emphPixel Different Networks (PiDiNet) とemph Binary PiDiNet (Bi-PiDiNet) という2つの軽量ディープネットワークを提案する。
• 参考スコア（独自算出の注目度）: 20.345417462198725
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, there have been tremendous efforts in developing lightweight Deep Neural Networks (DNNs) with satisfactory accuracy, which can enable the ubiquitous deployment of DNNs in edge devices. The core challenge of developing compact and efficient DNNs lies in how to balance the competing goals of achieving high accuracy and high efficiency. In this paper we propose two novel types of convolutions, dubbed \emph{Pixel Difference Convolution (PDC) and Binary PDC (Bi-PDC)} which enjoy the following benefits: capturing higher-order local differential information, computationally efficient, and able to be integrated with existing DNNs. With PDC and Bi-PDC, we further present two lightweight deep networks named \emph{Pixel Difference Networks (PiDiNet)} and \emph{Binary PiDiNet (Bi-PiDiNet)} respectively to learn highly efficient yet more accurate representations for visual tasks including edge detection and object recognition. Extensive experiments on popular datasets (BSDS500, ImageNet, LFW, YTF, \emph{etc.}) show that PiDiNet and Bi-PiDiNet achieve the best accuracy-efficiency trade-off. For edge detection, PiDiNet is the first network that can be trained without ImageNet, and can achieve the human-level performance on BSDS500 at 100 FPS and with $<$1M parameters. For object recognition, among existing Binary DNNs, Bi-PiDiNet achieves the best accuracy and a nearly $2\times$ reduction of computational cost on ResNet18. Code available at \href{https://github.com/hellozhuo/pidinet}{https://github.com/hellozhuo/pidinet}.
• Abstract（参考訳）: 近年、エッジデバイスにDNNをユビキタスに展開できる、十分な精度で軽量なDeep Neural Networks(DNN)の開発に多大な努力が払われている。 コンパクトで効率的なDNNを開発する上での課題は、高い精度と高い効率を達成するという競合する目標のバランスをとる方法にある。 本稿では,高次局所微分情報の取得,計算効率の向上,既存のDNNと統合可能な2種類の新しい畳み込み(PDC)と2次PDC(PDC)を提案する。 さらに, PDC と Bi-PDC では, エッジ検出や物体認識などの視覚的タスクに対して, 高効率かつ高精度な表現を学習するために, それぞれ \emph{Pixel Difference Networks (PiDiNet) と \emph{Binary PiDiNet (Bi-PiDiNet) という2つの軽量ディープネットワークを提案する。 一般的なデータセット(BSDS500, ImageNet, LFW, YTF, \emph{etc)に関する大規模な実験。 これは、PiDiNetとBi-PiDiNetが最良の精度と効率のトレードオフを達成することを示している。 エッジ検出のために、PiDiNetはImageNetなしでトレーニングできる最初のネットワークであり、BSDS500の人間レベルの性能を100 FPSと$<1Mパラメータで達成できる。 オブジェクト認識では、既存のバイナリDNNの中で、Bi-PiDiNetはResNet18の計算コストを2ドル近く削減する。 コードは \href{https://github.com/hellozhuo/pidinet}{https://github.com/hellozhuo/pidinet}。

関連論文リスト

• MogaNet: Multi-order Gated Aggregation Network [64.16774341908365]
  我々は,識別的視覚的表現学習のために,MogaNetと呼ばれる現代ConvNetの新たなファミリーを提案する。 MogaNetは概念的に単純だが効果的な畳み込みをカプセル化し、集約をコンパクトモジュールに集約する。 MogaNetは、ImageNetの最先端のViTやConvNetと比較して、優れたスケーラビリティ、パラメータの大幅な効率、競争性能を示している。
  論文  参考訳（メタデータ） (2022-11-07T04:31:17Z)
• DA$^{\textbf{2}}$-Net : Diverse & Adaptive Attention Convolutional Neural Network [0.6999740786886536]
  DA$2$-Netは、フィードフォワードCNNが多様な機能を明示的にキャプチャし、ネットワークのパフォーマンスを効果的に向上させるために最も有益な機能を適応的に選択し、強調することを可能にする。 CIFAR100,SVHN,ImageNetなど,ベンチマークデータセット上でDA$2$-Netを広範囲に評価した。
  論文  参考訳（メタデータ） (2021-11-25T16:25:16Z)
• Pixel Difference Networks for Efficient Edge Detection [71.03915957914532]
  本稿では,Pixel Difference Network (PiDiNet) という軽量かつ効率的なエッジ検出アーキテクチャを提案する。 BSDS500、NYUD、Multicueのデータセットに関する大規模な実験が、その効果を示すために提供されている。 0.1M未満のパラメータを持つPiDiNetのより高速なバージョンは、200FPSのアーティファクトで同等のパフォーマンスを達成できる。
  論文  参考訳（メタデータ） (2021-08-16T10:42:59Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• EfficientNet-eLite: Extremely Lightweight and Efficient CNN Models for Edge Devices by Network Candidate Search [13.467017642143583]
  本稿では,資源使用量と性能のトレードオフを研究するために,ネットワーク候補探索(NCS)を提案する。 実験では,EfficientNet-B0から候補CNNモデルを収集し,幅,深さ,入力解像度,複合スケールダウンなど,様々な方法でスケールダウンする。 Application-Specific Integrated Circuit (ASIC)でCNNエッジアプリケーションをさらに採用するために、EfficientNet-eLiteのアーキテクチャを調整し、よりハードウェアフレンドリなバージョンであるEfficientNet-HFを構築します。
  論文  参考訳（メタデータ） (2020-09-16T01:11:10Z)
• Towards Lossless Binary Convolutional Neural Networks Using Piecewise Approximation [4.023728681102073]
  CNNは算術演算の数とメモリストレージのサイズを大幅に減らすことができる。 しかし、単一のバイナリCNNと複数のバイナリCNNの精度劣化は、現代のアーキテクチャでは受け入れられない。 完全精度の重みとアクティベーションを近似することにより、精度の低下を低減できる複数のバイナリCNNに対するPiecewise Approximationスキームを提案する。
  論文  参考訳（メタデータ） (2020-08-08T13:32:33Z)
• $\Pi-$nets: Deep Polynomial Neural Networks [86.36557534288535]
  $Pi$-Netsは、出力が入力の高次であるニューラルネットワークである。 我々は、$Pi$-Netsが標準のDCNNよりも優れた表現能力を持っていることを実証的に実証した。 近年のStyleGANのような生成モデルが,先行モデルに改良を加えた理由を解明する。
  論文  参考訳（メタデータ） (2020-03-08T18:48:43Z)
• ReActNet: Towards Precise Binary Neural Network with Generalized Activation Functions [76.05981545084738]
  本稿では,新たな計算コストを伴わずに,実数値ネットワークからの精度ギャップを埋めるため,バイナリネットワークを強化するためのいくつかのアイデアを提案する。 まず,パラメータフリーのショートカットを用いて,コンパクトな実数値ネットワークを修正・バイナライズすることで,ベースラインネットワークを構築する。 提案したReActNetはすべての最先端技術よりも大きなマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2020-03-07T02:12:02Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)
• MeliusNet: Can Binary Neural Networks Achieve MobileNet-level Accuracy? [12.050205584630922]
  バイナリニューラルネットワーク(BNN)は、典型的な32ビット浮動小数点値の代わりに2重みとアクティベーションを使用するニューラルネットワークである。 本稿では,特徴量を増加させるDenseBlockと,特徴量を増加させるAdvancedBlockというアーキテクチャアプローチを提案する。
  論文  参考訳（メタデータ） (2020-01-16T16:56:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。