論文の概要: BDC-Occ: Binarized Deep Convolution Unit For Binarized Occupancy Network

• arxiv url: http://arxiv.org/abs/2405.17037v1
• Date: Mon, 27 May 2024 10:44:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-28 15:52:11.706113
• Title: BDC-Occ: Binarized Deep Convolution Unit For Binarized Occupancy Network
• Title（参考訳）: BDC-Occ: バイナリ化された運用ネットワークのためのバイナリ化されたディープコンボリューションユニット
• Authors: Zongkai Zhang, Zidong Xu, Wenming Yang, Qingmin Liao, Jing-Hao Xue,
• Abstract要約: 既存の3D占有ネットワークは重要なハードウェアリソースを必要としており、エッジデバイスの配備を妨げている。 本稿では,バイナライズド・ディープ・コンボリューション(BDC)ユニットを提案し,バイナライズド・ディープ・コンボリューション・レイヤの数を増やしつつ性能を効果的に向上させる。 我々のBDC-Occモデルは既存の3D占有ネットワークをバイナライズするために提案したBDCユニットを適用して作成する。
• 参考スコア（独自算出の注目度）: 55.21288428359509
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing 3D occupancy networks demand significant hardware resources, hindering the deployment of edge devices. Binarized Neural Networks (BNN) offer substantially reduced computational and memory requirements. However, their performance decreases notably compared to full-precision networks. Moreover, it is challenging to enhance the performance of binarized models by increasing the number of binarized convolutional layers, which limits their practicability for 3D occupancy prediction. To bridge these gaps, we propose a novel binarized deep convolution (BDC) unit that effectively enhances performance while increasing the number of binarized convolutional layers. Firstly, through theoretical analysis, we demonstrate that 1 \times 1 binarized convolutions introduce minimal binarization errors. Therefore, additional binarized convolutional layers are constrained to 1 \times 1 in the BDC unit. Secondly, we introduce the per-channel weight branch to mitigate the impact of binarization errors from unimportant channel features on the performance of binarized models, thereby improving performance while increasing the number of binarized convolutional layers. Furthermore, we decompose the 3D occupancy network into four convolutional modules and utilize the proposed BDC unit to binarize these modules. Our BDC-Occ model is created by applying the proposed BDC unit to binarize the existing 3D occupancy networks. Comprehensive quantitative and qualitative experiments demonstrate that the proposed BDC-Occ is the state-of-the-art binarized 3D occupancy network algorithm.
• Abstract（参考訳）: 既存の3D占有ネットワークは重要なハードウェアリソースを必要としており、エッジデバイスの配備を妨げている。 バイナリニューラルネットワーク(BNN)は、計算とメモリの要求を大幅に削減する。 しかし、その性能は完全精度のネットワークに比べて顕著に低下する。 さらに、二項化畳み込み層の数を増やして2項化モデルの性能を高めることは困難であり、3次元占有予測の実践性を制限する。 これらのギャップを埋めるため、二項化畳み込み層の数を増やしつつ性能を効果的に向上する二項化深層畳み込みユニット(BDC)を提案する。 まず, 理論的解析により, 1 \times 1 2ナライズド・コンボリューションが最小二ナライズ誤差をもたらすことを示した。 したがって、BDCユニットの1 \times 1にさらに二項化畳み込み層が制約される。 第二に、チャネル単位の重み分岐を導入し、重要でないチャネル特徴による二項化誤差が二項化モデルの性能に与える影響を緩和し、二項化畳み込み層の数を増やしながら性能を向上させる。 さらに,3D占有ネットワークを4つの畳み込みモジュールに分解し,提案したBDCユニットを用いて2項化する。 我々のBDC-Occモデルは既存の3D占有ネットワークをバイナライズするために提案したBDCユニットを適用して作成する。 包括的定量的および定性的実験により、提案したBDC-Occは最先端の2次元占有ネットワークアルゴリズムであることが示された。

関連論文リスト

• BiDense: Binarization for Dense Prediction [62.70804353158387]
  BiDenseは、効率よく正確な密度予測タスクのために設計された一般化されたバイナリニューラルネットワーク(BNN)である。 BiDenseは2つの重要なテクニックを取り入れている: 分散適応バイナリー (DAB) とチャネル適応完全精度バイパス (CFB) である。
  論文  参考訳（メタデータ） (2024-11-15T16:46:04Z)
• Input Layer Binarization with Bit-Plane Encoding [4.872439392746007]
  本稿では,入力データの8ビット表現を直接利用して,第1層をバイナライズする手法を提案する。 得られたモデルは完全にバイナライズされ、第1層バイナライズアプローチはモデル独立です。
  論文  参考訳（メタデータ） (2023-05-04T14:49:07Z)
• BiFSMN: Binary Neural Network for Keyword Spotting [47.46397208920726]
  BiFSMNは、KWSのための正確かつ極効率のバイナリニューラルネットワークである。 実世界のエッジハードウェアにおいて,BiFSMNは22.3倍の高速化と15.5倍のストレージ節約を実現可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-14T05:16:53Z)
• Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
  Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。 ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
  論文  参考訳（メタデータ） (2021-10-18T11:30:29Z)
• Distribution-sensitive Information Retention for Accurate Binary Neural Network [49.971345958676196]
  本稿では、前向きのアクティベーションと後向きの勾配の情報を保持するために、新しいDIR-Net(Distribution-sensitive Information Retention Network)を提案する。 我々のDIR-Netは、主流かつコンパクトなアーキテクチャの下で、SOTAバイナライゼーションアプローチよりも一貫して優れています。 我々は、実世界のリソース制限されたデバイス上でDIR-Netを行い、ストレージの11.1倍の節約と5.4倍のスピードアップを実現した。
  論文  参考訳（メタデータ） (2021-09-25T10:59:39Z)
• Multi-Slice Dense-Sparse Learning for Efficient Liver and Tumor Segmentation [4.150096314396549]
  ディープ畳み込みニューラルネットワーク(DCNN)は2次元および3次元の医用画像セグメンテーションにおいて大きな成功を収めている。 そこで我々は,DCNNを正規化するための入力として,密接な隣接スライスと疎隣接スライスを抽出するデータの観点から,新しい密集スプリストレーニングフローを提案する。 また、ネットワークの観点から2.5Dの軽量nnU-Netを設計し、その効率を向上させるために深度的に分離可能な畳み込みを採用する。
  論文  参考訳（メタデータ） (2021-08-15T15:29:48Z)
• Binary DAD-Net: Binarized Driveable Area Detection Network for Autonomous Driving [94.40107679615618]
  本稿では,二項化駆動型領域検出ネットワーク(バイナリDAD-Net)を提案する。 エンコーダ、ボトルネック、デコーダ部分の2重みとアクティベーションのみを使用する。 パブリックデータセット上で、最先端のセマンティックセグメンテーションネットワークより優れています。
  論文  参考訳（メタデータ） (2020-06-15T07:09:01Z)
• Systolic Tensor Array: An Efficient Structured-Sparse GEMM Accelerator for Mobile CNN Inference [16.812184391068786]
  モバイルデバイス上の畳み込みニューラルネットワーク(CNN)推論は、効率的なハードウェアアクセラレーションを必要とする。 systolic array (SA)は、処理要素(PE)のパイプライン化された2D配列である CNN推論を特に最適化するために,従来のSAアーキテクチャの2つの重要な改善点について述べる。
  論文  参考訳（メタデータ） (2020-05-16T20:47:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。