論文の概要: Binarizing Sparse Convolutional Networks for Efficient Point Cloud
Analysis
- arxiv url: http://arxiv.org/abs/2303.15493v1
- Date: Mon, 27 Mar 2023 13:47:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-29 17:46:51.224501
- Title: Binarizing Sparse Convolutional Networks for Efficient Point Cloud
Analysis
- Title（参考訳）: 効率的なポイントクラウド解析のためのスパース畳み込みネットワーク
- Authors: Xiuwei Xu, Ziwei Wang, Jie Zhou, Jiwen Lu
- Abstract要約: 我々は,効率的な点群解析のためのBSC-Netと呼ばれるバイナリスパース畳み込みネットワークを提案する。
我々は,移動したスパース畳み込みにおけるサイトマッチングに最適なオプションを見つけるために,異なる検索戦略を採用している。
我々のBSC-Netは、我々の厳格なベースラインを大幅に改善し、最先端のネットワーク双対化手法より優れています。
- 参考スコア（独自算出の注目度）: 93.55896765176414
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose binary sparse convolutional networks called BSC-Net
for efficient point cloud analysis. We empirically observe that sparse
convolution operation causes larger quantization errors than standard
convolution. However, conventional network quantization methods directly
binarize the weights and activations in sparse convolution, resulting in
performance drop due to the significant quantization loss. On the contrary, we
search the optimal subset of convolution operation that activates the sparse
convolution at various locations for quantization error alleviation, and the
performance gap between real-valued and binary sparse convolutional networks is
closed without complexity overhead. Specifically, we first present the shifted
sparse convolution that fuses the information in the receptive field for the
active sites that match the pre-defined positions. Then we employ the
differentiable search strategies to discover the optimal opsitions for active
site matching in the shifted sparse convolution, and the quantization errors
are significantly alleviated for efficient point cloud analysis. For fair
evaluation of the proposed method, we empirically select the recently advances
that are beneficial for sparse convolution network binarization to construct a
strong baseline. The experimental results on Scan-Net and NYU Depth v2 show
that our BSC-Net achieves significant improvement upon our srtong baseline and
outperforms the state-of-the-art network binarization methods by a remarkable
margin without additional computation overhead for binarizing sparse
convolutional networks.
- Abstract（参考訳）: 本稿では,BSC-Netと呼ばれる二元分離型畳み込みネットワークを効率的な点群解析のために提案する。
スパース畳み込み演算が標準畳み込みよりも大きな量子化誤差を引き起こすことを実証的に観察する。
しかし,従来のネットワーク量子化手法では,重みとアクティベーションを直接二元化し,大きな量子化損失により性能が低下する。
対照的に,量子化誤差軽減のために様々な場所でスパース畳み込みを活性化する畳み込み操作の最適サブセットを探索し,実値とバイナリスパース畳み込みネットワークの性能ギャップを複雑さのオーバーヘッドなしにクローズする。
具体的には,まず,既定の位置にマッチするアクティブなサイトに対して,受容野の情報と融合するシフトしたスパース畳み込みを提案する。
そこで我々は,移動したスパース畳み込みにおけるサイトマッチングの最適オプションを発見するために,異なる探索手法を用い,効率的な点雲解析のために量子化誤差を著しく軽減する。
提案手法を公平に評価するために, 疎畳み込みネットワークバイナライゼーションに有用な最近の進歩を実証的に選択し, 強力なベースラインを構築する。
scan-net と nyu depth v2 の実験結果から,本手法はsrtong ベースラインにおいて有意な改善を達成し,分散畳み込みネットワークの計算オーバーヘッドを増加させることなく,最先端のネットワークバイナリ化手法を画期的なマージンで上回った。
関連論文リスト
- FOBNN: Fast Oblivious Binarized Neural Network Inference [12.587981899648419]
高速な双対型ニューラルネットワーク推論フレームワークであるFOBNNを開発した。
具体的には、二項化畳み込みニューラルネットワークをカスタマイズして、難解な推論を強化し、二項化畳み込みのための2つの高速アルゴリズムを設計し、制約されたコストで実験的にネットワーク構造を最適化する。
論文 参考訳（メタデータ） (2024-05-06T03:12:36Z) - Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth
Soft-Thresholding [57.71603937699949]
我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。
トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
論文 参考訳（メタデータ） (2023-09-12T13:03:47Z) - Rethinking Spatial Invariance of Convolutional Networks for Object
Counting [119.83017534355842]
局所連結ガウス核を用いて元の畳み込みフィルタを置き換え、密度写像の空間位置を推定する。
従来の研究から着想を得て,大規模なガウス畳み込みの近似を好意的に実装するために,翻訳不変性を伴う低ランク近似を提案する。
提案手法は,他の最先端手法を著しく上回り,物体の空間的位置の有望な学習を実現する。
論文 参考訳（メタデータ） (2022-06-10T17:51:25Z) - Cluster-Promoting Quantization with Bit-Drop for Minimizing Network
Quantization Loss [61.26793005355441]
クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。
DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。
本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
論文 参考訳（メタデータ） (2021-09-05T15:15:07Z) - Layer Adaptive Node Selection in Bayesian Neural Networks: Statistical
Guarantees and Implementation Details [0.5156484100374059]
スパースディープニューラルネットワークは、大規模研究において予測モデル構築に効率的であることが証明されている。
本稿では,スパイク・アンド・スラブ型ガウス先行法を用いて,訓練中のノード選択を可能にするベイズスパース解を提案する。
本研究は, 先行パラメータのキャラクタリゼーションとともに, 変動的後続一貫性の基本的な結果を確立する。
論文 参考訳（メタデータ） (2021-08-25T00:48:07Z) - QuantNet: Learning to Quantize by Learning within Fully Differentiable
Framework [32.465949985191635]
本稿では,QuantNetというメタベースの量子化器を提案する。
本手法は, 勾配ミスマッチの問題を解決するだけでなく, 配置中の二項化操作による離散化誤差の影響を低減する。
論文 参考訳（メタデータ） (2020-09-10T01:41:05Z) - BiDet: An Efficient Binarized Object Detector [96.19708396510894]
本稿では,効率的な物体検出のためのバイナライズニューラルネットワークのBiDetを提案する。
我々のBiDetは、冗長除去による物体検出にバイナリニューラルネットワークの表現能力を完全に活用している。
我々の手法は、最先端のバイナリニューラルネットワークを大きなマージンで上回る。
論文 参考訳（メタデータ） (2020-03-09T08:16:16Z) - ReActNet: Towards Precise Binary Neural Network with Generalized
Activation Functions [76.05981545084738]
本稿では,新たな計算コストを伴わずに,実数値ネットワークからの精度ギャップを埋めるため,バイナリネットワークを強化するためのいくつかのアイデアを提案する。
まず,パラメータフリーのショートカットを用いて,コンパクトな実数値ネットワークを修正・バイナライズすることで,ベースラインネットワークを構築する。
提案したReActNetはすべての最先端技術よりも大きなマージンで優れていることを示す。
論文 参考訳（メタデータ） (2020-03-07T02:12:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。