論文の概要: Equal Bits: Enforcing Equally Distributed Binary Network Weights

• arxiv url: http://arxiv.org/abs/2112.03406v1
• Date: Thu, 2 Dec 2021 21:02:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-12 14:54:31.387643
• Title: Equal Bits: Enforcing Equally Distributed Binary Network Weights
• Title（参考訳）: 均等ビット:均等に分散したバイナリネットワーク重みを強制する
• Authors: Yunqiang Li, Silvia L. Pintea and Jan C. van Gemert
• Abstract要約: 最適輸送を用いた量子化は、等比を含む任意のビット比を保証できることを示す。 本手法は,最先端のバイナライズ手法と比較して有効であることを示す。
• 参考スコア（独自算出の注目度）: 28.087798601745863
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Binary networks are extremely efficient as they use only two symbols to define the network: $\{+1,-1\}$. One can make the prior distribution of these symbols a design choice. The recent IR-Net of Qin et al. argues that imposing a Bernoulli distribution with equal priors (equal bit ratios) over the binary weights leads to maximum entropy and thus minimizes information loss. However, prior work cannot precisely control the binary weight distribution during training, and therefore cannot guarantee maximum entropy. Here, we show that quantizing using optimal transport can guarantee any bit ratio, including equal ratios. We investigate experimentally that equal bit ratios are indeed preferable and show that our method leads to optimization benefits. We show that our quantization method is effective when compared to state-of-the-art binarization methods, even when using binary weight pruning.
• Abstract（参考訳）: バイナリネットワークは、ネットワークを定義するために2つのシンボルのみを使用するため、非常に効率的である: $\{+1,-1\}$。 これらのシンボルの事前分布を設計上の選択とすることができる。 Qin et al. の最近の IR-Net は、ベルヌーイ分布を二乗重みに等しい先行(等しいビット比)を与えるとエントロピーが最大になり、情報損失が最小になると主張している。 しかし、事前の作業はトレーニング中の二元重み分布を正確に制御できないため、最大エントロピーを保証できない。 ここでは、最適輸送を用いた量子化は、等比を含む任意のビット比を保証できることを示す。 実験により,等ビット比が実際に望ましいこと,提案手法が最適化の利点をもたらすことを示す。 本手法は,2重プルーニングを用いても,最先端のバイナライズ法と比較して有効であることを示す。

関連論文リスト

• Neural Network Compression using Binarization and Few Full-Precision Weights [7.206962876422061]
  自動Prune Binarization (APB) は量子化とプルーニングを組み合わせた新しい圧縮技術である。 APBは、数個の完全精度重みを使ってバイナリネットワークの表現能力を向上する。 APBは最先端の方法よりも精度とメモリのトレードオフが優れている。
  論文  参考訳（メタデータ） (2023-06-15T08:52:00Z)
• Compacting Binary Neural Networks by Sparse Kernel Selection [58.84313343190488]
  本稿は,BNNにおけるバイナリカーネルの分散化がほぼ不可能であることを示すものである。 我々は、選択過程をエンドツーエンドに最適化するだけでなく、選択したコードワードの非反復的占有を維持できる置換ストレートスルー推定器(PSTE)を開発した。 実験により,提案手法はモデルサイズとビット幅の計算コストの両方を削減し,同等の予算下での最先端のBNNと比較して精度の向上を実現する。
  論文  参考訳（メタデータ） (2023-03-25T13:53:02Z)
• AdaBin: Improving Binary Neural Networks with Adaptive Binary Sets [27.022212653067367]
  本稿では,重みとアクティベーションを共に1ビット値に分割したBNN(Binary Neural Networks)について検討する。 最適二元集合を適応的に得るために、AdaBin と呼ばれる単純で効果的なアプローチを提案する。 ベンチマークモデルとデータセットの実験結果は、提案されたAdaBinが最先端のパフォーマンスを達成可能であることを示している。
  論文  参考訳（メタデータ） (2022-08-17T05:43:33Z)
• Exact Backpropagation in Binary Weighted Networks with Group Weight Transformations [0.0]
  量子化に基づくモデル圧縮は、推論のためのハイパフォーマンスで高速なアプローチとして機能する。 重みをバイナリ値に制限するモデルは、ユビキタスドット製品の効率的な実装を可能にします。
  論文  参考訳（メタデータ） (2021-07-03T10:29:34Z)
• SiMaN: Sign-to-Magnitude Network Binarization [165.5630656849309]
  重みバイナライゼーションは、高倍率重みを+1s、0sに符号化することで分析ソリューションを提供する。 二元化ネットワークの学習重みは、エントロピーを許さないラプラシアン分布に概ね従うことが証明される。 CIFAR-10 と ImageNet を用いて,シマナライゼーション (SiMaN) と呼ばれる手法の評価を行った。
  論文  参考訳（メタデータ） (2021-02-16T07:03:51Z)
• Distillation Guided Residual Learning for Binary Convolutional Neural Networks [83.6169936912264]
  Binary CNN(BCNN)とFloating Point CNN(FCNN)のパフォーマンスギャップを埋めることは難しい。 我々は,この性能差が,BCNNとFCNNの中間特徴写像の間にかなりの残差をもたらすことを観察した。 性能ギャップを最小限に抑えるため,BCNN は FCNN と同様の中間特徴写像を生成する。 このトレーニング戦略、すなわち、FCNNから派生したブロックワイド蒸留損失で各バイナリ畳み込みブロックを最適化することで、BCNNをより効果的に最適化する。
  論文  参考訳（メタデータ） (2020-07-10T07:55:39Z)
• Bandit Samplers for Training Graph Neural Networks [63.17765191700203]
  グラフ畳み込みネットワーク(GCN)の訓練を高速化するために, ばらつきを低減したサンプリングアルゴリズムが提案されている。 これらのサンプリングアルゴリズムは、グラフ注意ネットワーク(GAT)のような固定重みよりも学習重量を含む、より一般的なグラフニューラルネットワーク(GNN)には適用できない。
  論文  参考訳（メタデータ） (2020-06-10T12:48:37Z)
• Bayesian Bits: Unifying Quantization and Pruning [73.27732135853243]
  我々は、勾配に基づく最適化による混合精度量子化とプルーニングの実用的な方法であるBayesian Bitsを紹介する。 提案手法をいくつかのベンチマーク・データセット上で実験的に検証し,プレナード付き混合精度ネットワークを学習可能であることを示す。
  論文  参考訳（メタデータ） (2020-05-14T16:00:34Z)
• Training Binary Neural Networks with Real-to-Binary Convolutions [52.91164959767517]
  完全精度のネットワークのうち、数パーセント以内にバイナリネットワークをトレーニングする方法を示します。 我々は、最先端の精度をすでに達成している強力なベースラインを構築する方法を示す。 すべての改善をまとめると、提案したモデルは、ImageNet上で5%以上のトップ1精度で、現在の最先端の技術を上回ります。
  論文  参考訳（メタデータ） (2020-03-25T17:54:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。