論文の概要: SiMaN: Sign-to-Magnitude Network Binarization

• arxiv url: http://arxiv.org/abs/2102.07981v1
• Date: Tue, 16 Feb 2021 07:03:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-18 05:28:58.205592
• Title: SiMaN: Sign-to-Magnitude Network Binarization
• Title（参考訳）: SiMaN:Sign-to-Magnitude Network Binarization
• Authors: Mingbao Lin, Rongrong Ji, Zihan Xu, Baochang Zhang, Fei Chao, Mingliang Xu, Chia-Wen Lin, Ling Shao
• Abstract要約: 重みバイナライゼーションは、高倍率重みを+1s、0sに符号化することで分析ソリューションを提供する。 二元化ネットワークの学習重みは、エントロピーを許さないラプラシアン分布に概ね従うことが証明される。 CIFAR-10 と ImageNet を用いて,シマナライゼーション (SiMaN) と呼ばれる手法の評価を行った。
• 参考スコア（独自算出の注目度）: 165.5630656849309
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Binary neural networks (BNNs) have attracted broad research interest due to their efficient storage and computational ability. Nevertheless, a significant challenge of BNNs lies in handling discrete constraints while ensuring bit entropy maximization, which typically makes their weight optimization very difficult. Existing methods relax the learning using the sign function, which simply encodes positive weights into +1s, and -1s otherwise. Alternatively, we formulate an angle alignment objective to constrain the weight binarization to {0,+1} to solve the challenge. In this paper, we show that our weight binarization provides an analytical solution by encoding high-magnitude weights into +1s, and 0s otherwise. Therefore, a high-quality discrete solution is established in a computationally efficient manner without the sign function. We prove that the learned weights of binarized networks roughly follow a Laplacian distribution that does not allow entropy maximization, and further demonstrate that it can be effectively solved by simply removing the $\ell_2$ regularization during network training. Our method, dubbed sign-to-magnitude network binarization (SiMaN), is evaluated on CIFAR-10 and ImageNet, demonstrating its superiority over the sign-based state-of-the-arts. Code is at https://github.com/lmbxmu/SiMaN.
• Abstract（参考訳）: バイナリニューラルネットワーク(BNN)は、その効率的なストレージと計算能力のために幅広い研究関心を集めています。 それにもかかわらず、BNNsの重要な課題は、離散的な制約を処理しながらビットエントロピーの最大化を確保することです。 既存の手法では、単に正の重みを+1と-1にエンコードするサイン関数を使って学習を緩和する。 あるいは、重量二元化を{0,+1}に制限して課題を解決するための角度アライメント目標を策定する。 本稿では,高次重みを+1と0に符号化することにより,重み二項化が解析解となることを示す。 したがって、符号関数を使わずに計算効率よく高品質な離散解が確立される。 二元化ネットワークの学習重みは、エントロピー最大化を許さないラプラシアン分布に概ね従うことを証明し、ネットワークトレーニング中に$\ell_2$正規化を単に取り除いて効果的に解決できることを証明した。 CIFAR-10 と ImageNet では,シマナリゼーション (SiMaN) と呼ばれる手法が評価され,シマナリゼーションの優位性が示された。 コードはhttps://github.com/lmbxmu/SiMaNです。

関連論文リスト

• Training via quantum superposition circumventing local minima and vanishing gradient of sinusoidal neural network [0.6021787236982659]
  深層ニューラルネットワーク(SinNN)の量子トレーニングのためのアルゴリズムを提案する。 量子トレーニングは、当初、ウェイト値に対する均一な重ね合わせを、ベストウェイトでピークが保証されるものへと進化させる。 このアルゴリズムをおもちゃの例で実証し、損失関数の最適化において勾配降下を実際に上回り、必要な時間でブルート力探索を上回ります。
  論文  参考訳（メタデータ） (2024-10-29T13:06:46Z)
• Training Multi-layer Neural Networks on Ising Machine [41.95720316032297]
  本稿では,量子化ニューラルネットワーク(QNN)を学習するためのIsing学習アルゴリズムを提案する。 私たちが知る限りでは、Isingマシン上で多層フィードフォワードネットワークをトレーニングする最初のアルゴリズムである。
  論文  参考訳（メタデータ） (2023-11-06T04:09:15Z)
• Projected Stochastic Gradient Descent with Quantum Annealed Binary Gradients [51.82488018573326]
  重み付きニューラルネットワークのトレーニングに適した,新しいレイヤワイドオプティマイザであるQP-SBGDを提案する。 BNNは、深層学習モデルの計算要求とエネルギー消費を最小限の精度で削減する。 提案アルゴリズムは階層的に実装されており,リソース制限量子ハードウェア上での大規模ネットワークのトレーニングに適している。
  論文  参考訳（メタデータ） (2023-10-23T17:32:38Z)
• AdaBin: Improving Binary Neural Networks with Adaptive Binary Sets [27.022212653067367]
  本稿では,重みとアクティベーションを共に1ビット値に分割したBNN(Binary Neural Networks)について検討する。 最適二元集合を適応的に得るために、AdaBin と呼ばれる単純で効果的なアプローチを提案する。 ベンチマークモデルとデータセットの実験結果は、提案されたAdaBinが最先端のパフォーマンスを達成可能であることを示している。
  論文  参考訳（メタデータ） (2022-08-17T05:43:33Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• Bimodal Distributed Binarized Neural Networks [3.0778860202909657]
  しかし、バイナリ化技術は、完全精度のものと比べれば、不適格な性能劣化に悩まされる。 バイモーダル分散バイナライゼーション法(メソッド名)を提案する。 これにより、ネットワーク重みのバイモーダルな分布がクルトーシス正規化によって引き起こされる。
  論文  参考訳（メタデータ） (2022-04-05T06:07:05Z)
• Algorithms for Efficiently Learning Low-Rank Neural Networks [12.916132936159713]
  低ランクニューラルネットワークの学習アルゴリズムについて検討する。 単層ReLUネットワークに最適な低ランク近似を学習するアルゴリズムを提案する。 低ランク$textitdeep$ネットワークをトレーニングするための新しい低ランクフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-02T01:08:29Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
  フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。 いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
  論文  参考訳（メタデータ） (2021-03-01T08:25:26Z)
• Training Binary Neural Networks with Real-to-Binary Convolutions [52.91164959767517]
  完全精度のネットワークのうち、数パーセント以内にバイナリネットワークをトレーニングする方法を示します。 我々は、最先端の精度をすでに達成している強力なベースラインを構築する方法を示す。 すべての改善をまとめると、提案したモデルは、ImageNet上で5%以上のトップ1精度で、現在の最先端の技術を上回ります。
  論文  参考訳（メタデータ） (2020-03-25T17:54:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。