論文の概要: BinaryDuo: Reducing Gradient Mismatch in Binary Activation Network by Coupling Binary Activations

• arxiv url: http://arxiv.org/abs/2002.06517v1
• Date: Sun, 16 Feb 2020 06:18:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-31 17:40:47.494119
• Title: BinaryDuo: Reducing Gradient Mismatch in Binary Activation Network by Coupling Binary Activations
• Title（参考訳）: BinaryDuo:バイナリアクティベーションの結合によるバイナリアクティベーションネットワークにおけるグラディエントミスマッチの低減
• Authors: Hyungjun Kim, Kyungsu Kim, Jinseok Kim, Jae-Joon Kim
• Abstract要約: 本稿では,2つのバイナリアクティベーションを3次アクティベーションに結合するバイナリアクティベーションネットワークBinaryDuoを提案する。 実験結果から,BinaryDuoはパラメータと計算コストの同じベンチマークにおいて,最先端のBNNよりも優れていた。
• 参考スコア（独自算出の注目度）: 16.92918746295432
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Binary Neural Networks (BNNs) have been garnering interest thanks to their compute cost reduction and memory savings. However, BNNs suffer from performance degradation mainly due to the gradient mismatch caused by binarizing activations. Previous works tried to address the gradient mismatch problem by reducing the discrepancy between activation functions used at forward pass and its differentiable approximation used at backward pass, which is an indirect measure. In this work, we use the gradient of smoothed loss function to better estimate the gradient mismatch in quantized neural network. Analysis using the gradient mismatch estimator indicates that using higher precision for activation is more effective than modifying the differentiable approximation of activation function. Based on the observation, we propose a new training scheme for binary activation networks called BinaryDuo in which two binary activations are coupled into a ternary activation during training. Experimental results show that BinaryDuo outperforms state-of-the-art BNNs on various benchmarks with the same amount of parameters and computing cost.
• Abstract（参考訳）: 計算コストの削減とメモリ節約により、バイナリニューラルネットワーク(BNN)は関心を集めている。 しかし、BNNは、主にバイナライズ活性化による勾配ミスマッチによる性能劣化に悩まされる。 従来の研究は、前方通過で使用されるアクティベーション関数と後方通過で使用される微分可能近似との差を減らし、勾配ミスマッチ問題に対処しようとした。 本研究では,平滑化損失関数の勾配を用いて,量子化ニューラルネットワークの勾配ミスマッチを推定する。 勾配ミスマッチ推定器を用いて解析したところ, アクティベーション関数の微分近似を変更するよりも, 高い精度でアクティベーションを行う方が効果的であることが示唆された。 そこで本研究では,2つの2元アクティベーションを3元アクティベーションに結合した2元アクティベーションネットワークのための新しいトレーニング手法であるbinaryduoを提案する。 実験結果から,BinaryDuoはパラメータと計算コストの同じベンチマークにおいて,最先端のBNNよりも優れていた。

関連論文リスト

• BiPer: Binary Neural Networks using a Periodic Function [17.461853355858022]
  量子ニューラルネットワークは、重みとアクティベーションの両方に精度の低下した表現を用いる。 バイナリニューラルネットワーク(BNN)は極端量子化のケースであり、わずか1ビットで値を表す。 現在のBNNのアプローチとは対照的に,バイナライゼーションにおいて,バイナリ周期関数 (BiPer) を用いる方法を提案する。
  論文  参考訳（メタデータ） (2024-04-01T17:52:17Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Network Binarization via Contrastive Learning [16.274341164897827]
  バイナリニューラルネットワーク(BNN)を訓練しながら、新しいコントラスト学習フレームワークを構築する。 MIはバイナリとFPのアクティベーション間で共有される情報を計測する指標として導入された。 以上の結果から,本手法は既存の最先端バイナライズ手法の重ね合わせモジュールとして実装可能であることが示唆された。
  論文  参考訳（メタデータ） (2022-07-06T21:04:53Z)
• ActNN: Reducing Training Memory Footprint via 2-Bit Activation Compressed Training [68.63354877166756]
  ActNNは、バック伝搬のためのランダムに量子化されたアクティベーションを格納するメモリ効率のトレーニングフレームワークである。 ActNNはアクティベーションのメモリフットプリントを12倍に削減し、6.6倍から14倍のバッチサイズでトレーニングを可能にする。
  論文  参考訳（メタデータ） (2021-04-29T05:50:54Z)
• Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
  フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。 いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
  論文  参考訳（メタデータ） (2021-03-01T08:25:26Z)
• BiSNN: Training Spiking Neural Networks with Binary Weights via Bayesian Learning [37.376989855065545]
  Spiking Neural Networks(SNN)は、エネルギー効率を高める生物学的にインスパイアされたダイナミックなイベント駆動モデルです。 時間的にスパースなバイナリアクティベーションとバイナリ重みの利点を組み合わせたSNNモデルが導入された。 実験は、フル精度実装に関するパフォーマンス損失を検証します。
  論文  参考訳（メタデータ） (2020-12-15T14:06:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。