Fugu-MT 論文翻訳(概要): BiPer: Binary Neural Networks using a Periodic Function

論文の概要: BiPer: Binary Neural Networks using a Periodic Function

arxiv url: http://arxiv.org/abs/2404.01278v1
Date: Mon, 1 Apr 2024 17:52:17 GMT
ステータス: 処理完了
システム内更新日: 2024-04-03 21:26:33.407626
Title: BiPer: Binary Neural Networks using a Periodic Function
Title（参考訳）: BiPer:周期関数を用いたバイナリニューラルネットワーク
Authors: Edwin Vargas, Claudia Correa, Carlos Hinojosa, Henry Arguello,
Abstract要約: 量子ニューラルネットワークは、重みとアクティベーションの両方に精度の低下した表現を用いる。バイナリニューラルネットワーク(BNN)は極端量子化のケースであり、わずか1ビットで値を表す。現在のBNNのアプローチとは対照的に,バイナライゼーションにおいて,バイナリ周期関数 (BiPer) を用いる方法を提案する。
参考スコア（独自算出の注目度）: 17.461853355858022
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Quantized neural networks employ reduced precision representations for both weights and activations. This quantization process significantly reduces the memory requirements and computational complexity of the network. Binary Neural Networks (BNNs) are the extreme quantization case, representing values with just one bit. Since the sign function is typically used to map real values to binary values, smooth approximations are introduced to mimic the gradients during error backpropagation. Thus, the mismatch between the forward and backward models corrupts the direction of the gradient, causing training inconsistency problems and performance degradation. In contrast to current BNN approaches, we propose to employ a binary periodic (BiPer) function during binarization. Specifically, we use a square wave for the forward pass to obtain the binary values and employ the trigonometric sine function with the same period of the square wave as a differentiable surrogate during the backward pass. We demonstrate that this approach can control the quantization error by using the frequency of the periodic function and improves network performance. Extensive experiments validate the effectiveness of BiPer in benchmark datasets and network architectures, with improvements of up to 1% and 0.69% with respect to state-of-the-art methods in the classification task over CIFAR-10 and ImageNet, respectively. Our code is publicly available at https://github.com/edmav4/BiPer.
Abstract（参考訳）: 量子ニューラルネットワークは、重みとアクティベーションの両方に精度の低下した表現を用いる。この量子化プロセスは、ネットワークのメモリ要求と計算複雑性を著しく削減する。バイナリニューラルネットワーク(BNN)は極端量子化のケースであり、わずか1ビットで値を表す。符号関数は通常、実値を二進値にマッピングするために使われるため、スムーズな近似を導入してエラーのバックプロパゲーション時の勾配を模倣する。このように、前方モデルと後方モデルとのミスマッチは勾配の方向を乱し、トレーニングの不整合問題と性能劣化を引き起こす。現在のBNNのアプローチとは対照的に,バイナライゼーションにおいて,バイナリ周期関数 (BiPer) を用いる方法を提案する。具体的には、前方通過のために正方形波を用いて二乗値を取得し、後方通過時の微分代理として正方形波と同周期の三角正弦関数を用いる。本稿では,周期関数の周波数を用いて量子化誤差を制御し,ネットワーク性能を向上させることを実証する。ベンチマークデータセットとネットワークアーキテクチャにおけるBiPerの有効性を検証する大規模な実験では、それぞれCIFAR-10とImageNetの分類タスクにおける最先端メソッドに関して、1%と0.69%の改善がなされている。私たちのコードはhttps://github.com/edmav4/BiPer.orgで公開されています。

関連論文リスト

Projected Stochastic Gradient Descent with Quantum Annealed Binary Gradients [51.82488018573326]
重み付きニューラルネットワークのトレーニングに適した,新しいレイヤワイドオプティマイザであるQP-SBGDを提案する。 BNNは、深層学習モデルの計算要求とエネルギー消費を最小限の精度で削減する。提案アルゴリズムは階層的に実装されており,リソース制限量子ハードウェア上での大規模ネットワークのトレーニングに適している。
論文参考訳（メタデータ） (2023-10-23T17:32:38Z)
AdaBin: Improving Binary Neural Networks with Adaptive Binary Sets [27.022212653067367]
本稿では,重みとアクティベーションを共に1ビット値に分割したBNN(Binary Neural Networks)について検討する。最適二元集合を適応的に得るために、AdaBin と呼ばれる単純で効果的なアプローチを提案する。ベンチマークモデルとデータセットの実験結果は、提案されたAdaBinが最先端のパフォーマンスを達成可能であることを示している。
論文参考訳（メタデータ） (2022-08-17T05:43:33Z)
Network Binarization via Contrastive Learning [16.274341164897827]
バイナリニューラルネットワーク(BNN)を訓練しながら、新しいコントラスト学習フレームワークを構築する。 MIはバイナリとFPのアクティベーション間で共有される情報を計測する指標として導入された。以上の結果から,本手法は既存の最先端バイナライズ手法の重ね合わせモジュールとして実装可能であることが示唆された。
論文参考訳（メタデータ） (2022-07-06T21:04:53Z)
Binarized Weight Error Networks With a Transition Regularization Term [4.56877715768796]
本論文では,資源効率の高いニューラル構造のための新しい重み付き重みネットワーク(BT)を提案する。提案モデルでは, 近似誤差を考慮した重みの2値表現を, 追加項で推定する。全てのしきい値に基づく二値精度ネットワークに適した新しい正規化項が導入された。
論文参考訳（メタデータ） (2021-05-09T10:11:26Z)
Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
論文参考訳（メタデータ） (2021-03-01T08:25:26Z)
Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文参考訳（メタデータ） (2020-12-31T18:48:58Z)
Bi-GCN: Binary Graph Convolutional Network [57.733849700089955]
ネットワークパラメータと入力ノードの特徴を二項化するバイナリグラフ畳み込みネットワーク(Bi-GCN)を提案する。我々のBi-GCNは、ネットワークパラメータと入力データの両方で平均30倍のメモリ消費を削減でき、推論速度を平均47倍に加速できる。
論文参考訳（メタデータ） (2020-10-15T07:26:23Z)
Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
論文参考訳（メタデータ） (2020-06-21T08:23:03Z)
Training Binary Neural Networks with Real-to-Binary Convolutions [52.91164959767517]
完全精度のネットワークのうち、数パーセント以内にバイナリネットワークをトレーニングする方法を示します。我々は、最先端の精度をすでに達成している強力なベースラインを構築する方法を示す。すべての改善をまとめると、提案したモデルは、ImageNet上で5%以上のトップ1精度で、現在の最先端の技術を上回ります。
論文参考訳（メタデータ） (2020-03-25T17:54:38Z)
BinaryDuo: Reducing Gradient Mismatch in Binary Activation Network by Coupling Binary Activations [16.92918746295432]
本稿では,2つのバイナリアクティベーションを3次アクティベーションに結合するバイナリアクティベーションネットワークBinaryDuoを提案する。実験結果から,BinaryDuoはパラメータと計算コストの同じベンチマークにおいて,最先端のBNNよりも優れていた。
論文参考訳（メタデータ） (2020-02-16T06:18:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。