Fugu-MT 論文翻訳(概要): Understanding weight-magnitude hyperparameters in training binary networks

論文の概要: Understanding weight-magnitude hyperparameters in training binary networks

arxiv url: http://arxiv.org/abs/2303.02452v1
Date: Sat, 4 Mar 2023 16:42:04 GMT
ステータス: 処理完了
システム内更新日: 2023-03-07 19:27:55.252252
Title: Understanding weight-magnitude hyperparameters in training binary networks
Title（参考訳）: トレーニング用バイナリネットワークにおける重み値超パラメータの理解
Authors: Joris Quist, Yunqiang Li, Jan van Gemert
Abstract要約: バイナリニューラルネットワーク(BNN)は、実数値重みの代わりに二重みを用いることにより、コンパクトで効率的である。現在のBNNでは、トレーニング中に遅延リアルタイム重み付けを使用しており、いくつかのトレーニングハイパーパラメータが実数値ネットワークから継承されている。
参考スコア（独自算出の注目度）: 14.683088475815133
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Binary Neural Networks (BNNs) are compact and efficient by using binary weights instead of real-valued weights. Current BNNs use latent real-valued weights during training, where several training hyper-parameters are inherited from real-valued networks. The interpretation of several of these hyperparameters is based on the magnitude of the real-valued weights. For BNNs, however, the magnitude of binary weights is not meaningful, and thus it is unclear what these hyperparameters actually do. One example is weight-decay, which aims to keep the magnitude of real-valued weights small. Other examples are latent weight initialization, the learning rate, and learning rate decay, which influence the magnitude of the real-valued weights. The magnitude is interpretable for real-valued weights, but loses its meaning for binary weights. In this paper we offer a new interpretation of these magnitude-based hyperparameters based on higher-order gradient filtering during network optimization. Our analysis makes it possible to understand how magnitude-based hyperparameters influence the training of binary networks which allows for new optimization filters specifically designed for binary neural networks that are independent of their real-valued interpretation. Moreover, our improved understanding reduces the number of hyperparameters, which in turn eases the hyperparameter tuning effort which may lead to better hyperparameter values for improved accuracy. Code is available at https://github.com/jorisquist/Understanding-WM-HP-in-BNNs
Abstract（参考訳）: バイナリニューラルネットワーク(BNN)は、実数値重みの代わりに二重みを用いてコンパクトで効率的である。現在のbnnは、トレーニング中に潜在実数値重みを使い、いくつかのトレーニングハイパーパラメータが実数値ネットワークから継承される。これらのハイパーパラメータの解釈は、実数値の重みの大きさに基づいている。しかし、BNNにとって二乗重みの大きさは意味を持たず、これらのハイパーパラメータが実際に何をしているのかは不明である。例えば、重みのデカイは、実際の重みの規模を小さくすることを目的としている。その他の例としては、潜時体重初期化、学習速度、学習速度減衰があり、これは実数値重量の大きさに影響を与える。この大きさは実数値の重みに対して解釈できるが、二元重みに対するその意味は失われる。本稿では,ネットワーク最適化中の高次勾配フィルタリングに基づく等級に基づくハイパーパラメータの新たな解釈を提案する。本解析により,実値の解釈に依存しないバイナリニューラルネット用に特別に設計された新しい最適化フィルタを実現するために,大きさベースのハイパーパラメータがバイナリネットワークのトレーニングにどのように影響するかを理解することができる。さらに,改良された理解によりハイパーパラメータの数が減少し,その結果,ハイパーパラメータチューニング作業が簡単になり,精度が向上する可能性がある。コードはhttps://github.com/jorisquist/Understanding-WM-HP-in-BNNsで入手できる。

関連論文リスト

Discovering Long-Term Effects on Parameter Efficient Fine-tuning [36.83255498301937]
事前訓練されたニューラルネットワーク(Annns)は、堅牢なパターン認識機能を示す。アンとBNNはヒト脳、特にBNNと大きな類似点を共有しているアンは微調整によって新しい知識を得ることができる。
論文参考訳（メタデータ） (2024-08-24T03:27:29Z)
Improved Generalization of Weight Space Networks via Augmentations [53.87011906358727]
深度重み空間(DWS)における学習は新たな研究方向であり、2次元および3次元神経場(INRs, NeRFs)への応用我々は、この過度な適合の理由を実証的に分析し、主要な理由は、DWSデータセットの多様性の欠如であることがわかった。そこで本研究では,重み空間におけるデータ拡張戦略について検討し,重み空間に適応したMixUp法を提案する。
論文参考訳（メタデータ） (2024-02-06T15:34:44Z)
Learning to Compose SuperWeights for Neural Parameter Allocation Search [61.078949532440724]
提案手法は,同じ重み集合を用いて多くのネットワークに対してパラメータを生成することができることを示す。これにより、効率的なアンサンブルや、いつでも予測できるようなタスクをサポートできます。
論文参考訳（メタデータ） (2023-12-03T04:20:02Z)
HyperLoRA for PDEs [7.898728380447954]
物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式の解に対するニューラルネットワークの開発に広く用いられている。 PINNの欠点は、初期境界条件やPDE係数の変化に応じて再訓練する必要があることである。モデルベースのメタ学習技術であるHypernetworkは、パラメータ化されたタスクを入力として埋め込み、PINNの重みを出力として予測する。
論文参考訳（メタデータ） (2023-08-18T04:29:48Z)
Weight Compander: A Simple Weight Reparameterization for Regularization [5.744133015573047]
我々は、ディープニューラルネットワークの一般化を改善するための新しい効果的な方法であるウェイトコンパンダを導入する。標準正規化法に加えて重みコンパンダを用いることで,ニューラルネットワークの性能が向上することを示す。
論文参考訳（メタデータ） (2023-06-29T14:52:04Z)
Iterative Training: Finding Binary Weight Deep Neural Networks with Layer Binarization [0.0]
低レイテンシやモバイルアプリケーションでは、計算量の削減、メモリフットプリントの削減、エネルギー効率の向上が望まれている。重み二項化の最近の研究は、重み-入出力行列の乗法を加算に置き換えている。完全二進法ではなく部分二進法の重み付けから、トレーニングがより優れた精度で完全二進法の重み付けネットワークに到達することを実証的に示す。
論文参考訳（メタデータ） (2021-11-13T05:36:51Z)
Low-Precision Training in Logarithmic Number System using Multiplicative Weight Update [49.948082497688404]
大規模ディープニューラルネットワーク(DNN)のトレーニングは、現在かなりの量のエネルギーを必要としており、深刻な環境影響をもたらす。エネルギーコストを削減するための有望なアプローチの1つは、DNNを低精度で表現することである。対数数システム(LNS)と乗算重み更新訓練法(LNS-Madam)を併用した低精度トレーニングフレームワークを共同で設計する。
論文参考訳（メタデータ） (2021-06-26T00:32:17Z)
ReCU: Reviving the Dead Weights in Binary Neural Networks [153.6789340484509]
我々は,BNNのトレーニング中にほとんど更新されない重みのグループを指す「死重み」の影響について検討する。 ReCUによる「死重み」の復活は、量子化誤差が小さくなることを示す。提案手法は,高速なBNNトレーニングだけでなく,CIFAR-10およびImageNet上での最先端のパフォーマンスも提供する。
論文参考訳（メタデータ） (2021-03-23T08:11:20Z)
SiMaN: Sign-to-Magnitude Network Binarization [165.5630656849309]
重みバイナライゼーションは、高倍率重みを+1s、0sに符号化することで分析ソリューションを提供する。二元化ネットワークの学習重みは、エントロピーを許さないラプラシアン分布に概ね従うことが証明される。 CIFAR-10 と ImageNet を用いて,シマナライゼーション (SiMaN) と呼ばれる手法の評価を行った。
論文参考訳（メタデータ） (2021-02-16T07:03:51Z)
Training highly effective connectivities within neural networks with randomly initialized, fixed weights [4.56877715768796]
重みの符号を反転させてネットワークを訓練する新しい方法を提案する。重みが一定等級であっても、高非対称分布から重みが引き出される場合でも良い結果が得られる。
論文参考訳（メタデータ） (2020-06-30T09:41:18Z)
Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。