論文の概要: Training Binary Neural Networks using the Bayesian Learning Rule

• arxiv url: http://arxiv.org/abs/2002.10778v4
• Date: Tue, 18 Aug 2020 00:48:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 20:53:40.246031
• Title: Training Binary Neural Networks using the Bayesian Learning Rule
• Title（参考訳）: ベイズ学習規則を用いた二元ニューラルネットワークの訓練
• Authors: Xiangming Meng and Roman Bachmann and Mohammad Emtiyaz Khan
• Abstract要約: 二分重のニューラルネットワークは計算効率が良く、ハードウェアに優しいが、そのトレーニングには離散的な最適化の問題が伴うため、難しい。 本稿では、既存のアプローチを正当化し、拡張するバイナリニューラルネットワークをトレーニングするための原則的アプローチを提案する。 私たちの研究は、既存のアプローチを正当化し拡張するバイナリニューラルネットワークをトレーニングするための原則化されたアプローチを提供します。
• 参考スコア（独自算出の注目度）: 19.01146578435531
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks with binary weights are computation-efficient and hardware-friendly, but their training is challenging because it involves a discrete optimization problem. Surprisingly, ignoring the discrete nature of the problem and using gradient-based methods, such as the Straight-Through Estimator, still works well in practice. This raises the question: are there principled approaches which justify such methods? In this paper, we propose such an approach using the Bayesian learning rule. The rule, when applied to estimate a Bernoulli distribution over the binary weights, results in an algorithm which justifies some of the algorithmic choices made by the previous approaches. The algorithm not only obtains state-of-the-art performance, but also enables uncertainty estimation for continual learning to avoid catastrophic forgetting. Our work provides a principled approach for training binary neural networks which justifies and extends existing approaches.
• Abstract（参考訳）: 二分重のニューラルネットワークは計算効率が良く、ハードウェアに優しいが、そのトレーニングは離散的な最適化問題を伴うため難しい。 驚くべきことに、問題の離散的な性質を無視し、ストレートスルー推定器のような勾配ベースの方法を使うことは、実際にはうまく機能します。 このようなメソッドを正当化する原則的なアプローチはあるか? 本稿では,ベイズ学習規則を用いたアプローチを提案する。 このルールは、二進重みのベルヌーイ分布を推定するために適用されると、以前のアプローチによるアルゴリズムの選択の一部を正当化するアルゴリズムが生じる。 このアルゴリズムは、最先端の性能を得るだけでなく、連続学習における不確実性を推定し、破滅的な忘れを回避できる。 私たちの研究は、既存のアプローチを正当化し拡張するバイナリニューラルネットワークをトレーニングするための原則化されたアプローチを提供します。

関連論文リスト

• Unrolled denoising networks provably learn optimal Bayesian inference [54.79172096306631]
  我々は、近似メッセージパッシング(AMP)のアンロールに基づくニューラルネットワークの最初の厳密な学習保証を証明した。 圧縮センシングでは、製品から引き出されたデータに基づいてトレーニングを行うと、ネットワークの層がベイズAMPで使用されるのと同じデノイザーに収束することを示す。
  論文  参考訳（メタデータ） (2024-09-19T17:56:16Z)
• A lifted Bregman strategy for training unfolded proximal neural network Gaussian denoisers [8.343594411714934]
  屈曲した近位ニューラルネットワーク(PNN)は、深層学習と近位最適化のアプローチを組み合わせた一連の手法である。 展開されたPNNに対するBregman距離に基づく揚力トレーニングの定式化を提案する。 画像復調の数値シミュレーションにより,提案したPNNのトレーニング手法の挙動を評価する。
  論文  参考訳（メタデータ） (2024-08-16T13:41:34Z)
• Neural Active Learning Beyond Bandits [69.99592173038903]
  ストリームベースとプールベースの両方のアクティブラーニングをニューラルネットワーク近似を用いて検討する。 ストリームベースおよびプールベースアクティブラーニングのためのニューラルネットワークを新たに設計したエクスプロイトと探索に基づく2つのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-04-18T21:52:14Z)
• Discrete Neural Algorithmic Reasoning [18.497863598167257]
  本稿では,有限状態の組合せとして,ニューラル推論器に実行軌跡の維持を強制することを提案する。 アルゴリズムの状態遷移の監督で訓練されたモデルでは、元のアルゴリズムと完全に整合することができる。
  論文  参考訳（メタデータ） (2024-02-18T16:03:04Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Scalable computation of prediction intervals for neural networks via matrix sketching [79.44177623781043]
  既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。 本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-06T13:18:31Z)
• AdaSTE: An Adaptive Straight-Through Estimator to Train Binary Neural Networks [34.263013539187355]
  重み付きディープニューラルネットワーク(DNN)を学習するための新しいアルゴリズムを提案する。 実験により,本アルゴリズムは既存手法と比較して良好な性能を示した。
  論文  参考訳（メタデータ） (2021-12-06T09:12:15Z)
• Deep learning via message passing algorithms based on belief propagation [2.931240348160871]
  本稿では,局所的なエントロピー分布に偏りを持つ強化場を有するBPベースのメッセージパッシングアルゴリズムのファミリについて述べる。 これらのアルゴリズムは、SGDにインスパイアされたソリューションに匹敵するパフォーマンスで、離散重みとアクティベーションを持つ多層ニューラルネットワークをトレーニングすることができる。
  論文  参考訳（メタデータ） (2021-10-27T16:52:26Z)
• Learning Neural Network Subspaces [74.44457651546728]
  近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
  論文  参考訳（メタデータ） (2021-02-20T23:26:58Z)
• Meta-learning with Stochastic Linear Bandits [120.43000970418939]
  我々は、よく知られたOFULアルゴリズムの正規化バージョンを実装するバンディットアルゴリズムのクラスを考える。 我々は,タスク数の増加とタスク分散の分散が小さくなると,タスクを個別に学習する上で,我々の戦略が大きな優位性を持つことを理論的および実験的に示す。
  論文  参考訳（メタデータ） (2020-05-18T08:41:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。