論文の概要: Understanding Learning Dynamics of Binary Neural Networks via Information Bottleneck

• arxiv url: http://arxiv.org/abs/2006.07522v1
• Date: Sat, 13 Jun 2020 00:39:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 20:33:57.343168
• Title: Understanding Learning Dynamics of Binary Neural Networks via Information Bottleneck
• Title（参考訳）: 情報ボトルネックによるバイナリニューラルネットワークの学習ダイナミクスの理解
• Authors: Vishnu Raj, Nancy Nayak and Sheetal Kalyani
• Abstract要約: バイナリニューラルネットワーク(BNN)は、重みとアクティベーションの両方を2つのレベル(+1, -1$)に制限することで、極端にコンパクト化する。 我々は、Information Bottleneck原則を用いてBNNトレーニングを分析し、BNNのトレーニングダイナミクスがDeep Neural Networks(DNN)とはかなり異なることを観察する。 BNNは表現力に乏しいため、ラベルフィッティングと並行して効率的な隠れ表現を見つける傾向にある。
• 参考スコア（独自算出の注目度）: 11.17667928756077
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Compact neural networks are essential for affordable and power efficient deep learning solutions. Binary Neural Networks (BNNs) take compactification to the extreme by constraining both weights and activations to two levels, $\{+1, -1\}$. However, training BNNs are not easy due to the discontinuity in activation functions, and the training dynamics of BNNs is not well understood. In this paper, we present an information-theoretic perspective of BNN training. We analyze BNNs through the Information Bottleneck principle and observe that the training dynamics of BNNs is considerably different from that of Deep Neural Networks (DNNs). While DNNs have a separate empirical risk minimization and representation compression phases, our numerical experiments show that in BNNs, both these phases are simultaneous. Since BNNs have a less expressive capacity, they tend to find efficient hidden representations concurrently with label fitting. Experiments in multiple datasets support these observations, and we see a consistent behavior across different activation functions in BNNs.
• Abstract（参考訳）: コンパクトニューラルネットワークは安価で効率的なディープラーニングソリューションに不可欠である。 バイナリニューラルネットワーク(BNN)は、重みとアクティベーションの両方を2つのレベル($\{+1, -1\}$)に制限することで、極端にコンパクト化する。 しかし,活性化関数の不連続性によりbnnの訓練は容易ではなく,bnnの訓練ダイナミクスもよく分かっていない。 本稿では,BNNトレーニングにおける情報理論的視点について述べる。 我々はインフォメーション・ボトルネックの原理を用いてBNNを分析し、BNNのトレーニング力学がDeep Neural Networks(DNN)とはかなり異なることを観察する。 DNNには、異なる実験的なリスク最小化と表現圧縮フェーズがあるが、BNNでは、これらのフェーズが同時であることを示す数値実験を行った。 BNNは表現能力が低いため、ラベル付けと並行して効率的な隠れ表現を見つける傾向にある。 複数のデータセットの実験はこれらの観測をサポートし、BNNで異なるアクティベーション関数間で一貫した振る舞いが見られる。

関連論文リスト

• NAS-BNN: Neural Architecture Search for Binary Neural Networks [55.058512316210056]
  我々は、NAS-BNNと呼ばれる二元ニューラルネットワークのための新しいニューラルネットワーク探索手法を提案する。 我々の発見したバイナリモデルファミリーは、20Mから2Mまでの幅広い操作(OP)において、以前のBNNよりも優れていた。 さらに,対象検出タスクにおける探索されたBNNの転送可能性を検証するとともに,探索されたBNNを用いたバイナリ検出器は,MSデータセット上で31.6% mAP,370万 OPsなどの新たな最先端結果を得る。
  論文  参考訳（メタデータ） (2024-08-28T02:17:58Z)
• Spiking Convolutional Neural Networks for Text Classification [15.10637945787922]
  スパイキングニューラルネットワーク(SNN)は、よりエネルギー効率の良い方法でディープニューラルネットワーク(DNN)を実装するための有望な経路を提供する。 本研究では、テキスト分類のためのSNNの「変換+微調整」2段階法を提案し、事前学習した単語埋め込みをスパイクトレインとしてエンコードする簡易かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2024-06-27T14:54:27Z)
• Make Me a BNN: A Simple Strategy for Estimating Bayesian Uncertainty from Pre-trained Models [40.38541033389344]
  ディープニューラルネットワーク(Deep Neural Networks, DNN)は、様々なコンピュータビジョンタスクのための強力なツールであるが、信頼性の高い不確実性定量化に苦慮することが多い。 本稿では、DNNをBNNにシームレスに変換するシンプルでスケーラブルな戦略であるAdaptable Bayesian Neural Network (ABNN)を紹介する。 画像分類とセマンティックセグメンテーションタスクのための複数のデータセットにわたる広範囲な実験を行い、ABNNが最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2023-12-23T16:39:24Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer [77.78479877473899]
  我々は,BNNを大規模モデルに効率的にスケールするための時空間BNNを設計する。 バニラBNNと比較して,本手法はトレーニング時間とパラメータ数を著しく削減し,BNNのスケールアップに有効である。
  論文  参考訳（メタデータ） (2021-12-12T17:13:14Z)
• Robustness of Bayesian Neural Networks to White-Box Adversarial Attacks [55.531896312724555]
  ベイジアンネットワーク(BNN)は、ランダム性を組み込むことで、敵の攻撃を扱うのに頑丈で適している。 我々はベイズ的推論(つまり変分ベイズ)をDenseNetアーキテクチャに融合させることで、BNN-DenseNetと呼ばれるBNNモデルを作成する。 逆向きに訓練されたBNNは、ほとんどの実験で非ベイズ的で逆向きに訓練されたBNNよりも優れています。
  論文  参考訳（メタデータ） (2021-11-16T16:14:44Z)
• Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
  Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。 ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
  論文  参考訳（メタデータ） (2021-10-18T11:30:29Z)
• Dynamic Binary Neural Network by learning channel-wise thresholds [9.432747511001246]
  信号関数の動的学習可能なチャンネルワイドしきい値とPRELUのシフトパラメータを組み込んだ動的BNN(DyBNN)を提案する。 DyBNNはReActNetの2つのバックボーン(MobileNetV1とResNet18)に基づいており、ImageNetデータセット上で71.2%と67.4%のトップ1精度を達成した。
  論文  参考訳（メタデータ） (2021-10-08T17:41:36Z)
• BCNN: Binary Complex Neural Network [16.82755328827758]
  バイナリニューラルネットワーク(BNN)は、リソース制限のあるハードウェアを備えたエッジサイドアプリケーションにおいて、大きな可能性を秘めている。 本稿では,BNNに複雑な表現を導入し,バイナリ・コンプレックス・ニューラルネットワークを提案する。 BCNNは、複雑な表現を通じて学習能力を強化し、複雑な値の入力データに適用性を拡張することにより、BNNを改善している。
  論文  参考訳（メタデータ） (2021-03-28T03:35:24Z)
• BDD4BNN: A BDD-based Quantitative Analysis Framework for Binarized Neural Networks [7.844146033635129]
  一般実数ニューラルネットワークの1ビット量子化であるBinarized Neural Networks(BNNs)の検証問題について検討する。 我々のアプローチは,BNNの内部構造を利用して,BNNをBDD(Bibinary Decision Diagram)にエンコードすることである。 符号化に基づいて,BNNの高精度かつ包括的分析が可能なBNNの定量的検証フレームワークを開発する。
  論文  参考訳（メタデータ） (2021-03-12T12:02:41Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。