論文の概要: Training Binary Neural Networks through Learning with Noisy Supervision
- arxiv url: http://arxiv.org/abs/2010.04871v1
- Date: Sat, 10 Oct 2020 01:59:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-08 23:11:05.433902
- Title: Training Binary Neural Networks through Learning with Noisy Supervision
- Title（参考訳）: ノイズの少ない教師付き学習によるバイナリニューラルネットワークの学習
- Authors: Kai Han, Yunhe Wang, Yixing Xu, Chunjing Xu, Enhua Wu, Chang Xu
- Abstract要約: 本稿では,ニューラルネットワーク上の二項化操作を学習の観点から定式化する。
ベンチマークデータセットの実験結果から,提案手法がベースラインよりも一貫した改善を達成できることが示唆された。
- 参考スコア（独自算出の注目度）: 76.26677550127656
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper formalizes the binarization operations over neural networks from a
learning perspective. In contrast to classical hand crafted rules (\eg hard
thresholding) to binarize full-precision neurons, we propose to learn a mapping
from full-precision neurons to the target binary ones. Each individual weight
entry will not be binarized independently. Instead, they are taken as a whole
to accomplish the binarization, just as they work together in generating
convolution features. To help the training of the binarization mapping, the
full-precision neurons after taking sign operations is regarded as some
auxiliary supervision signal, which is noisy but still has valuable guidance.
An unbiased estimator is therefore introduced to mitigate the influence of the
supervision noise. Experimental results on benchmark datasets indicate that the
proposed binarization technique attains consistent improvements over baselines.
- Abstract（参考訳）: 本稿では,ニューラルネットワーク上の二元化操作を学習の観点から定式化する。
完全精度ニューロンをバイナライズする古典的手作り規則 (\eg hard thresholding) とは対照的に, 完全精度ニューロンから対象バイナリニューロンへのマッピングを学習することを提案する。
個々の重量は独立して二元化されない。
代わりに、畳み込み機能を生成するのと同じように、バイナリ化を達成するために全体として取り込まれます。
双対化マッピングの訓練を支援するために、手話操作後の全切開ニューロンは補助的監督信号と見なされ、ノイズは残るが、貴重なガイダンスである。
したがって、監視ノイズの影響を軽減するために、非バイアス推定器を導入する。
ベンチマークデータセットの実験結果から,提案手法がベースラインよりも一貫した改善を達成できることが示唆された。
関連論文リスト
- Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。
これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。
それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。
本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
論文 参考訳（メタデータ） (2024-02-21T15:51:01Z) - NeuralFastLAS: Fast Logic-Based Learning from Raw Data [54.938128496934695]
シンボリック・ルール学習者は解釈可能な解を生成するが、入力を記号的に符号化する必要がある。
ニューロシンボリックアプローチは、ニューラルネットワークを使用して生データを潜在シンボリック概念にマッピングすることで、この問題を克服する。
我々は,ニューラルネットワークを記号学習者と共同でトレーニングする,スケーラブルで高速なエンドツーエンドアプローチであるNeuralFastLASを紹介する。
論文 参考訳（メタデータ） (2023-10-08T12:33:42Z) - Graph Neural Networks Provably Benefit from Structural Information: A
Feature Learning Perspective [53.999128831324576]
グラフニューラルネットワーク(GNN)は、グラフ表現学習の先駆けとなった。
本研究では,特徴学習理論の文脈におけるグラフ畳み込みの役割について検討する。
論文 参考訳（メタデータ） (2023-06-24T10:21:11Z) - Seeking Interpretability and Explainability in Binary Activated Neural Networks [2.828173677501078]
本稿では、回帰タスクの文脈において、解釈可能かつ説明可能な予測子としてバイナリ活性化ニューラルネットワークを用いることについて検討する。
本稿では,特徴量,隠れニューロン,さらには重みの相対的重要性を定量化するために,SHAP値の効率的な計算法を提案する。
論文 参考訳（メタデータ） (2022-09-07T20:11:17Z) - Network Binarization via Contrastive Learning [16.274341164897827]
バイナリニューラルネットワーク(BNN)を訓練しながら、新しいコントラスト学習フレームワークを構築する。
MIはバイナリとFPのアクティベーション間で共有される情報を計測する指標として導入された。
以上の結果から,本手法は既存の最先端バイナライズ手法の重ね合わせモジュールとして実装可能であることが示唆された。
論文 参考訳（メタデータ） (2022-07-06T21:04:53Z) - Reconstructing Training Data from Trained Neural Networks [42.60217236418818]
いくつかのケースでは、トレーニングデータのかなりの部分が、実際にトレーニングされたニューラルネットワーク分類器のパラメータから再構成可能であることを示す。
本稿では,勾配に基づくニューラルネットワークの学習における暗黙バイアスに関する最近の理論的結果から,新たな再構成手法を提案する。
論文 参考訳（メタデータ） (2022-06-15T18:35:16Z) - Bimodal Distributed Binarized Neural Networks [3.0778860202909657]
しかし、バイナリ化技術は、完全精度のものと比べれば、不適格な性能劣化に悩まされる。
バイモーダル分散バイナライゼーション法(メソッド名)を提案する。
これにより、ネットワーク重みのバイモーダルな分布がクルトーシス正規化によって引き起こされる。
論文 参考訳（メタデータ） (2022-04-05T06:07:05Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳（メタデータ） (2021-10-12T23:22:45Z) - On Tractable Representations of Binary Neural Networks [23.50970665150779]
我々は、二項ニューラルネットワークの決定関数を、順序付き二項決定図(OBDD)や意味決定図(SDD)などの抽出可能な表現にコンパイルすることを検討する。
実験では,SDDとしてニューラルネットワークのコンパクトな表現を得ることが可能であることを示す。
論文 参考訳（メタデータ） (2020-04-05T03:21:26Z) - Binary Neural Networks: A Survey [126.67799882857656]
バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。
バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。
本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
論文 参考訳（メタデータ） (2020-03-31T16:47:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。