論文の概要: Energy-based Dropout in Restricted Boltzmann Machines: Why not go random
- arxiv url: http://arxiv.org/abs/2101.06741v1
- Date: Sun, 17 Jan 2021 18:21:05 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-27 23:31:04.362553
- Title: Energy-based Dropout in Restricted Boltzmann Machines: Why not go random
- Title（参考訳）: 制限ボルツマンマシンにおけるエネルギーベースのドロップアウト:なぜランダムにしないのか
- Authors: Mateus Roder, Gustavo H. de Rosa, Victor Hugo C. de Albuquerque,
Andr\'e L. D. Rossi, Jo\~ao P. Papa
- Abstract要約: ニューロンを落とすべきかどうかを意識的に判断するエネルギーベースのドロップアウトを提案します。
具体的には、ニューロンとモデルのエネルギーを重要レベルで関連付けることで、この正規化法を設計する。
複数のベンチマークデータセットに対する実験結果から,従来のDropoutや標準RBMと比較して,提案手法の適合性が確認された。
- 参考スコア（独自算出の注目度）: 6.589130992512926
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep learning architectures have been widely fostered throughout the last
years, being used in a wide range of applications, such as object recognition,
image reconstruction, and signal processing. Nevertheless, such models suffer
from a common problem known as overfitting, which limits the network from
predicting unseen data effectively. Regularization approaches arise in an
attempt to address such a shortcoming. Among them, one can refer to the
well-known Dropout, which tackles the problem by randomly shutting down a set
of neurons and their connections according to a certain probability. Therefore,
this approach does not consider any additional knowledge to decide which units
should be disconnected. In this paper, we propose an energy-based Dropout
(E-Dropout) that makes conscious decisions whether a neuron should be dropped
or not. Specifically, we design this regularization method by correlating
neurons and the model's energy as an importance level for further applying it
to energy-based models, such as Restricted Boltzmann Machines (RBMs). The
experimental results over several benchmark datasets revealed the proposed
approach's suitability compared to the traditional Dropout and the standard
RBMs.
- Abstract（参考訳）: ディープラーニングアーキテクチャは、オブジェクト認識や画像再構成、信号処理など、幅広いアプリケーションで使用されている。
それでも、そのようなモデルはオーバーフィッティングとして知られる共通の問題に悩まされ、ネットワークが目に見えないデータを効果的に予測することを妨げる。
正規化のアプローチは、このような欠点に対処するために現れる。
中でも有名なのがドロップアウト(dropout)で、ある確率に応じて一連のニューロンとその接続をランダムにシャットダウンすることでこの問題に対処している。
したがって、このアプローチは、どのユニットを切断すべきかを決定するための追加の知識を考慮しない。
本稿では,ニューロンを落とすべきか否かを意識的に判断するエネルギーベースのDropout(E-Dropout)を提案する。
具体的には、制限ボルツマン機械(rbms)のようなエネルギーベースのモデルにさらに適用するための重要レベルとして、ニューロンとモデルエネルギーを関連付けることで、この正規化法を設計する。
複数のベンチマークデータセットに対する実験結果から,従来のDropoutや標準RBMと比較して,提案手法の適合性が確認された。
関連論文リスト
- Efficiency of the hidden fermion determinant states Ansatz in the light of different complexity measures [0.0]
Ans"atzeは、ニューラルネットワークの表現力を利用して、根本的な課題に対処する。
エンタングルメントエントロピーの体積法スケールを示す5種類のフェルミオンモデルについて検討した。
従来の手法が信頼性の高いパラメータ領域に近づくと、ニューラルネットワークのアプローチも信頼性と効率が向上することを示す。
論文 参考訳（メタデータ） (2024-11-07T08:36:37Z) - On the Benefits of Memory for Modeling Time-Dependent PDEs [35.86010060677811]
本稿では、最近のSSMアーキテクチャに基づくネットワークであるメモリニューラル演算子(MemNO)とフーリエニューラル演算子(FNO)を紹介する。
MemNOはメモリ無しでベースラインを著しく上回り、目に見えないPDEの6倍以上のエラーを発生させる。
論文 参考訳（メタデータ） (2024-09-03T21:56:13Z) - Uncertainty Quantification for Forward and Inverse Problems of PDEs via
Latent Global Evolution [110.99891169486366]
本稿では,効率的かつ高精度な不確実性定量化を深層学習に基づく代理モデルに統合する手法を提案する。
本手法は,フォワード問題と逆問題の両方に対して,堅牢かつ効率的な不確実性定量化機能を備えたディープラーニングに基づく代理モデルを提案する。
提案手法は, 長期予測を含むシナリオに適合し, 拡張された自己回帰ロールアウトに対する不確かさの伝播に優れる。
論文 参考訳（メタデータ） (2024-02-13T11:22:59Z) - Monotone deep Boltzmann machines [86.50247625239406]
ディープボルツマンマシン(Deep Boltzmann Machine、DBM)は、双対エネルギー関数によって制御される多層確率モデルである。
我々は,各層で任意の自己接続が可能な新しい制限モデルであるモノトンDBMを開発した。
アクティベーションの特定の選択が、変動平均場解を与える固定点反復をもたらすことを示す。
論文 参考訳（メタデータ） (2023-07-11T03:02:44Z) - Principled Knowledge Extrapolation with GANs [92.62635018136476]
我々は,知識外挿の新たな視点から,対実合成を研究する。
本稿では, 知識外挿問題に対処するために, クローズド形式判別器を用いた対角ゲームが利用可能であることを示す。
提案手法は,多くのシナリオにおいて,エレガントな理論的保証と優れた性能の両方を享受する。
論文 参考訳（メタデータ） (2022-05-21T08:39:42Z) - A Survey on Evidential Deep Learning For Single-Pass Uncertainty
Estimation [0.0]
情報深層学習(Evidential Deep Learning): 馴染みのないデータに対して、彼らは“知らないこと”を認め、以前の信念に戻る。
この調査は、Evidential Deep Learningという概念に基づいた、別のモデルのクラスを読者に親しみやすくすることを目的としている。
論文 参考訳（メタデータ） (2021-10-06T20:13:57Z) - Discriminator-Free Generative Adversarial Attack [87.71852388383242]
生成的ベースの敵攻撃は、この制限を取り除くことができる。
ASymmetric Saliency-based Auto-Encoder (SSAE) は摂動を生成する。
SSAEが生成した敵の例は、広く使われているモデルを崩壊させるだけでなく、優れた視覚的品質を実現する。
論文 参考訳（メタデータ） (2021-07-20T01:55:21Z) - And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。
そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。
MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
論文 参考訳（メタデータ） (2021-02-15T08:19:05Z) - MaxDropout: Deep Neural Network Regularization Based on Maximum Output
Values [0.0]
MaxDropoutはディープニューラルネットワークモデルのレギュレータで、著名なニューロンを除去することで教師付きで機能する。
我々は、DropoutがMaxDropoutに置き換えられた場合、既存のニューラルネットワークを改善し、ニューラルネットワークのより良い結果を提供することができることを示す。
論文 参考訳（メタデータ） (2020-07-27T17:55:54Z) - Targeted free energy estimation via learned mappings [66.20146549150475]
自由エネルギー摂動 (FEP) は60年以上前にズワンツィヒによって自由エネルギー差を推定する方法として提案された。
FEPは、分布間の十分な重複の必要性という厳しい制限に悩まされている。
目標自由エネルギー摂動(Targeted Free Energy Perturbation)と呼ばれるこの問題を緩和するための1つの戦略は、オーバーラップを増やすために構成空間の高次元マッピングを使用する。
論文 参考訳（メタデータ） (2020-02-12T11:10:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。