論文の概要: A Layer-Wise Information Reinforcement Approach to Improve Learning in Deep Belief Networks

• arxiv url: http://arxiv.org/abs/2101.06749v1
• Date: Sun, 17 Jan 2021 18:53:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-27 22:56:13.420511
• Title: A Layer-Wise Information Reinforcement Approach to Improve Learning in Deep Belief Networks
• Title（参考訳）: 深層信念ネットワークにおける学習改善のための階層型情報強化手法
• Authors: Mateus Roder, Leandro A. Passos, Luiz Carlos Felix Ribeiro, Clayton Pereira, Jo\~ao Paulo Papa
• Abstract要約: 本稿では,情報強化層を層単位で検討し,特徴抽出と知識保持を改善するResidual Deep Belief Networkを提案する。 3つの公開データセットで実施した実験は、バイナリイメージ分類のタスクに関する堅牢性を示している。
• 参考スコア（独自算出の注目度）: 0.4893345190925178
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the advent of deep learning, the number of works proposing new methods or improving existent ones has grown exponentially in the last years. In this scenario, "very deep" models were emerging, once they were expected to extract more intrinsic and abstract features while supporting a better performance. However, such models suffer from the gradient vanishing problem, i.e., backpropagation values become too close to zero in their shallower layers, ultimately causing learning to stagnate. Such an issue was overcome in the context of convolution neural networks by creating "shortcut connections" between layers, in a so-called deep residual learning framework. Nonetheless, a very popular deep learning technique called Deep Belief Network still suffers from gradient vanishing when dealing with discriminative tasks. Therefore, this paper proposes the Residual Deep Belief Network, which considers the information reinforcement layer-by-layer to improve the feature extraction and knowledge retaining, that support better discriminative performance. Experiments conducted over three public datasets demonstrate its robustness concerning the task of binary image classification.
• Abstract（参考訳）: ディープラーニングの出現に伴い、新しい方法の提案や既存のものの改善がここ数年で指数関数的に増加している。 このシナリオでは、「非常に深い」モデルが登場し、より良いパフォーマンスをサポートしながら、より本質的で抽象的な特徴を引き出すと期待された。 しかし、そのようなモデルは勾配の消失に悩まされ、すなわち、バックプロパゲーションの値は浅い層ではゼロに近すぎるため、学習は停滞する。 このような問題は、階層間の「ショートカット接続」を作成することで、畳み込みニューラルネットワークの文脈で克服された。 それでも、deep belief networkと呼ばれる非常に人気のあるディープラーニング技術は、差別的なタスクを扱う場合の勾配の消失に苦しんでいる。 そこで本稿では,情報強化層を層単位で検討し,特徴抽出と知識保持を改善し,識別性能の向上を支援するResidual Deep Belief Networkを提案する。 3つの公開データセットで実施した実験は、バイナリイメージ分類のタスクに関する堅牢性を示している。

関連論文リスト

• The Trifecta: Three simple techniques for training deeper Forward-Forward networks [0.0]
  本稿では,より深いネットワーク上でのフォワード・フォワードアルゴリズムを大幅に改善する3つの手法のコレクションを提案する。 我々の実験は、我々のモデルが、単純なデータセットのトレーニング速度とテスト精度の両方において、同様に構造化されたバックプロパゲーションベースのモデルと同等であることを示した。
  論文  参考訳（メタデータ） (2023-11-29T22:44:32Z)
• On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
  ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。 提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
  論文  参考訳（メタデータ） (2022-03-08T09:57:48Z)
• A Note on the Implicit Bias Towards Minimal Depth of Deep Neural Networks [11.739219085726006]
  これらのシステムの成功を可能にする中心的な側面は、広い浅いものではなく、深いモデルを訓練する能力である。 深層ニューラルネットワークのトレーニングは、浅いニューラルネットワークに対して繰り返し、優れたパフォーマンスを達成する一方で、表現学習における深度の役割の理解はいまだに欠如している。
  論文  参考訳（メタデータ） (2022-02-18T05:21:28Z)
• Optimization-Based Separations for Neural Networks [57.875347246373956]
  本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。 これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
  論文  参考訳（メタデータ） (2021-12-04T18:07:47Z)
• Wide Neural Networks Forget Less Catastrophically [39.907197907411266]
  ニューラルネットワークアーキテクチャの"幅"が破滅的忘れに及ぼす影響について検討する。 ネットワークの学習力学を様々な観点から研究する。
  論文  参考訳（メタデータ） (2021-10-21T23:49:23Z)
• Localized Persistent Homologies for more Effective Deep Learning [60.78456721890412]
  ネットワークトレーニング中の位置を考慮に入れた新しいフィルタ機能を利用する手法を提案する。 この方法で訓練されたネットワークが抽出した曲線構造のトポロジを回復するのに役立つ道路の2次元画像と神経過程の3次元画像スタックを実験的に実証した。
  論文  参考訳（メタデータ） (2021-10-12T19:28:39Z)
• Why Layer-Wise Learning is Hard to Scale-up and a Possible Solution via Accelerated Downsampling [19.025707054206457]
  レイヤワイズ学習は、様々なデータセットのイメージ分類において最先端のパフォーマンスを達成することができる。 レイヤーワイズ学習のこれまでの研究は、単純な階層構造を持つネットワークに限られていた。 本稿では,浅層層における特徴空間の分離性が比較的低いため,階層学習のスケールアップを阻害する根本的な理由を明らかにする。
  論文  参考訳（メタデータ） (2020-10-15T21:51:43Z)
• ReMarNet: Conjoint Relation and Margin Learning for Small-Sample Image Classification [49.87503122462432]
  ReMarNet(Relation-and-Margin Learning Network)と呼ばれるニューラルネットワークを導入する。 本手法は,上記2つの分類機構の双方において優れた性能を発揮する特徴を学習するために,異なるバックボーンの2つのネットワークを組み立てる。 4つの画像データセットを用いた実験により,本手法はラベル付きサンプルの小さな集合から識別的特徴を学習するのに有効であることが示された。
  論文  参考訳（メタデータ） (2020-06-27T13:50:20Z)
• Binary Neural Networks: A Survey [126.67799882857656]
  バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。 バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。 本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
  論文  参考訳（メタデータ） (2020-03-31T16:47:20Z)
• Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
  本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。 上記の問題に対処するための特徴歪み法(Disout)を提案する。 より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
  論文  参考訳（メタデータ） (2020-02-23T13:59:13Z)
• Introducing Fuzzy Layers for Deep Learning [5.209583609264815]
  ディープラーニングにはファジィレイヤという,新たなレイヤを導入しています。 従来、ニューラルネットワークのネットワークアーキテクチャは、入力層、隠された層の組み合わせ、出力層から構成されていた。 本稿では,ファジィ手法によって表現される強力な集約特性を活用するために,ファジィ層をディープラーニングアーキテクチャに導入することを提案する。
  論文  参考訳（メタデータ） (2020-02-21T19:33:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。