論文の概要: Neuron Campaign for Initialization Guided by Information Bottleneck Theory

• arxiv url: http://arxiv.org/abs/2108.06530v1
• Date: Sat, 14 Aug 2021 13:19:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-17 15:25:56.966891
• Title: Neuron Campaign for Initialization Guided by Information Bottleneck Theory
• Title（参考訳）: 情報ボトルネック理論による初期化のためのニューロン運動
• Authors: Haitao Mao, Xu Chen, Qiang Fu, Lun Du, Shi Han and Dongmei Zhang
• Abstract要約: ディープニューラルネットワーク(DNN)のトレーニングにおける初期化の役割 我々は、DNNの一般化に関する説明を提供するために、Information Bottleneck(IB)理論を用いる。 MNISTデータセットを用いた実験により,より高速な収束による一般化性能の向上が期待できることがわかった。
• 参考スコア（独自算出の注目度）: 31.44355490646638
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Initialization plays a critical role in the training of deep neural networks (DNN). Existing initialization strategies mainly focus on stabilizing the training process to mitigate gradient vanish/explosion problems. However, these initialization methods are lacking in consideration about how to enhance generalization ability. The Information Bottleneck (IB) theory is a well-known understanding framework to provide an explanation about the generalization of DNN. Guided by the insights provided by IB theory, we design two criteria for better initializing DNN. And we further design a neuron campaign initialization algorithm to efficiently select a good initialization for a neural network on a given dataset. The experiments on MNIST dataset show that our method can lead to a better generalization performance with faster convergence.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)のトレーニングには初期化が重要な役割を果たしている。 既存の初期化戦略は主に、勾配の消失/爆発を緩和するためにトレーニングプロセスを安定化することに焦点を当てている。 しかし, これらの初期化手法は, 一般化能力の向上を考慮に入れていない。 Information Bottleneck(IB)理論は、DNNの一般化を説明するためのよく知られた理解フレームワークである。 ib理論の知見に導かれ、dnnをより良い初期化するための2つの基準を設計した。 さらに、与えられたデータセット上でニューラルネットワークの優れた初期化を選択するために、ニューロンキャンペーン初期化アルゴリズムを設計する。 MNISTデータセットを用いた実験により,より高速な収束による一般化性能の向上が得られた。

関連論文リスト

• On the Initialization of Graph Neural Networks [10.153841274798829]
  グラフニューラルネットワーク層間の前方・後方伝播のばらつきを解析する。 GNN最適化(Virgo)における可変不安定化のための新しい手法を提案する。 15のデータセットで包括的な実験を行い、Virgoが優れたモデルパフォーマンスをもたらすことを示す。
  論文  参考訳（メタデータ） (2023-12-05T09:55:49Z)
• Learning Expressive Priors for Generalization and Uncertainty Estimation in Neural Networks [77.89179552509887]
  本稿では,ディープニューラルネットワークにおける一般化と不確実性推定を推し進める新しい事前学習手法を提案する。 キーとなる考え方は、ニューラルネットワークのスケーラブルで構造化された後部を、一般化を保証する情報的事前として活用することである。 本研究では,不確実性推定と一般化における本手法の有効性を徹底的に示す。
  論文  参考訳（メタデータ） (2023-07-15T09:24:33Z)
• Imbedding Deep Neural Networks [0.0]
  ニューラルODEのような連続深度ニューラルネットワークは、非線形ベクトル値の最適制御問題の観点から、残留ニューラルネットワークの理解を再燃させた。 本稿では,ネットワークの深さを基本変数とする新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-01-31T22:00:41Z)
• Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
  私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。 我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
  論文  参考訳（メタデータ） (2021-11-02T20:24:01Z)
• A Weight Initialization Based on the Linear Product Structure for Neural Networks [0.0]
  非線形的な観点からニューラルネットワークを研究し、ニューラルネットワークの線形積構造(LPS)に基づく新しいウェイト初期化戦略を提案する。 提案手法は, 数値代数学の理論を用いて, すべての局所最小値を求めることを保証することにより, 活性化関数の近似から導かれる。
  論文  参考訳（メタデータ） (2021-09-01T00:18:59Z)
• Initialization Matters: Regularizing Manifold-informed Initialization for Neural Recommendation Systems [47.49065927541129]
  我々は、Laplacian Eigenmapsと呼ばれる、分離データ(LEPORID)に対する人気に基づく正規化を用いた新しいユーザ埋め込み方式を提案する。 LEPORIDは、データ多様体上のマルチスケール近傍構造に関する情報を埋め込みに付与し、データ分布の尾に高い埋め込み分散を補う適応正規化を行う。 我々は、LEPORIDを持つ既存のニューラルネットワークが、KNNと同等かそれ以上に動作することを示す。
  論文  参考訳（メタデータ） (2021-06-09T11:26:18Z)
• Learning Structures for Deep Neural Networks [99.8331363309895]
  我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。 スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。 公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
  論文  参考訳（メタデータ） (2021-05-27T12:27:24Z)
• Persistent Neurons [4.061135251278187]
  本稿では,学習課題を最適化するトラジェクトリベースの戦略を提案する。 永続ニューロンは、決定論的誤差項によって個々の更新が破損する勾配情報バイアスを持つ方法とみなすことができる。 完全かつ部分的なパーシステンスモデルの評価を行い、NN構造における性能向上に有効であることを示す。
  論文  参考訳（メタデータ） (2020-07-02T22:36:49Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。