論文の概要: Reducing Neural Network Parameter Initialization Into an SMT Problem

• arxiv url: http://arxiv.org/abs/2011.01191v3
• Date: Mon, 9 Nov 2020 06:28:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 11:29:00.634994
• Title: Reducing Neural Network Parameter Initialization Into an SMT Problem
• Title（参考訳）: SMT問題に対するニューラルネットワークパラメータ初期化の低減
• Authors: Mohamad H. Danesh
• Abstract要約: ニューラルネットワーク(NN)のトレーニングは、初期重みに限らず、複数の要因に依存する。 本稿では、乱数やゼロの初期化と比較して、より優れた性能が得られるようなディープNNパラメータの初期化に焦点をあてる。
• 参考スコア（独自算出の注目度）: 8.75682288556859
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training a neural network (NN) depends on multiple factors, including but not limited to the initial weights. In this paper, we focus on initializing deep NN parameters such that it performs better, comparing to random or zero initialization. We do this by reducing the process of initialization into an SMT solver. Previous works consider certain activation functions on small NNs, however the studied NN is a deep network with different activation functions. Our experiments show that the proposed approach for parameter initialization achieves better performance comparing to randomly initialized networks.
• Abstract（参考訳）: ニューラルネットワーク(NN)のトレーニングは、初期重みに限らず、複数の要因に依存する。 本稿では,ランダムな初期化やゼロ初期化と比較して,より良く機能するように,深層nnパラメータの初期化に注目する。 我々は、初期化のプロセスをSMTソルバに還元することでこれを行う。 以前の研究では、小さなnn上の特定のアクティベーション関数を検討したが、研究されたnnは、異なるアクティベーション関数を持つディープネットワークである。 提案手法は,ランダム初期化ネットワークと比較して性能が向上することを示す。

関連論文リスト

• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Unsupervised Learning of Initialization in Deep Neural Networks via Maximum Mean Discrepancy [74.34895342081407]
  本稿では,入力データに対する優れた初期化を求めるための教師なしアルゴリズムを提案する。 まず、パラメータ空間における各パラメータ構成が、d-way分類の特定の下流タスクに対応することに気付く。 次に、学習の成功は、初期パラメータの近傍で下流タスクがいかに多様であるかに直接関連していると推測する。
  論文  参考訳（メタデータ） (2023-02-08T23:23:28Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• A Weight Initialization Based on the Linear Product Structure for Neural Networks [0.0]
  非線形的な観点からニューラルネットワークを研究し、ニューラルネットワークの線形積構造(LPS)に基づく新しいウェイト初期化戦略を提案する。 提案手法は, 数値代数学の理論を用いて, すべての局所最小値を求めることを保証することにより, 活性化関数の近似から導かれる。
  論文  参考訳（メタデータ） (2021-09-01T00:18:59Z)
• Tensor-based framework for training flexible neural networks [9.176056742068813]
  本稿では,制約付き行列-テンソル因数分解(CMTF)問題を解く学習アルゴリズムを提案する。 提案アルゴリズムは、異なる基底分解を処理できる。 この手法の目的は、テンソルワーク(例えば、元のネットワークの1層または複数の層)を新しいフレキシブル層に置き換えることで、大きな事前訓練されたNNモデルを圧縮することである。
  論文  参考訳（メタデータ） (2021-06-25T10:26:48Z)
• Towards Understanding the Condensation of Two-layer Neural Networks at Initial Training [1.1958610985612828]
  原点における活性化関数の特異性は、初期訓練段階における凝縮を理解する上で重要な要素であることを示す。 実験により, 凝縮配向の最大数は特異性次数の2倍であることが示唆された。
  論文  参考訳（メタデータ） (2021-05-25T05:47:55Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• Robust Pruning at Initialization [61.30574156442608]
  計算リソースが限られているデバイス上で、機械学習アプリケーションを使用するための、より小さく、エネルギー効率のよいニューラルネットワークの必要性が高まっている。 ディープNNにとって、このような手順はトレーニングが困難であり、例えば、ひとつの層が完全に切断されるのを防ぐことができないため、満足できないままである。
  論文  参考訳（メタデータ） (2020-02-19T17:09:50Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。