論文の概要: A Bayesian approach for initialization of weights in backpropagation
neural net with application to character recognition
- arxiv url: http://arxiv.org/abs/2004.01875v1
- Date: Sat, 4 Apr 2020 06:42:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-16 22:43:18.188018
- Title: A Bayesian approach for initialization of weights in backpropagation
neural net with application to character recognition
- Title（参考訳）: バックプロパゲーションニューラルネットにおける重みの初期化に関するベイズ的アプローチと文字認識への応用
- Authors: Nadir Murru, Rosaria Rossini
- Abstract要約: 距離論的なアプローチは、重みを互いに依存する正規変数によってモデル化された測定として考えるために用いられる。
提案手法は,バックプロパゲーション学習アルゴリズムの収束率の向上を示す。
- 参考スコア（独自算出の注目度）: 0.9137554315375919
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Convergence rate of training algorithms for neural networks is heavily
affected by initialization of weights. In this paper, an original algorithm for
initialization of weights in backpropagation neural net is presented with
application to character recognition. The initialization method is mainly based
on a customization of the Kalman filter, translating it into Bayesian
statistics terms. A metrological approach is used in this context considering
weights as measurements modeled by mutually dependent normal random variables.
The algorithm performance is demonstrated by reporting and discussing results
of simulation trials. Results are compared with random weights initialization
and other methods. The proposed method shows an improved convergence rate for
the backpropagation training algorithm.
- Abstract（参考訳）: ニューラルネットワークのトレーニングアルゴリズムの収束速度は、重みの初期化によって大きく影響を受ける。
本稿では,バックプロパゲーションニューラルネットにおける重み付けの初期化アルゴリズムについて,文字認識への応用について述べる。
初期化法は、主にカルマンフィルタのカスタマイズに基づいており、それをベイズ統計用語に翻訳している。
この文脈では、重みを相互従属正規確率変数によってモデル化された測定として考慮するメトロロジー的アプローチが用いられる。
アルゴリズムの性能はシミュレーション実験の結果を報告し議論することで示される。
結果はランダムウェイトの初期化や他の方法と比較される。
提案手法は,バックプロパゲーション学習アルゴリズムの収束率の向上を示す。
関連論文リスト
- Learning by the F-adjoint [0.0]
本研究では、フィードフォワードニューラルネットワークのための教師付き学習アルゴリズムを改善するための理論的枠組みを開発し、検討する。
我々の主な結果は、勾配降下法と組み合わせた神経力学モデルを導入することにより、平衡F-随伴過程を導出したことである。
MNISTとFashion-MNISTデータセットの実験結果は、提案手法が標準バックプロパゲーショントレーニング手順を大幅に改善することを示した。
論文 参考訳（メタデータ） (2024-07-08T13:49:25Z) - Concurrent Training and Layer Pruning of Deep Neural Networks [0.0]
トレーニングの初期段階において、ニューラルネットワークの無関係な層を特定し、排除できるアルゴリズムを提案する。
本研究では,非線形区間を切断した後にネットワークを流れる情報の流れを,非線形ネットワーク区間の周囲の残差接続を用いた構造を用いる。
論文 参考訳（メタデータ） (2024-06-06T23:19:57Z) - Understanding Weight Similarity of Neural Networks via Chain
Normalization Rule and Hypothesis-Training-Testing [58.401504709365284]
非畳み込みニューラルネットワークの重み類似度を定量化できる重み類似度尺度を提案する。
まず,ニューラルネットワークの重みをチェーン正規化規則により正規化し,重み訓練表現学習を導入する。
ニューラルネットワークの重み類似性に関する仮説を検証するため,従来の仮説検証手法を拡張した。
論文 参考訳（メタデータ） (2022-08-08T19:11:03Z) - Robust Learning of Parsimonious Deep Neural Networks [0.0]
本稿では,ニューラルネットワークにおける無関係構造を識別・排除できる同時学習および刈り取りアルゴリズムを提案する。
最適選択に欠かせないパラメータに対して,新しい超優先度分布を導出する。
我々は,提案アルゴリズムをMNISTデータセット上で評価し,完全連結型および畳み込み型LeNetアーキテクチャを用いた。
論文 参考訳（メタデータ） (2022-05-10T03:38:55Z) - Scalable computation of prediction intervals for neural networks via
matrix sketching [79.44177623781043]
既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。
本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-05-06T13:18:31Z) - Data-driven Weight Initialization with Sylvester Solvers [72.11163104763071]
本稿では,ディープニューラルネットワークのパラメータを初期化するためのデータ駆動方式を提案する。
提案手法は,特にショットや微調整の設定において有効であることを示す。
論文 参考訳（メタデータ） (2021-05-02T07:33:16Z) - Continual Learning using a Bayesian Nonparametric Dictionary of Weight
Factors [75.58555462743585]
訓練されたニューラルネットワークは、シーケンシャルなタスク設定で破滅的な忘れを経験する傾向がある。
Indian Buffet Process (IBP) に基づく原則的非パラメトリック手法を提案する。
連続学習ベンチマークにおける本手法の有効性を実証し、トレーニングを通して重み要因の配分と再利用方法を分析する。
論文 参考訳（メタデータ） (2020-04-21T15:20:19Z) - Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。
Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文 参考訳（メタデータ） (2020-04-20T18:12:56Z) - MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。
グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。
確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文 参考訳（メタデータ） (2020-01-28T18:25:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。