論文の概要: Rolling the dice for better deep learning performance: A study of randomness techniques in deep neural networks
- arxiv url: http://arxiv.org/abs/2404.03992v1
- Date: Fri, 5 Apr 2024 10:02:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-08 16:34:30.545493
- Title: Rolling the dice for better deep learning performance: A study of randomness techniques in deep neural networks
- Title(参考訳): ディープラーニング性能向上のためのダイスロール:ディープニューラルネットワークにおけるランダム性手法の検討
- Authors: Mohammed Ghaith Altarabichi, Sławomir Nowaczyk, Sepideh Pashami, Peyman Sheikholharam Mashhadi, Julia Handl,
- Abstract要約: 本稿では,Deep Neural Networks(DNN)における様々なランダム化手法について検討する。
テクニックは、損失関数にノイズを加える、ランダムな勾配更新をマスキングする、データ拡張と重み一般化の4つのタイプに分類される。
完全な実装とデータセットはGitHubで入手できる。
- 参考スコア(独自算出の注目度): 4.643954670642798
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper investigates how various randomization techniques impact Deep Neural Networks (DNNs). Randomization, like weight noise and dropout, aids in reducing overfitting and enhancing generalization, but their interactions are poorly understood. The study categorizes randomness techniques into four types and proposes new methods: adding noise to the loss function and random masking of gradient updates. Using Particle Swarm Optimizer (PSO) for hyperparameter optimization, it explores optimal configurations across MNIST, FASHION-MNIST, CIFAR10, and CIFAR100 datasets. Over 30,000 configurations are evaluated, revealing data augmentation and weight initialization randomness as main performance contributors. Correlation analysis shows different optimizers prefer distinct randomization types. The complete implementation and dataset are available on GitHub.
- Abstract(参考訳): 本稿では,様々なランダム化手法がディープニューラルネットワーク(DNN)に与える影響について検討する。
ウェイトノイズやドロップアウトのようなランダム化は、過度な適合を減らし、一般化を促進するのに役立つが、それらの相互作用は理解されていない。
この研究は、ランダムネス手法を4つのタイプに分類し、損失関数にノイズを加える方法と、勾配更新のランダムマスキングを提案する。
ハイパーパラメータ最適化にParticle Swarm Optimizer(PSO)を使用することで、MNIST、FASHION-MNIST、CIFAR10、CIFAR100データセットにわたる最適な構成を探索する。
30,000以上の構成が評価され、主なパフォーマンスコントリビュータとして、データ拡張と重み付け初期化ランダム性を明らかにしている。
相関解析は、異なる最適化者が異なるランダム化タイプを好むことを示している。
完全な実装とデータセットはGitHubで入手できる。
関連論文リスト
- Subject-specific Deep Neural Networks for Count Data with
High-cardinality Categorical Features [1.2289361708127877]
本稿では,ポアソンディープニューラルネットワークにガンマランダム効果を導入するための新しい階層的確率学習フレームワークを提案する。
提案手法は,固定パラメータの最大極大推定器とランダム効果の最適非バイアス予測器を同時に生成する。
最先端のネットワークアーキテクチャは、提案されたh-likelihoodフレームワークに容易に実装できる。
論文 参考訳(メタデータ) (2023-10-18T01:54:48Z) - Towards Automated Imbalanced Learning with Deep Hierarchical
Reinforcement Learning [57.163525407022966]
不均衡学習はデータマイニングにおいて基本的な課題であり、各クラスにトレーニングサンプルの不均等な比率が存在する。
オーバーサンプリングは、少数民族のための合成サンプルを生成することによって、不均衡な学習に取り組む効果的な手法である。
我々は,異なるレベルの意思決定を共同で最適化できる自動オーバーサンプリングアルゴリズムであるAutoSMOTEを提案する。
論文 参考訳(メタデータ) (2022-08-26T04:28:01Z) - Quantifying Inherent Randomness in Machine Learning Algorithms [7.591218883378448]
本稿では,モデル学習におけるランダム性,およびデータセットのトレーニングおよびテストサブセットへの分割におけるランダム性の影響を実験的に検討する。
我々は、ランダムフォレスト(RF)、グラディエントブースティングマシン(GBM)、フィードフォワードニューラルネットワーク(FFNN)の予測性能の変動の大きさを定量化し、比較する。
論文 参考訳(メタデータ) (2022-06-24T15:49:52Z) - Invariance Learning in Deep Neural Networks with Differentiable Laplace
Approximations [76.82124752950148]
我々はデータ拡張を選択するための便利な勾配法を開発した。
我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
論文 参考訳(メタデータ) (2022-02-22T02:51:11Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳(メタデータ) (2021-12-07T11:26:41Z) - Local policy search with Bayesian optimization [73.0364959221845]
強化学習は、環境との相互作用によって最適な政策を見つけることを目的としている。
局所探索のための政策勾配は、しばしばランダムな摂動から得られる。
目的関数の確率モデルとその勾配を用いたアルゴリズムを開発する。
論文 参考訳(メタデータ) (2021-06-22T16:07:02Z) - Improving Neural Network Training in Low Dimensional Random Bases [5.156484100374058]
トレーニング中にランダムなプロジェクションを固定し続けることは、最適化に有害であることを示す。
本稿では,各ステップにおけるランダム部分空間の再描画を提案する。
ネットワークの異なる部分に独立したプロジェクションを適用することで、ネットワーク次元が大きくなるにつれて、近似をより効率的にすることで、さらなる改善を実現する。
論文 参考訳(メタデータ) (2020-11-09T19:50:19Z) - Bandit Samplers for Training Graph Neural Networks [63.17765191700203]
グラフ畳み込みネットワーク(GCN)の訓練を高速化するために, ばらつきを低減したサンプリングアルゴリズムが提案されている。
これらのサンプリングアルゴリズムは、グラフ注意ネットワーク(GAT)のような固定重みよりも学習重量を含む、より一般的なグラフニューラルネットワーク(GNN)には適用できない。
論文 参考訳(メタデータ) (2020-06-10T12:48:37Z) - MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。
グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。
確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文 参考訳(メタデータ) (2020-01-28T18:25:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。