論文の概要: Rolling the dice for better deep learning performance: A study of randomness techniques in deep neural networks

• arxiv url: http://arxiv.org/abs/2404.03992v1
• Date: Fri, 5 Apr 2024 10:02:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-08 16:34:30.545493
• Title: Rolling the dice for better deep learning performance: A study of randomness techniques in deep neural networks
• Title（参考訳）: ディープラーニング性能向上のためのダイスロール:ディープニューラルネットワークにおけるランダム性手法の検討
• Authors: Mohammed Ghaith Altarabichi, Sławomir Nowaczyk, Sepideh Pashami, Peyman Sheikholharam Mashhadi, Julia Handl,
• Abstract要約: 本稿では,Deep Neural Networks(DNN)における様々なランダム化手法について検討する。 テクニックは、損失関数にノイズを加える、ランダムな勾配更新をマスキングする、データ拡張と重み一般化の4つのタイプに分類される。 完全な実装とデータセットはGitHubで入手できる。
• 参考スコア（独自算出の注目度）: 4.643954670642798
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper investigates how various randomization techniques impact Deep Neural Networks (DNNs). Randomization, like weight noise and dropout, aids in reducing overfitting and enhancing generalization, but their interactions are poorly understood. The study categorizes randomness techniques into four types and proposes new methods: adding noise to the loss function and random masking of gradient updates. Using Particle Swarm Optimizer (PSO) for hyperparameter optimization, it explores optimal configurations across MNIST, FASHION-MNIST, CIFAR10, and CIFAR100 datasets. Over 30,000 configurations are evaluated, revealing data augmentation and weight initialization randomness as main performance contributors. Correlation analysis shows different optimizers prefer distinct randomization types. The complete implementation and dataset are available on GitHub.
• Abstract（参考訳）: 本稿では,様々なランダム化手法がディープニューラルネットワーク(DNN)に与える影響について検討する。 ウェイトノイズやドロップアウトのようなランダム化は、過度な適合を減らし、一般化を促進するのに役立つが、それらの相互作用は理解されていない。 この研究は、ランダムネス手法を4つのタイプに分類し、損失関数にノイズを加える方法と、勾配更新のランダムマスキングを提案する。 ハイパーパラメータ最適化にParticle Swarm Optimizer(PSO)を使用することで、MNIST、FASHION-MNIST、CIFAR10、CIFAR100データセットにわたる最適な構成を探索する。 30,000以上の構成が評価され、主なパフォーマンスコントリビュータとして、データ拡張と重み付け初期化ランダム性を明らかにしている。 相関解析は、異なる最適化者が異なるランダム化タイプを好むことを示している。 完全な実装とデータセットはGitHubで入手できる。

関連論文リスト

• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Hyperparameter Optimization for Randomized Algorithms: A Case Study on Random Features [0.0]
  本稿では,高次元に適応し,目的関数のランダム性に頑健なランダムな目的関数を提案する。 EKIは、高次元にスケーラブルで、目的関数のランダム性に対して堅牢な勾配のない粒子ベース複雑性である。
  論文  参考訳（メタデータ） (2024-06-30T04:15:03Z)
• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)
• Quantifying Inherent Randomness in Machine Learning Algorithms [7.591218883378448]
  本稿では,モデル学習におけるランダム性,およびデータセットのトレーニングおよびテストサブセットへの分割におけるランダム性の影響を実験的に検討する。 我々は、ランダムフォレスト(RF)、グラディエントブースティングマシン(GBM)、フィードフォワードニューラルネットワーク(FFNN)の予測性能の変動の大きさを定量化し、比較する。
  論文  参考訳（メタデータ） (2022-06-24T15:49:52Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Local policy search with Bayesian optimization [73.0364959221845]
  強化学習は、環境との相互作用によって最適な政策を見つけることを目的としている。 局所探索のための政策勾配は、しばしばランダムな摂動から得られる。 目的関数の確率モデルとその勾配を用いたアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2021-06-22T16:07:02Z)
• Improving Neural Network Training in Low Dimensional Random Bases [5.156484100374058]
  トレーニング中にランダムなプロジェクションを固定し続けることは、最適化に有害であることを示す。 本稿では,各ステップにおけるランダム部分空間の再描画を提案する。 ネットワークの異なる部分に独立したプロジェクションを適用することで、ネットワーク次元が大きくなるにつれて、近似をより効率的にすることで、さらなる改善を実現する。
  論文  参考訳（メタデータ） (2020-11-09T19:50:19Z)
• Bandit Samplers for Training Graph Neural Networks [63.17765191700203]
  グラフ畳み込みネットワーク(GCN)の訓練を高速化するために, ばらつきを低減したサンプリングアルゴリズムが提案されている。 これらのサンプリングアルゴリズムは、グラフ注意ネットワーク(GAT)のような固定重みよりも学習重量を含む、より一般的なグラフニューラルネットワーク(GNN)には適用できない。
  論文  参考訳（メタデータ） (2020-06-10T12:48:37Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。