論文の概要: Dynamic DropConnect: Enhancing Neural Network Robustness through Adaptive Edge Dropping Strategies

• arxiv url: http://arxiv.org/abs/2502.19948v1
• Date: Thu, 27 Feb 2025 10:17:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 14:58:36.611696
• Title: Dynamic DropConnect: Enhancing Neural Network Robustness through Adaptive Edge Dropping Strategies
• Title（参考訳）: Dynamic DropConnect: 適応型エッジドロップ戦略によるニューラルネットワークロバスト性向上
• Authors: Yuan-Chih Yang, Hung-Hsuan Chen,
• Abstract要約: DropoutとDropConnectは、トレーニング中にニューラルネットワーク層内のニューロンやエッジをランダムに非活性化するために一貫したドロップレートを適用する、よく知られたテクニックである。 本稿では,レイヤ内の各エッジに動的降下率を割り当てる手法を提案する。
• 参考スコア（独自算出の注目度）: 2.07180164747172
• License:
• Abstract: Dropout and DropConnect are well-known techniques that apply a consistent drop rate to randomly deactivate neurons or edges in a neural network layer during training. This paper introduces a novel methodology that assigns dynamic drop rates to each edge within a layer, uniquely tailoring the dropping process without incorporating additional learning parameters. We perform experiments on synthetic and openly available datasets to validate the effectiveness of our approach. The results demonstrate that our method outperforms Dropout, DropConnect, and Standout, a classic mechanism known for its adaptive dropout capabilities. Furthermore, our approach improves the robustness and generalization of neural network training without increasing computational complexity. The complete implementation of our methodology is publicly accessible for research and replication purposes at https://github.com/ericabd888/Adjusting-the-drop-probability-in-DropConnect-based-on-the-magnitude-o f-the-gradient/.
• Abstract（参考訳）: DropoutとDropConnectは、トレーニング中にニューラルネットワーク層内のニューロンやエッジをランダムに非活性化するために一貫したドロップレートを適用する、よく知られたテクニックである。 本稿では,レイヤ内の各エッジに動的降下率を割り当てる手法を提案する。 我々は、我々のアプローチの有効性を検証するために、合成および公開可能なデータセットの実験を行う。 その結果,本手法はDropout,DropConnect,Standoutよりも優れており,適応的なドロップアウト機能で知られている古典的なメカニズムであることがわかった。 さらに、計算複雑性を増大させることなく、ニューラルネットワークトレーニングの堅牢性と一般化を改善する。 我々の方法論の完全な実装は、https://github.com/ericabd888/Adjusting-the-drop-probability-in-DropConnect-based-on-on-the-magnitud e-of-gradient/で研究と複製のために公開されています。

関連論文リスト

• Sharpening Your Density Fields: Spiking Neuron Aided Fast Geometry Learning [8.657209169726977]
  そこで我々は,手動選択の必要性を排除し,閾値を動的に調整するスパイキングニューロン機構を導入する。 我々は、合成データセットと実世界のデータセットの両方に関する広範な実験を通じて、我々のアプローチを検証する。
  論文  参考訳（メタデータ） (2024-12-13T05:51:03Z)
• Y-Drop: A Conductance based Dropout for fully connected layers [63.029110722758496]
  我々は、より重要なニューロンを高い確率で落とすために、ドロップアウトアルゴリズムをバイアスする正規化手法Y-Dropを紹介する。 重要なユニットが存在しない場合、ネットワークにタスクの解決を強制することは、強い正規化効果をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-09-11T15:56:08Z)
• Adaptive Class Emergence Training: Enhancing Neural Network Stability and Generalization through Progressive Target Evolution [0.0]
  分類問題におけるニューラルネットワークの新しいトレーニング手法を提案する。 我々は、トレーニングプロセスを通して、ヌルベクトルから1ホットの符号化ベクターへのターゲット出力を進化させる。 この段階的な遷移により、ネットワークは分類タスクの複雑さの増大によりスムーズに適応できる。
  論文  参考訳（メタデータ） (2024-09-04T03:25:48Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Non-Gradient Manifold Neural Network [79.44066256794187]
  ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。 非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:39:13Z)
• LocalDrop: A Hybrid Regularization for Deep Neural Networks [98.30782118441158]
  本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。 フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
  論文  参考訳（メタデータ） (2021-03-01T03:10:11Z)
• Advanced Dropout: A Model-free Methodology for Bayesian Dropout Optimization [62.8384110757689]
  ディープニューラルネットワーク(DNN)の現実的応用において、ユビキタスなオーバーフィッティングが存在する 先進的なドロップアウト手法は、パラメトリック先行でモデルフリーで容易に実装された分布を適用し、ドロップアウト率を適応的に調整する。 7つのコンピュータビジョンデータセットにおける9つのドロップアウト手法に対する高度なドロップアウトの有効性を評価する。
  論文  参考訳（メタデータ） (2020-10-11T13:19:58Z)
• MaxDropout: Deep Neural Network Regularization Based on Maximum Output Values [0.0]
  MaxDropoutはディープニューラルネットワークモデルのレギュレータで、著名なニューロンを除去することで教師付きで機能する。 我々は、DropoutがMaxDropoutに置き換えられた場合、既存のニューラルネットワークを改善し、ニューラルネットワークのより良い結果を提供することができることを示す。
  論文  参考訳（メタデータ） (2020-07-27T17:55:54Z)
• Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
  本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。 本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。 我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
  論文  参考訳（メタデータ） (2020-06-16T18:45:20Z)
• Exploiting Non-Linear Redundancy for Neural Model Compression [26.211513643079993]
  本稿では,線形依存の活用に基づく新しいモデル圧縮手法を提案する。 その結果,ネットワークサイズが最大99%減少し,性能が低下することがわかった。
  論文  参考訳（メタデータ） (2020-05-28T15:13:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。