論文の概要: Y-Drop: A Conductance based Dropout for fully connected layers

• arxiv url: http://arxiv.org/abs/2409.09088v1
• Date: Wed, 11 Sep 2024 15:56:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-17 22:18:51.969674
• Title: Y-Drop: A Conductance based Dropout for fully connected layers
• Title（参考訳）: Y-Drop: 完全な結合層のための導電性ベースのドロップアウト
• Authors: Efthymios Georgiou, Georgios Paraskevopoulos, Alexandros Potamianos,
• Abstract要約: 我々は、より重要なニューロンを高い確率で落とすために、ドロップアウトアルゴリズムをバイアスする正規化手法Y-Dropを紹介する。 重要なユニットが存在しない場合、ネットワークにタスクの解決を強制することは、強い正規化効果をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 63.029110722758496
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In this work, we introduce Y-Drop, a regularization method that biases the dropout algorithm towards dropping more important neurons with higher probability. The backbone of our approach is neuron conductance, an interpretable measure of neuron importance that calculates the contribution of each neuron towards the end-to-end mapping of the network. We investigate the impact of the uniform dropout selection criterion on performance by assigning higher dropout probability to the more important units. We show that forcing the network to solve the task at hand in the absence of its important units yields a strong regularization effect. Further analysis indicates that Y-Drop yields solutions where more neurons are important, i.e have high conductance, and yields robust networks. In our experiments we show that the regularization effect of Y-Drop scales better than vanilla dropout w.r.t. the architecture size and consistently yields superior performance over multiple datasets and architecture combinations, with little tuning.
• Abstract（参考訳）: そこで本研究では,Y-Dropを導入し,より重要なニューロンを高い確率で減少させるために,ドロップアウトアルゴリズムをバイアスする正規化手法を提案する。 我々のアプローチのバックボーンはニューロンのコンダクタンスであり、ネットワークのエンドツーエンドマッピングに対する各ニューロンの寄与を計算する神経重要度を解釈可能な尺度である。 より重要なユニットに高いドロップアウト確率を割り当てることにより、均一なドロップアウト選択基準が性能に与える影響について検討する。 重要なユニットが存在しない場合、ネットワークにタスクの解決を強制することは、強い正規化効果をもたらすことを示す。 さらなる分析により、Y-Dropはより多くのニューロンが重要である解、すなわち高い伝導率を持ち、ロバストなネットワークをもたらすことが示されている。 実験の結果,Y-Dropの正則化効果は,アーキテクチャサイズがバニラドロップアウトよりも大きく,複数のデータセットとアーキテクチャの組み合わせよりも常に優れた性能を示し,チューニングがほとんどないことがわかった。

関連論文リスト

• Hessian Eigenvectors and Principal Component Analysis of Neural Network Weight Matrices [0.0]
  この研究は、訓練された深層ニューラルネットワークの複雑なダイナミクスと、それらのネットワークパラメータとの関係について考察する。 ヘッセン固有ベクトルとネットワーク重みの関係を明らかにする。 この関係は固有値の大きさに依存し、ネットワーク内のパラメータの方向を識別することができる。
  論文  参考訳（メタデータ） (2023-11-01T11:38:31Z)
• Decorrelating neurons using persistence [29.25969187808722]
  2つの正規化項は、クリッドの最小スパンニングツリーの重みから計算される。 ニューロン間の相関関係を最小化することで、正規化条件よりも低い精度が得られることを示す。 正規化の可微分性の証明を含むので、最初の効果的なトポロジカルな永続性に基づく正規化用語を開発することができる。
  論文  参考訳（メタデータ） (2023-08-09T11:09:14Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Non-Gradient Manifold Neural Network [79.44066256794187]
  ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。 非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:39:13Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)
• Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
  本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。 上記の問題に対処するための特徴歪み法(Disout)を提案する。 より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
  論文  参考訳（メタデータ） (2020-02-23T13:59:13Z)
• Identifying Critical Neurons in ANN Architectures using Mixed Integer Programming [11.712073757744452]
  深層ニューラルネットワークアーキテクチャにおいて,各ニューロンに重要なスコアを割り当てるための混合整数プログラム(MIP)を導入する。 我々は、トレーニングされたニューラルネットワークの全体的な精度を維持するために必要な臨界ニューロンの数(すなわち、高いスコアを持つ)を最小限に抑えるために、ソルバを駆動する。
  論文  参考訳（メタデータ） (2020-02-17T21:32:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。