論文の概要: Dropout Neural Network Training Viewed from a Percolation Perspective

• arxiv url: http://arxiv.org/abs/2512.13853v1
• Date: Mon, 15 Dec 2025 19:39:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-17 16:49:26.471673
• Title: Dropout Neural Network Training Viewed from a Percolation Perspective
• Title（参考訳）: パーコレーションの観点から見たドロップアウトニューラルネットワークトレーニング
• Authors: Finley Devlin, Jaron Sanders,
• Abstract要約: 降雨を伴う深層ニューラルネットワーク(NN)のトレーニングにおけるパーコレーションの存在と効果について検討した。 我々は,このパーコレーション効果が,降雨によるバイアスを伴わずにNNを訓練する際の破壊を引き起こすことを示した。 この分解は、偏見のあるNNにも及んでいると我々は主張する。
• 参考スコア（独自算出の注目度）: 0.26763498831034044
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we investigate the existence and effect of percolation in training deep Neural Networks (NNs) with dropout. Dropout methods are regularisation techniques for training NNs, first introduced by G. Hinton et al. (2012). These methods temporarily remove connections in the NN, randomly at each stage of training, and update the remaining subnetwork with Stochastic Gradient Descent (SGD). The process of removing connections from a network at random is similar to percolation, a paradigm model of statistical physics. If dropout were to remove enough connections such that there is no path between the input and output of the NN, then the NN could not make predictions informed by the data. We study new percolation models that mimic dropout in NNs and characterise the relationship between network topology and this path problem. The theory shows the existence of a percolative effect in dropout. We also show that this percolative effect can cause a breakdown when training NNs without biases with dropout; and we argue heuristically that this breakdown extends to NNs with biases.
• Abstract（参考訳）: 本研究では,降雨を伴う深層ニューラルネットワーク(NN)のトレーニングにおけるパーコレーションの存在と効果について検討する。 ドロップアウト(Dropout)とは、G. Hinton et al (2012)が最初に導入したNNの正規化手法である。 これらの方法は、トレーニングの各段階でNN内の接続を一時的に削除し、残りのサブネットワークをStochastic Gradient Descent (SGD)で更新する。 ネットワークからランダムに接続を取り除くプロセスは、統計物理学のパラダイムモデルであるパーコレーションに似ている。 もしドロップアウトが、NNの入力と出力の間に経路がないような十分な接続を除去するならば、NNはデータから情報を得ることはできない。 NNにおけるドロップアウトを模倣する新しいパーコレーションモデルについて検討し,ネットワークトポロジと経路問題との関係を特徴付ける。 この理論は、ドロップアウトにパーコレーション効果が存在することを示している。 また、このパーコレーション効果は、落差のないNNをトレーニングする際にも破壊を引き起こす可能性があることを示し、この破壊がバイアスのあるNNにまで及ぶことをヒューリスティックに論じる。

関連論文リスト

• NeuFair: Neural Network Fairness Repair with Dropout [19.49034966552718]
  本稿では,ディープニューラルネットワーク(DNN)における後処理バイアス緩和としてのニューロンのドロップアウトについて検討する。 ランダム化アルゴリズムの設計は, モデルの性能劣化を最小限に抑えつつ, 公平性(最大69%)を向上させるのに効果的であり, 効率的であることを示す。
  論文  参考訳（メタデータ） (2024-07-05T05:45:34Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Information Bottleneck Analysis of Deep Neural Networks via Lossy Compression [37.69303106863453]
  Information Bottleneck(IB)原則は、ディープニューラルネットワーク(DNN)のトレーニングプロセスを分析するための情報理論フレームワークを提供する。 本稿では,一般NNのICB解析を行うためのフレームワークを提案する。 また,MI力学の新たな特徴を明らかにするため,実規模に近いISB解析を行う。
  論文  参考訳（メタデータ） (2023-05-13T21:44:32Z)
• Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
  ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。 緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T18:59:38Z)
• Neuron-Specific Dropout: A Deterministic Regularization Technique to Prevent Neural Networks from Overfitting & Reduce Dependence on Large Training Samples [0.0]
  NSDropoutは、モデルのレイヤのトレーニングパスとバリデーションパスの両方を調べます。 データセット内の各クラスのニューロンが生成する平均値を比較することで、ネットワークはターゲットユニットをドロップすることができる。 レイヤは、バリデーションからサンプルを見る際に存在しない、テスト中にモデルが見ている機能やノイズを予測することができる。
  論文  参考訳（メタデータ） (2022-01-13T13:10:30Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• A Bayesian Neural Network based on Dropout Regulation [0.0]
  本稿では,自動学習に用いるコントローラを用いて,トレーニング中のドロップアウト率を自動的に調整する "Dropout Regulation" (DR) を提案する。 DRは、実装がシンプルでありながら、最先端技術に匹敵する不確実性を正確に見積もることができる。
  論文  参考訳（メタデータ） (2021-02-03T09:39:50Z)
• Bayesian Nested Neural Networks for Uncertainty Calibration and Adaptive Compression [40.35734017517066]
  ネストネットワーク(Nested Network)またはスリムブルネットワーク(Slimmable Network)は、テスト期間中にアーキテクチャを即座に調整できるニューラルネットワークである。 最近の研究は、トレーニング中に重要なレイヤのノードを順序付けできる"ネストされたドロップアウト"層に焦点を当てている。
  論文  参考訳（メタデータ） (2021-01-27T12:34:58Z)
• Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
  破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。 本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。 私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
  論文  参考訳（メタデータ） (2020-12-10T22:30:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。