論文の概要: PerNodeDrop: A Method Balancing Specialized Subnets and Regularization in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2512.12663v1
• Date: Sun, 14 Dec 2025 12:26:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-16 17:54:56.370493
• Title: PerNodeDrop: A Method Balancing Specialized Subnets and Regularization in Deep Neural Networks
• Title（参考訳）: PerNodeDrop: ディープニューラルネットワークにおける特別なサブネットと正規化のバランスをとる方法
• Authors: Gelesh G Omathil, Sreeja CS,
• Abstract要約: PerNodeDropはディープニューラルネットワークのための軽量な正規化手法である。 既存の手法で注入されたノイズの均一性を破るために、サンプルごと、ノードごとの摂動を適用している。 正則化を適用しながら、有用な共適応を保っている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks possess strong representational capacity yet remain vulnerable to overfitting, primarily because neurons tend to co-adapt in ways that, while capturing complex and fine-grained feature interactions, also reinforce spurious and non-generalizable patterns that inflate training performance but reduce reliability on unseen data. Noise-based regularizers such as Dropout and DropConnect address this issue by injecting stochastic perturbations during training, but the noise they apply is typically uniform across a layer or across a batch of samples, which can suppress both harmful and beneficial co-adaptation. This work introduces PerNodeDrop, a lightweight stochastic regularization method. It applies per-sample, per-node perturbations to break the uniformity of the noise injected by existing techniques, thereby allowing each node to experience input-specific variability. Hence, PerNodeDrop preserves useful co-adaptation while applying regularization. This narrows the gap between training and validation performance and improves reliability on unseen data, as evident from the experiments. Although superficially similar to DropConnect, PerNodeDrop operates at the sample level. It drops weights at the sample level, not the batch level. An expected-loss analysis formalizes how its perturbations attenuate excessive co-adaptation while retaining predictive interactions. Empirical evaluations on vision, text, and audio benchmarks indicate improved generalization relative to the standard noise-based regularizer.
• Abstract（参考訳）: ディープニューラルネットワークは、強い表現能力を持つが、オーバーフィッティングには弱い。主にニューロンは、複雑できめ細かい特徴の相互作用を捉えながら、訓練性能を向上するが、目に見えないデータに対する信頼性を低下させる、刺激的で一般化不可能なパターンを補強する、という方法で共適応する傾向がある。 DropoutやDropConnectのようなノイズベースの正規化器は、トレーニング中に確率的摂動を注入することでこの問題に対処するが、それらが適用するノイズは、通常、レイヤやサンプルのバッチにわたって均一であり、有害かつ有益な共適応を抑えることができる。 この研究は、軽量確率正規化法であるPerNodeDropを導入している。 既存の手法によって注入されたノイズの均一性を損なうために、サンプルごと、ノードごとの摂動を適用し、各ノードが入力固有の変動を経験できるようにする。 したがって、PerNodeDropは、正規化を適用しながら有用な共適応を保存する。 これにより、トレーニングと検証パフォーマンスのギャップが狭まり、実験から明らかなように、目に見えないデータの信頼性が向上する。 表面的にはDropConnectに似ているが、PerNodeDropはサンプルレベルで動作している。 バッチレベルではなく、サンプルレベルで重みを落とします。 予測損失分析(英語版)は、その摂動が予測的相互作用を維持しながら過度の共適応を弱めるかを形式化する。 視覚、テキスト、音声のベンチマークに関する経験的評価は、標準ノイズベース正規化器に対する一般化の改善を示している。

関連論文リスト

• Analytic theory of dropout regularization [4.939584372342451]
  ドロップアウト(Dropout)は、ニューラルネットワークのトレーニングに広く使用されている正規化技術である。 オンライン勾配降下法を訓練した2層ニューラルネットワークにおけるドロップアウトを解析的に研究した。
  論文  参考訳（メタデータ） (2025-05-12T17:45:02Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• How adversarial attacks can disrupt seemingly stable accurate classifiers [76.95145661711514]
  敵攻撃は、入力データに不連続な修正を加えることで、非正確な学習システムの出力を劇的に変化させる。 ここでは,これは高次元入力データを扱う分類器の基本的特徴であると考えられる。 実用システムで観測される重要な振る舞いを高い確率で発生させる、単純で汎用的なフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-09-07T12:02:00Z)
• Dynamic Adaptive Threshold based Learning for Noisy Annotations Robust Facial Expression Recognition [3.823356975862006]
  ノイズの多いアノテーションを扱うための動的FER学習フレームワーク(DNFER)を提案する。 具体的には、DNFERは、選択されたクリーンサンプルを使用した教師ありトレーニングと、すべてのサンプルを使用した教師なし一貫性のあるトレーニングに基づいている。 我々は,RAFDB,FERPlus,SFEW,AffectNetなどの実雑音付きFERデータセットに対して,DNFERの堅牢性を示す。
  論文  参考訳（メタデータ） (2022-08-22T12:02:41Z)
• Robust Training under Label Noise by Over-parameterization [41.03008228953627]
  本稿では,トレーニングラベルの比率が低下した分類タスクにおいて,過パラメータ化深層ネットワークの堅牢なトレーニングを行うための原則的手法を提案する。 ラベルノイズはクリーンデータから学んだネットワークと疎結合なので、ノイズをモデル化してデータから分離することを学びます。 注目すべきは、このような単純な手法を用いて訓練を行う場合、様々な実データに対してラベルノイズに対する最先端のテスト精度を示すことである。
  論文  参考訳（メタデータ） (2022-02-28T18:50:10Z)
• Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks [86.42889611784855]
  正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる 本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。 実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
  論文  参考訳（メタデータ） (2021-10-05T11:36:25Z)
• Jo-SRC: A Contrastive Approach for Combating Noisy Labels [58.867237220886885]
  Jo-SRC (Joint Sample Selection and Model Regularization based on Consistency) というノイズロバスト手法を提案する。 具体的には、対照的な学習方法でネットワークをトレーニングする。 各サンプルの2つの異なるビューからの予測は、クリーンまたは分布不足の「可能性」を推定するために使用されます。
  論文  参考訳（メタデータ） (2021-03-24T07:26:07Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。