論文の概要: OUIDecay: Adaptive Layer-wise Weight Decay for CNNs Using Online Activation Patterns

• arxiv url: http://arxiv.org/abs/2605.10161v1
• Date: Mon, 11 May 2026 08:08:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.627363
• Title: OUIDecay: Adaptive Layer-wise Weight Decay for CNNs Using Online Activation Patterns
• Title（参考訳）: OUIDecay: オンラインアクティベーションパターンを用いたCNNのアダプティブレイヤワイドウェイトダウン
• Authors: Alberto Fernández-Hernández, Jose I. Mestre, Cristian Pérez-Corral, Manuel F. Dolz, Jose Duato, Enrique S. Quintana-Ortí,
• Abstract要約: We propose OUIDecay, a adapt layer-wise and time-dependent weight decay scheduler for CNNs driven by the Overfitting-Underfitting Indicator (OUI)。 OUIDecayは、OUIの軽量バッチベースの定式化を使用して、各レイヤの構造挙動をオンラインで監視し、ネットワーク内の他のレイヤと比較して、その重量減衰を定期的に再スケールする。
• 参考スコア（独自算出の注目度）: 1.0518862318418603
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Weight decay remains one of the most widely used regularization mechanisms for training convolutional neural networks, yet it is still commonly applied as a fixed coefficient shared by all layers throughout training. This uniform treatment ignores that different layers may follow different structural dynamics and therefore may require different regularization strengths. In this work, we propose OUIDecay, an adaptive layer-wise and time-dependent weight decay scheduler for CNNs driven by the Overfitting-Underfitting Indicator (OUI), an activation-based metric previously shown to provide early information about regularization quality. OUIDecay uses a lightweight batch-based formulation of OUI to monitor the structural behavior of each layer online and periodically rescales its weight decay relative to the other layers in the network. Unlike gradient-based adaptive decay methods, our approach relies on functional information extracted from activation patterns and does not require validation data. Experiments on EfficientNet-B0 with Stanford Cars, ResNet50 with Food101, DenseNet121 with CIFAR100, and MobileNetV2 with CIFAR10 show that OUIDecay achieves the best mean best-validation-loss in 7 out of 8 evaluated settings. These results indicate that activation-driven weight decay adaptation is a practical and effective alternative to fixed decay and gradient-based adaptive decay, while keeping the method lightweight and suitable for online use.
• Abstract（参考訳）: 重崩壊は、畳み込みニューラルネットワークのトレーニングにおいて最も広く使われている正規化機構の1つだが、トレーニングを通して全ての層が共有する固定係数として一般的に用いられる。 この均一な処理は、異なる層が異なる構造力学に従うことができ、従って異なる正規化強度を必要とする可能性があることを無視する。 そこで本研究では,OUI(Overfitting-Underfitting Indicator)によって駆動されるCNNの適応層ワイドおよび時間依存性の減量スケジューラであるOUIDecayを提案する。 OUIDecayは、OUIの軽量バッチベースの定式化を使用して、各レイヤの構造挙動をオンラインで監視し、ネットワーク内の他のレイヤと比較して、その重量減衰を定期的に再スケールする。 勾配に基づく適応減衰法とは異なり、本手法はアクティベーションパターンから抽出した関数情報に依存し、検証データを必要としない。 Stanford CarsによるEfficientNet-B0、Food101によるResNet50、CIFAR100によるDenseNet121、CIFAR10によるMobileNetV2の実験では、OUIDecayが評価された8つの設定のうち7つの中で最高の平均バリデーション損失を達成したことが示されている。 これらの結果から, アクティベーション駆動の重み減衰適応は, オンライン利用に適した方法を維持しつつ, 固定減衰と勾配に基づく適応減衰の代替として実用的で効果的な方法であることが示唆された。

関連論文リスト

• Neural Network Optimization Reimagined: Decoupled Techniques for Scratch and Fine-Tuning [49.751529745537546]
  我々はDualOptを提案する。DualOptは、スクラッチからトレーニングに適した最適化技術を分離する新しいアプローチである。 スクラッチからのトレーニングでは、収束と一般化の両面を強化するために設計されたリアルタイムな層ワイド・ウェイト・デポジットを導入する。 我々は、異なる下流タスクの様々な要求に適応して、レイヤ単位の重量減衰を拡張して、レイヤ間のロールバックレベルを動的に調整する。
  論文  参考訳（メタデータ） (2026-04-21T06:27:18Z)
• FedNAR: Federated Optimization with Normalized Annealing Regularization [54.42032094044368]
  ウェイト崩壊の選択を探索し、ウェイト崩壊値が既存のFLアルゴリズムの収束に有意な影響を及ぼすことを確かめる。 我々は,既存のFLアルゴリズムにシームレスに統合可能なプラグインであるFederated Optimization with Normalized Annealing Regularization (FedNAR)を開発した。
  論文  参考訳（メタデータ） (2023-10-04T21:11:40Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• PathProx: A Proximal Gradient Algorithm for Weight Decay Regularized Deep Neural Networks [25.114642281756495]
  ウェイト崩壊(Weight decay)は、ディープラーニングにおいて最も広く使われている正規化形式の一つである。 本稿では、勾配勾配勾配は、この目的に対して非効率なアルゴリズムであると主張している。 ReLUアクティベーションを持つニューラルネットワークの場合、重み劣化対象に対する解は異なる目的の解と等価である。
  論文  参考訳（メタデータ） (2022-10-06T17:22:40Z)
• BiTAT: Neural Network Binarization with Task-dependent Aggregated Transformation [116.26521375592759]
  量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。 コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。 本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
  論文  参考訳（メタデータ） (2022-07-04T13:25:49Z)
• FixNorm: Dissecting Weight Decay for Training Deep Neural Networks [7.820667552233989]
  本研究では,2つのメカニズムを直接制御するFixNormという新しいトレーニング手法を提案する。 ImageNet分類タスクでは、FixNormによるEfficientNet-B0のトレーニングは77.7%を達成し、元のベースラインを明確なマージンで上回る。
  論文  参考訳（メタデータ） (2021-03-29T05:41:56Z)
• Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
  重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。 そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:55:28Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。