論文の概要: Adaptive Norm-Based Regularization for Neural Networks

• arxiv url: http://arxiv.org/abs/2605.00171v1
• Date: Thu, 30 Apr 2026 19:43:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-04 17:43:28.727778
• Title: Adaptive Norm-Based Regularization for Neural Networks
• Title（参考訳）: 適応ノルムに基づくニューラルネットワークの正規化
• Authors: Muhammad Qasim, Farrukh Javed,
• Abstract要約: ニューラルネットワークのノルムベース正規化手法について検討する。 古典的なリッジ型およびラッソ型ペナルティをニューラルネットワークモデルに拡張する2つの正規化戦略を導入する。
• 参考スコア（独自算出の注目度）: 0.9167082845109437
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we study norm-based regularization methods for neural networks. We compare existing penalization approaches and introduce two regularization strategies that extend classical ridge- and lasso-type penalties to neural network models. The first strategy modifies weight decay by incorporating the covariance structure of the input features into a ridge-type $\ell_2$ penalty, allowing regularization to account for feature dependence. The second combines an $\ell_1$ sparsity penalty with covariance-aware $\ell_2$ regularization, producing neural network weights that are both sparse and structurally informed. Monte Carlo simulations are used to evaluate these methods under different data-generating settings, followed by two real-data applications on building cooling-load prediction and leukemia cell-type classification from high-dimensional gene expression data. Across simulated and real-data examples, the proposed regularizers improve predictive performance on unseen data and provide more effective complexity control than standard norm-based penalties, particularly when features are correlated or high-dimensional.
• Abstract（参考訳）: 本稿では,ニューラルネットワークの正規化手法について検討する。 既存のペナル化手法を比較し、古典的なリッジ型とラッソ型のペナルティをニューラルネットワークモデルに拡張する2つの正規化戦略を導入する。 第1の戦略は、入力特徴の共分散構造をリッジ型$\ell_2$ペナルティに組み込むことで重量減衰を修正し、特徴依存を考慮した正規化を可能にする。 2つ目は、$\ell_1$スパシティペナルティと共分散を意識した$\ell_2$正規化を組み合わせることで、スパースかつ構造的に通知されたニューラルネットワーク重みを生成する。 モンテカルロシミュレーションは、これらの手法を異なるデータ生成条件下で評価するために用いられ、続いて、冷却負荷予測の構築と高次元遺伝子発現データからの白血病細胞型分類における2つの実データ応用がある。 シミュレーションおよび実データの全例において、提案した正規化器は、非表示データの予測性能を改善し、特に特徴が相関あるいは高次元である場合に、標準標準法に基づく罰則よりもより効果的な複雑性制御を提供する。

関連論文リスト

• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  リッジ回帰に関する最近の結果について統一的な視点を提示する。 我々は、物理とディープラーニングの背景を持つ読者を対象に、ランダム行列理論と自由確率の基本的なツールを使用する。 我々の結果は拡張され、初期のスケーリング法則のモデルについて統一的な視点を提供する。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Provable Identifiability of Two-Layer ReLU Neural Networks via LASSO Regularization [15.517787031620864]
  LASSOの領域は、ファッショナブルで強力な非線形回帰モデルである2層ReLUニューラルネットワークに拡張される。 LASSO推定器はニューラルネットワークを安定的に再構築し,サンプル数が対数的にスケールする場合に$mathcalSstar$を識別可能であることを示す。 我々の理論は、2層ReLUニューラルネットワークのための拡張Restricted Isometry Property (RIP)ベースの分析フレームワークにある。
  論文  参考訳（メタデータ） (2023-05-07T13:05:09Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Neural Network Training Using $\ell_1$-Regularization and Bi-fidelity Data [0.0]
  高忠実度モデルからの小さなトレーニングデータセットのみが利用可能である場合、スペーサがニューラルネットワークのトレーニングに$ell_$-regularizationを促進させる効果について検討する。 本稿では,問題の低忠実度モデルから得られたデータを用いて訓練した同一ネットワークのパラメータから,$ell_$-regularizationの2つの変種について考察する。 これらのバイフィダリティ戦略は、大きな低フィダリティデータセットから学習したパラメータを使用して、小さな高フィダリティデータセットのためにネットワークを効率的にトレーニングするニューラルネットワークの転送学習の一般化である。
  論文  参考訳（メタデータ） (2021-05-27T08:56:17Z)
• Squared $\ell_2$ Norm as Consistency Loss for Leveraging Augmented Data to Learn Robust and Invariant Representations [76.85274970052762]
  元のサンプルと拡張されたサンプルの埋め込み/表現の距離を規則化することは、ニューラルネットワークの堅牢性を改善するための一般的なテクニックである。 本稿では、これらの様々な正規化選択について検討し、埋め込みの正規化方法の理解を深める。 私たちが特定したジェネリックアプローチ(squared $ell$ regularized augmentation)は、それぞれ1つのタスクのために特別に設計されたいくつかの手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-25T22:40:09Z)
• CASTLE: Regularization via Auxiliary Causal Graph Discovery [89.74800176981842]
  因果構造学習(CASTLE)の正規化を導入し,変数間の因果関係を共同学習することでニューラルネットワークの正規化を提案する。 CASTLEは因果的隣り合いを持つ因果的DAGの特徴のみを効率的に再構成する一方、再構成ベース正規化器は全ての入力特徴を過度に再構成する。
  論文  参考訳（メタデータ） (2020-09-28T09:49:38Z)
• Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
  重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。 そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:55:28Z)
• A generalized linear joint trained framework for semi-supervised learning of sparse features [4.511923587827301]
  弾性ネットは、最も広く使われている正規化アルゴリズムの一つである。 本稿では,一般化線形モデル推定の文脈におけるスパース特徴の半教師付き学習のための新しい解を提案する。
  論文  参考訳（メタデータ） (2020-06-02T14:44:48Z)
• Optimal Regularization Can Mitigate Double Descent [29.414119906479954]
  最適正則化を用いて二重発振現象を回避できるかどうかを検討した。 我々は、最適に調整された$ell$正規化が、ニューラルネットワークを含むより一般的なモデルの2重降下を可能にすることを実証的に実証した。
  論文  参考訳（メタデータ） (2020-03-04T05:19:09Z)
• Adaptive Correlated Monte Carlo for Contextual Categorical Sequence Generation [77.7420231319632]
  我々は,モンテカルロ (MC) ロールアウトの集合を分散制御のために評価する政策勾配推定器に,カテゴリー列の文脈的生成を適用する。 また,二分木ソフトマックスモデルに相関したMCロールアウトを用いることで,大語彙シナリオにおける高生成コストを低減できることを示す。
  論文  参考訳（メタデータ） (2019-12-31T03:01:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。