論文の概要: DFReg: A Physics-Inspired Framework for Global Weight Distribution Regularization in Neural Networks
- arxiv url: http://arxiv.org/abs/2507.00101v1
- Date: Mon, 30 Jun 2025 14:08:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-03 14:22:58.44394
- Title: DFReg: A Physics-Inspired Framework for Global Weight Distribution Regularization in Neural Networks
- Title（参考訳）: DFReg: ニューラルネットワークにおけるグローバルな重み分布規則化のための物理に着想を得たフレームワーク
- Authors: Giovanni Ruggieri,
- Abstract要約: 我々は、重みのグローバル分布で動作するディープニューラルネットワークの物理に着想を得た正規化手法であるDFRegを紹介する。
ドロップアウトやL2崩壊といった従来の手法とは異なり、DFRegはアーキテクチャの変更や摂動を伴わずに、グローバルな構造規則を課している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce DFReg, a physics-inspired regularization method for deep neural networks that operates on the global distribution of weights. Drawing from Density Functional Theory (DFT), DFReg applies a functional penalty to encourage smooth, diverse, and well-distributed weight configurations. Unlike traditional techniques such as Dropout or L2 decay, DFReg imposes global structural regularity without architectural changes or stochastic perturbations.
- Abstract（参考訳）: 我々は、重みのグローバル分布で動作するディープニューラルネットワークの物理に着想を得た正規化手法であるDFRegを紹介する。
密度汎関数理論 (DFT) から引き出された DFReg は、スムーズで多様性があり、よく分散された重量構成を促進するために機能的ペナルティを適用している。
ドロップアウトやL2崩壊のような従来の手法とは異なり、DFRegは構造的変化や確率的摂動を伴わずに、グローバルな構造的規則性を課している。
関連論文リスト
- Precise gradient descent training dynamics for finite-width multi-layer neural networks [8.057006406834466]
一般多層ニューラルネットワークにおける勾配降下繰り返しの正確な分布解析を行った。
我々の非漸近状態進化理論は、第一層重みのガウス的ゆらぎと深層重みの集中を捉えている。
論文 参考訳（メタデータ） (2025-05-08T02:19:39Z) - Optimization and Generalization Guarantees for Weight Normalization [19.965963460750206]
我々は、Deep WeightNormモデルの最適化と一般化の双方について、最初の理論的特徴付けを提供する。
本稿では,WeightNormネットワークのトレーニングに正規化項などの理論的関心が関係していることを示す実験結果を示す。
論文 参考訳（メタデータ） (2024-09-13T15:55:05Z) - Generalization of Scaled Deep ResNets in the Mean-Field Regime [55.77054255101667]
無限深度および広帯域ニューラルネットワークの限界におけるエンスケールResNetについて検討する。
この結果から,遅延学習体制を超えた深層ResNetの一般化能力に関する新たな知見が得られた。
論文 参考訳（メタデータ） (2024-03-14T21:48:00Z) - FedNAR: Federated Optimization with Normalized Annealing Regularization [54.42032094044368]
ウェイト崩壊の選択を探索し、ウェイト崩壊値が既存のFLアルゴリズムの収束に有意な影響を及ぼすことを確かめる。
我々は,既存のFLアルゴリズムにシームレスに統合可能なプラグインであるFederated Optimization with Normalized Annealing Regularization (FedNAR)を開発した。
論文 参考訳（メタデータ） (2023-10-04T21:11:40Z) - From NeurODEs to AutoencODEs: a mean-field control framework for
width-varying Neural Networks [68.8204255655161]
本稿では,動的に駆動する制御フィールドをベースとした,AutoencODEと呼ばれる新しいタイプの連続時間制御システムを提案する。
損失関数が局所凸な領域では,多くのアーキテクチャが復元可能であることを示す。
論文 参考訳（メタデータ） (2023-07-05T13:26:17Z) - Machine learning in and out of equilibrium [58.88325379746631]
我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。
我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。
本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
論文 参考訳（メタデータ） (2023-06-06T09:12:49Z) - Improve Generalization and Robustness of Neural Networks via Weight
Scale Shifting Invariant Regularizations [52.493315075385325]
重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。
そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
論文 参考訳（メタデータ） (2020-08-07T02:55:28Z) - Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。
Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文 参考訳（メタデータ） (2020-04-20T18:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。