論文の概要: Explicit Regularisation in Gaussian Noise Injections

• arxiv url: http://arxiv.org/abs/2007.07368v6
• Date: Tue, 19 Jan 2021 16:41:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-10 13:57:37.329295
• Title: Explicit Regularisation in Gaussian Noise Injections
• Title（参考訳）: ガウスノイズ注入における明示的規則化
• Authors: Alexander Camuto, Matthew Willetts, Umut \c{S}im\c{s}ekli, Stephen Roberts, Chris Holmes
• Abstract要約: ガウスノイズインジェクション(GNI)によるニューラルネットワークの正規化の検討 GNIの明示的な正則化を導出する。 このような正規化は、大きな分類マージンを持つ校正分類器を生成することを分析的かつ実証的に示す。
• 参考スコア（独自算出の注目度）: 64.11680298737963
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the regularisation induced in neural networks by Gaussian noise injections (GNIs). Though such injections have been extensively studied when applied to data, there have been few studies on understanding the regularising effect they induce when applied to network activations. Here we derive the explicit regulariser of GNIs, obtained by marginalising out the injected noise, and show that it penalises functions with high-frequency components in the Fourier domain; particularly in layers closer to a neural network's output. We show analytically and empirically that such regularisation produces calibrated classifiers with large classification margins.
• Abstract（参考訳）: ガウスノイズインジェクション(GNI)によるニューラルネットワークの正規化について検討した。 このようなインジェクションは、データに適用する場合に広範囲に研究されてきたが、ネットワークアクティベーションに適用される際のレギュライゼーション効果を理解するための研究は少ない。 ここで、gnisの明示的な正則性が導出され、注入されたノイズをマージングすることで得られ、フーリエ領域において高周波成分を持つ関数、特にニューラルネットワークの出力に近い層をペナリスすることを示す。 このような正規化が大きな分類マージンを持つ校正分類器を生成することを示す。

関連論文リスト

• Sparse Variational Contaminated Noise Gaussian Process Regression with Applications in Geomagnetic Perturbations Forecasting [4.675221539472143]
  大規模なデータセットに正規ノイズが汚染されたスパースガウス過程回帰モデルを適用するためのスケーラブルな推論アルゴリズムを提案する。 提案手法は, 人工ニューラルネットワークベースラインと比較して, 類似のカバレッジと精度の予測間隔が短いことを示す。
  論文  参考訳（メタデータ） (2024-02-27T15:08:57Z)
• Feature Noise Boosts DNN Generalization under Label Noise [65.36889005555669]
  トレーニングデータにおけるラベルノイズの存在は、ディープニューラルネットワーク(DNN)の一般化に大きな影響を与える 本研究では,学習データの特徴に直接ノイズを付加する単純な特徴雑音法を,理論的に導入し,理論的に実証する。
  論文  参考訳（メタデータ） (2023-08-03T08:31:31Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• Explicit Regularization in Overparametrized Models via Noise Injection [14.492434617004932]
  簡単な有限次元モデルに対して、小さな摂動が明示的な正則化をもたらすことを示す。 実験により,小摂動がバニラ勾配降下訓練よりも一般化性能の向上につながることが示された。
  論文  参考訳（メタデータ） (2022-06-09T17:00:23Z)
• On the Inherent Regularization Effects of Noise Injection During Training [12.614901374282868]
  本稿では,学習データに人工雑音を注入することに対応する無作為摂動の一方法に関する理論的研究について述べる。 このようなランダム摂動学習問題の訓練と一般化誤差をランダム特徴モデル上で高精度に評価する。
  論文  参考訳（メタデータ） (2021-02-15T07:43:18Z)
• Asymmetric Heavy Tails and Implicit Bias in Gaussian Noise Injections [73.95786440318369]
  我々は、勾配降下(SGD)のダイナミクスに対する注射ノイズの影響であるGNIsのいわゆる暗黙効果に焦点を当てています。 この効果は勾配更新に非対称な重尾ノイズを誘発することを示す。 そして、GNIが暗黙のバイアスを引き起こすことを正式に証明し、これは尾の重みと非対称性のレベルによって異なる。
  論文  参考訳（メタデータ） (2021-02-13T21:28:09Z)
• Gravitational-wave selection effects using neural-network classifiers [0.0]
  我々は、コンパクトバイナリ・マージから重力波信号のLIGO/Virgo検出性を予測するために、一連のニューラルネットワーク分類器を訓練する。 スピン沈降、高次モード、複数検出器の影響を含める。 我々のアプローチは完全なパイプライン注入と併用できるので、天体物理学とノイズトリガーの実際の分布を重力波の人口分析に含めるための道を開くことができる。
  論文  参考訳（メタデータ） (2020-07-13T18:00:04Z)
• Shape Matters: Understanding the Implicit Bias of the Noise Covariance [76.54300276636982]
  勾配降下のノイズはパラメータ化モデルに対するトレーニングにおいて重要な暗黙の正則化効果をもたらす。 ミニバッチやラベルの摂動によって引き起こされるパラメータ依存ノイズはガウスノイズよりもはるかに効果的であることを示す。 分析の結果,パラメータ依存ノイズは局所最小値に偏りを生じさせるが,球状ガウス雑音は生じないことがわかった。
  論文  参考訳（メタデータ） (2020-06-15T18:31:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。