論文の概要: Dropout Regularization in Extended Generalized Linear Models based on Double Exponential Families

• arxiv url: http://arxiv.org/abs/2305.06625v1
• Date: Thu, 11 May 2023 07:54:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-12 15:39:09.495616
• Title: Dropout Regularization in Extended Generalized Linear Models based on Double Exponential Families
• Title（参考訳）: 二重指数ファミリに基づく拡張一般化線形モデルにおけるドロップアウト規則化
• Authors: Benedikt L\"utke Schwienhorst, Lucas Kock, David J. Nott and Nadja Klein
• Abstract要約: 二重指数族に基づく拡張一般化線形モデルにおけるドロップアウト正則化について検討する。 理論解析により、ドロップアウト正則化は平均値と分散値の両方において稀だが重要な特徴を好むことが示された。 平均および分散パラメータの正則化の有効な形態として,ドロップアウトが有効であることを実験で確認した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Even though dropout is a popular regularization technique, its theoretical properties are not fully understood. In this paper we study dropout regularization in extended generalized linear models based on double exponential families, for which the dispersion parameter can vary with the features. A theoretical analysis shows that dropout regularization prefers rare but important features in both the mean and dispersion, generalizing an earlier result for conventional generalized linear models. Training is performed using stochastic gradient descent with adaptive learning rate. To illustrate, we apply dropout to adaptive smoothing with B-splines, where both the mean and dispersion parameters are modelled flexibly. The important B-spline basis functions can be thought of as rare features, and we confirm in experiments that dropout is an effective form of regularization for mean and dispersion parameters that improves on a penalized maximum likelihood approach with an explicit smoothness penalty.
• Abstract（参考訳）: ドロップアウトは一般的な正規化手法であるが、理論的性質は完全には理解されていない。 本稿では,2重指数関数族に基づく拡張一般化線形モデルにおける分散パラメータが特徴量に応じて変化するようなドロップアウト正規化について検討する。 理論解析により、ドロップアウト正則化は平均と分散の両方において稀だが重要な特徴を好んでおり、従来の一般化された線形モデルの初期結果を一般化している。 適応学習率の確率勾配降下を用いて訓練を行う。 本研究では,bスプラインを用いた適応平滑化にドロップアウトを適用し,平均パラメータと分散パラメータを柔軟にモデル化する。 重要なB-スプライン基底関数は稀な特徴とみなすことが可能であり, 偏差パラメータの正則化の有効な形態であることを示す実験において, 明らかに滑らかなペナルティを伴い, ペナルティ化された最大可能性アプローチを改善する。

関連論文リスト

• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• A U-turn on Double Descent: Rethinking Parameter Counting in Statistical Learning [68.76846801719095]
  二重降下がいつどこで起こるのかを正確に示し、その位置が本質的に閾値 p=n に結び付けられていないことを示す。 これは二重降下と統計的直観の間の緊張を解消する。
  論文  参考訳（メタデータ） (2023-10-29T12:05:39Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Amortized backward variational inference in nonlinear state-space models [0.0]
  変分推論を用いた一般状態空間モデルにおける状態推定の問題点を考察する。 仮定を混合することにより、加法的状態汎関数の期待の変動近似が、観測数において最も直線的に増加する誤差を誘導することを初めて確立した。
  論文  参考訳（メタデータ） (2022-06-01T08:35:54Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Estimating Linear Mixed Effects Models with Truncated Normally Distributed Random Effects [5.4052819252055055]
  ランダム効果の正規分布を仮定した場合、最大極大アプローチを用いて推論を行うことができる。 本稿では、古典的(制約のない)LMEモデルを拡張し、その全体係数の符号制約を許容する。
  論文  参考訳（メタデータ） (2020-11-09T16:17:35Z)
• Flexible mean field variational inference using mixtures of non-overlapping exponential families [6.599344783327053]
  標準平均場変動推論を用いることで、疎性誘導前のモデルに対して妥当な結果が得られないことを示す。 拡散指数族と 0 の点質量の任意の混合が指数族を形成することを示す。
  論文  参考訳（メタデータ） (2020-10-14T01:46:56Z)
• Multiple Descent: Design Your Own Generalization Curve [46.47831396167738]
  一般化曲線は任意の数のピークを持つことができ、さらにそれらのピークの位置を明示的に制御できることを示す。 この結果は、古典的なU字型一般化曲線と最近観測された2重降下曲線の両方がモデル族固有の性質ではないという事実を強調した。
  論文  参考訳（メタデータ） (2020-08-03T17:22:21Z)
• Robust model training and generalisation with Studentising flows [22.757298187704745]
  本稿では、ロバストな(特に耐性のある)統計からの洞察に基づいて、これらの手法をさらに改善する方法について論じる。 本稿では, ガウス分布の簡易なドロップイン置換として, 太い尾の潜伏分布を持つフローベースモデルを提案する。 いくつかの異なるデータセットの実験により、提案手法の有効性が確認された。
  論文  参考訳（メタデータ） (2020-06-11T16:47:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。