論文の概要: Variational Deep Learning via Implicit Regularization

• arxiv url: http://arxiv.org/abs/2505.20235v2
• Date: Fri, 26 Sep 2025 18:54:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 17:47:08.989426
• Title: Variational Deep Learning via Implicit Regularization
• Title（参考訳）: 帰納規則化による変分深層学習
• Authors: Jonathan Wenger, Beau Coker, Juraj Marusic, John P. Cunningham,
• Abstract要約: 現代のディープラーニングモデルは、過度にパラメータ化され、明示的な正規化をほとんど、あるいは全く行わずに訓練されているにもかかわらず、非常によく分布する。 本稿では,(確率的な)勾配勾配の暗黙バイアスにのみ依存して,変分ニューラルネットワークの正規化を提案する。
• 参考スコア（独自算出の注目度）: 11.296548737163599
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern deep learning models generalize remarkably well in-distribution, despite being overparametrized and trained with little to no explicit regularization. Instead, current theory credits implicit regularization imposed by the choice of architecture, hyperparameters and optimization procedure. However, deep neural networks can be surprisingly non-robust, resulting in overconfident predictions and poor out-of-distribution generalization. Bayesian deep learning addresses this via model averaging, but typically requires significant computational resources as well as carefully elicited priors to avoid overriding the benefits of implicit regularization. Instead, in this work, we propose to regularize variational neural networks solely by relying on the implicit bias of (stochastic) gradient descent. We theoretically characterize this inductive bias in overparametrized linear models as generalized variational inference and demonstrate the importance of the choice of parametrization. Empirically, our approach demonstrates strong in- and out-of-distribution performance without additional hyperparameter tuning and with minimal computational overhead.
• Abstract（参考訳）: 現代のディープラーニングモデルは、過度にパラメータ化され、明示的な正規化をほとんど、あるいは全く行わずに訓練されているにもかかわらず、非常によく分布する。 代わりに、現在の理論はアーキテクチャ、ハイパーパラメータ、最適化手順の選択によって課される暗黙の正規化を信用している。 しかし、ディープニューラルネットワークは驚くほど非破壊的であり、過信的な予測と配布外一般化の貧弱な結果をもたらす。 ベイジアンディープラーニングは、モデル平均化によってこの問題に対処するが、暗黙の正則化の利点を過度に無視するためには、典型的には重要な計算資源だけでなく、慎重に事前を抽出する必要がある。 その代わり、本研究では、(確率的な)勾配勾配の暗黙バイアスに頼るだけで変分ニューラルネットワークを正規化することを提案する。 過度にパラメータ化された線形モデルにおけるこの帰納バイアスを一般化された変分推論として特徴づけ、パラメータ化の選択の重要性を実証する。 提案手法は,高パラメータチューニングを必要とせず,計算オーバーヘッドも最小限に抑えながら,イン・オブ・アウト・オブ・ディストリビューション性能を実証する。

関連論文リスト

• Deep Equilibrium models for Poisson Imaging Inverse problems via Mirror Descent [7.248102801711294]
  ディープ平衡モデル(Deep Equilibrium Models、DEQ)は、固定点を持つ暗黙のニューラルネットワークである。 我々は、非ユークリッド幾何学の仕方で定義されるミラー・ディクセントに基づく新しいDEC式を導入する。 本稿では,効率的なトレーニングと完全パラメータフリー推論が可能な計算戦略を提案する。
  論文  参考訳（メタデータ） (2025-07-15T16:33:01Z)
• Conflicting Biases at the Edge of Stability: Norm versus Sharpness Regularization [12.58055746943097]
  我々は、勾配降下の一般化性能を包括的に理解するには、これらの様々な形態の暗黙正則化の間の相互作用を分析する必要があると論じる。 単純な回帰タスクで訓練された対角線ネットワークに対して、暗黙バイアスだけでは一般化誤差を最小化しないことを示す。
  論文  参考訳（メタデータ） (2025-05-27T16:51:06Z)
• Towards Understanding the Optimization Mechanisms in Deep Learning [5.281849820329249]
  本稿では,ディープニューラルネットワークを用いた教師付き分類のメカニズムを探るため,分布推定の観点を採用する。 後者では、オーバー・アンド・確率ランダム化のようなメカニズムに関する理論的洞察を提供する。
  論文  参考訳（メタデータ） (2025-03-29T08:46:13Z)
• Adaptive Conformal Inference by Betting [51.272991377903274]
  データ生成プロセスについて仮定することなく適応型共形推論の問題を考察する。 適応型共形推論のための既存のアプローチは、オンライン勾配勾配の変種を用いたピンボール損失の最適化に基づいている。 本稿では,パラメータフリーなオンライン凸最適化手法を利用した適応型共形推論手法を提案する。
  論文  参考訳（メタデータ） (2024-12-26T18:42:08Z)
• Generalized Gaussian Temporal Difference Error for Uncertainty-aware Reinforcement Learning [0.19418036471925312]
  深部強化学習における一般化されたガウス誤差モデリングのための新しい枠組みを提案する。 我々はデータ依存型アレタリック不確実性の推定と緩和を改善する。 ポリシー勾配アルゴリズムによる実験は、大幅な性能向上を示す。
  論文  参考訳（メタデータ） (2024-08-05T08:12:25Z)
• Bayesian Inference for Consistent Predictions in Overparameterized Nonlinear Regression [0.0]
  本研究では,ベイズフレームワークにおける過パラメータ化非線形回帰の予測特性について検討した。 リプシッツ連続活性化関数を持つ一般化線形および単一ニューロンモデルに対して後部収縮が成立する。 提案手法は数値シミュレーションと実データアプリケーションを用いて検証した。
  論文  参考訳（メタデータ） (2024-04-06T04:22:48Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• Bayesian Nonparametrics Meets Data-Driven Distributionally Robust Optimization [29.24821214671497]
  機械学習と統計モデルのトレーニングは、しばしばデータ駆動型リスク基準の最適化を伴う。 ベイズ的非パラメトリック(ディリクレ過程)理論と、スムーズなあいまいさ-逆選好の最近の決定論的モデルを組み合わせた、新しいロバストな基準を提案する。 実用的な実装として、よく知られたディリクレプロセスの表現に基づいて、評価基準の抽出可能な近似を提案し、研究する。
  論文  参考訳（メタデータ） (2024-01-28T21:19:15Z)
• Function-Space Regularization in Neural Networks: A Probabilistic Perspective [51.133793272222874]
  所望の予測関数に関する情報をニューラルネットワークトレーニングに明示的にエンコードできる、モチベーションの高い正規化手法を導出できることが示される。 本手法の有効性を実証的に評価し,提案手法がほぼ完全なセマンティックシフト検出と高度に校正された予測不確実性推定に繋がることを示す。
  論文  参考訳（メタデータ） (2023-12-28T17:50:56Z)
• Scalable Bayesian Meta-Learning through Generalized Implicit Gradients [64.21628447579772]
  Inlicit Bayesian Meta-learning (iBaML) 法は、学習可能な事前のスコープを広げるだけでなく、関連する不確実性も定量化する。 解析誤差境界は、明示的よりも一般化された暗黙的勾配の精度と効率を示すために確立される。
  論文  参考訳（メタデータ） (2023-03-31T02:10:30Z)
• The Unreasonable Effectiveness of Deep Evidential Regression [72.30888739450343]
  不確実性を考慮した回帰ベースニューラルネットワーク(NN)による新しいアプローチは、従来の決定論的手法や典型的なベイズ的NNよりも有望であることを示している。 我々は、理論的欠点を詳述し、合成および実世界のデータセットのパフォーマンスを分析し、Deep Evidential Regressionが正確な不確実性ではなく定量化であることを示す。
  論文  参考訳（メタデータ） (2022-05-20T10:10:32Z)
• Squared $\ell_2$ Norm as Consistency Loss for Leveraging Augmented Data to Learn Robust and Invariant Representations [76.85274970052762]
  元のサンプルと拡張されたサンプルの埋め込み/表現の距離を規則化することは、ニューラルネットワークの堅牢性を改善するための一般的なテクニックである。 本稿では、これらの様々な正規化選択について検討し、埋め込みの正規化方法の理解を深める。 私たちが特定したジェネリックアプローチ(squared $ell$ regularized augmentation)は、それぞれ1つのタスクのために特別に設計されたいくつかの手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-25T22:40:09Z)
• Revisiting Explicit Regularization in Neural Networks for Well-Calibrated Predictive Uncertainty [6.09170287691728]
  本研究では, 予測の不確かさを明確化するために, 明示的な正則化の重要性を再考する。 本稿では,ログ類似度が低いキャリブレーション性能の尺度を提案する。 次に、未確認サンプルのログ類似性を改善するための明示的な正規化手法を探索し、よく校正された予測の不確実性を提供する。
  論文  参考訳（メタデータ） (2020-06-11T13:14:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。