論文の概要: Understanding Generalization in the Interpolation Regime using the Rate Function

• arxiv url: http://arxiv.org/abs/2306.10947v1
• Date: Mon, 19 Jun 2023 14:07:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-21 17:38:43.681357
• Title: Understanding Generalization in the Interpolation Regime using the Rate Function
• Title（参考訳）: 率関数を用いた補間規則の一般化の理解
• Authors: Andr\'es R. Masegosa and Luis A. Ortega
• Abstract要約: 滑らかさは単純な実数値関数によって記述できることを示す。 本稿では, 補間器の一般化が極めて良好である理由について, 統一的な理論的説明を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In this paper, we present a novel characterization of the smoothness of a model based on basic principles of Large Deviation Theory. In contrast to prior work, where the smoothness of a model is normally characterized by a real value (e.g., the weights' norm), we show that smoothness can be described by a simple real-valued function. Based on this concept of smoothness, we propose an unifying theoretical explanation of why some interpolators generalize remarkably well and why a wide range of modern learning techniques (i.e., stochastic gradient descent, $\ell_2$-norm regularization, data augmentation, invariant architectures, and overparameterization) are able to find them. The emergent conclusion is that all these methods provide complimentary procedures that bias the optimizer to smoother interpolators, which, according to this theoretical analysis, are the ones with better generalization error.
• Abstract（参考訳）: 本稿では,大偏差理論の基本原理に基づくモデルの滑らかさの新たな評価法を提案する。 従来の研究とは対照的に、モデルの滑らかさは通常実値(例えば重みのノルム)によって特徴づけられるが、滑らかさは単純な実数値関数によって記述できることを示す。 この平滑性の概念に基づき、いくつかの補間器が著しくよく一般化する理由と、それらを見つけることができる広範囲の現代の学習技術(確率的勾配降下、$\ell_2$-norm正規化、データ拡張、不変アーキテクチャ、および過パラメータ)の統一的な理論的説明を提案する。 創発的な結論は、これらの手法はすべてオプティマイザをより滑らかな補間器に偏らせる補完的手順を提供しており、この理論解析によれば、より一般化誤差のある方法である。

関連論文リスト

• Topological Generalization Bounds for Discrete-Time Stochastic Optimization Algorithms [15.473123662393169]
  ディープニューラルネットワーク(DNN)は、顕著な一般化特性を示す。 これらの能力の源泉は依然として解明され、確立された統計的学習理論を否定している。 近年の研究では、訓練軌跡の性質が一般化の指標であることが示されている。
  論文  参考訳（メタデータ） (2024-07-11T17:56:03Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• A Unified Approach to Controlling Implicit Regularization via Mirror Descent [18.536453909759544]
  ミラー降下(MD)は勾配降下(GD)の顕著な一般化である MDを効率的に実装することができ、適切な条件下での高速収束を享受できることを示す。
  論文  参考訳（メタデータ） (2023-06-24T03:57:26Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Towards Principled Disentanglement for Domain Generalization [90.9891372499545]
  機械学習モデルの根本的な課題は、アウト・オブ・ディストリビューション(OOD)データへの一般化である。 私たちはまず、DEC(Disentanglement-Constrained Domain Generalization)と呼ばれる制約付き最適化としてOOD一般化問題を定式化する。 この変換に基づいて、結合表現の不絡合と領域一般化のための原始双対アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-11-27T07:36:32Z)
• Joint Network Topology Inference via Structured Fusion Regularization [70.30364652829164]
  結合ネットワークトポロジ推論は、異種グラフ信号から複数のグラフラプラシア行列を学習する標準的な問題を表す。 新規な構造化融合正規化に基づく一般グラフ推定器を提案する。 提案するグラフ推定器は高い計算効率と厳密な理論保証の両方を享受できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T04:42:32Z)
• Posterior Differential Regularization with f-divergence for Improving Model Robustness [95.05725916287376]
  クリーン入力とノイズ入力のモデル後部差を規則化する手法に着目する。 後微分正則化を$f$-divergencesの族に一般化する。 実験の結果, 後方微分を$f$-divergenceで正規化することで, モデルロバスト性の向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2020-10-23T19:58:01Z)
• Generalization Properties of Optimal Transport GANs with Latent Distribution Learning [52.25145141639159]
  本研究では,潜伏分布とプッシュフォワードマップの複雑さの相互作用が性能に与える影響について検討する。 我々の分析に感銘を受けて、我々はGANパラダイム内での潜伏分布とプッシュフォワードマップの学習を提唱した。
  論文  参考訳（メタデータ） (2020-07-29T07:31:33Z)
• Stochastic spectral embedding [0.0]
  確率スペクトル埋め込み(SSE)に基づく新しい逐次適応サロゲートモデリング法を提案する。 本手法は,複雑性と入力次元の異なるモデルの集合上で,最先端のスパースカオス展開に対して,どのように好意的に比較されるかを示す。
  論文  参考訳（メタデータ） (2020-04-09T11:00:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。