論文の概要: Bengining overfitting in Fixed Dimension via Physics-Informed Learning with Smooth Iductive Bias

• arxiv url: http://arxiv.org/abs/2406.09194v1
• Date: Thu, 13 Jun 2024 14:54:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-14 17:14:49.388139
• Title: Bengining overfitting in Fixed Dimension via Physics-Informed Learning with Smooth Iductive Bias
• Title（参考訳）: Smooth Iductive Biasを用いた物理インフォームドラーニングによる固定次元のベンジングオーバーフィッティング
• Authors: Honam Wong, Wendao Wu, Fanghui Liu, Yiping Lu,
• Abstract要約: 補間された機械学習は、物理インフォームドラーニングを使用する際に、良心的な過剰適合と一貫性を示すことができる。 解析は、線形逆問題に対処するカーネルリッジ(レス)回帰のためのソボレフノルム学習曲線を提供する。 その結果、PDE作用素は分散を安定化し、固定次元問題に対して良性オーバーフィッティングをもたらすことが判明した。
• 参考スコア（独自算出の注目度）: 8.668428992331808
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in machine learning theory showed that interpolation to noisy samples using over-parameterized machine learning algorithms always leads to inconsistency. However, this work surprisingly discovers that interpolated machine learning can exhibit benign overfitting and consistency when using physics-informed learning for supervised tasks governed by partial differential equations (PDEs) describing laws of physics. An analysis provides an asymptotic Sobolev norm learning curve for kernel ridge(less) regression addressing linear inverse problems involving elliptic PDEs. The results reveal that the PDE operators can stabilize variance and lead to benign overfitting for fixed-dimensional problems, contrasting standard regression settings. The impact of various inductive biases introduced by minimizing different Sobolev norms as implicit regularization is also examined. Notably, the convergence rate is independent of the specific (smooth) inductive bias for both ridge and ridgeless regression. For regularized least squares estimators, all (smooth enough) inductive biases can achieve optimal convergence rates when the regularization parameter is properly chosen. The smoothness requirement recovers a condition previously found in the Bayesian setting and extends conclusions to minimum norm interpolation estimators.
• Abstract（参考訳）: 機械学習理論の最近の進歩は、過度にパラメータ化された機械学習アルゴリズムを用いたノイズの多いサンプルへの補間が常に矛盾することを示している。 しかし、この研究は、補間された機械学習が物理の法則を記述する偏微分方程式(PDE)によって制御される教師付きタスクに物理インフォームドラーニングを用いることで、良心的な過剰適合と一貫性を示すことを驚くほど発見している。 解析は、楕円型PDEを含む線形逆問題に対処するカーネルリッジ(レス)回帰のための漸近的なソボレフノルム学習曲線を提供する。 その結果、PDE演算子は分散を安定させ、標準回帰設定とは対照的に、固定次元問題に対して良性オーバーフィッティングをもたらすことが判明した。 また,異なるソボレフノルムを暗黙の正則化として最小化することによって生じる様々な帰納バイアスの影響についても検討した。 特に、収束速度は、隆起と隆起のない回帰の両方に対して特定の(滑らかな)誘導バイアスとは独立である。 正則化最小二乗推定器の場合、正則化パラメータが適切に選択されたとき、すべての(十分に滑らかな)帰納的バイアスは最適収束率を達成することができる。 滑らか性要件はベイズの設定で以前に見つかった条件を回復し、結論を最小ノルム補間推定器に拡張する。

関連論文リスト

• Linear causal disentanglement via higher-order cumulants [0.0]
  複数の文脈におけるデータへのアクセスを前提として,線形因果不整合の識別可能性について検討した。 各潜伏変数に対する1つの完全な介入が十分であり、完全な介入の下でパラメータを復元するのに必要となる最悪の場合を示す。
  論文  参考訳（メタデータ） (2024-07-05T15:53:16Z)
• High-Dimensional Kernel Methods under Covariate Shift: Data-Dependent Implicit Regularization [83.06112052443233]
  本稿では,共変量シフト下での高次元におけるカーネルリッジの回帰について検討する。 バイアス分散分解により、再重み付け戦略が分散を減少させることができることを理論的に証明する。 偏見について,任意の偏見の正則化を解析し,偏見が正則化の異なる尺度で非常に異なる振る舞いをすることができることを示す。
  論文  参考訳（メタデータ） (2024-06-05T12:03:27Z)
• Curvature-Independent Last-Iterate Convergence for Games on Riemannian Manifolds [77.4346324549323]
  本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。 我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• Stochastic Langevin Differential Inclusions with Applications to Machine Learning [5.274477003588407]
  ランゲヴィン型微分包含物の流動と性質に関する基礎的な結果を示す。 特に、解の存在が強く、また自由エネルギー関数の正準最小化が示される。
  論文  参考訳（メタデータ） (2022-06-23T08:29:17Z)
• Experimental Design for Linear Functionals in Reproducing Kernel Hilbert Spaces [102.08678737900541]
  線形汎関数に対するバイアス認識設計のためのアルゴリズムを提供する。 準ガウス雑音下での固定および適応設計に対する漸近的でない信頼集合を導出する。
  論文  参考訳（メタデータ） (2022-05-26T20:56:25Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• Error Bounds of the Invariant Statistics in Machine Learning of Ergodic It\^o Diffusions [8.627408356707525]
  エルゴード的伊藤拡散の機械学習の理論的基盤について検討する。 ドリフト係数と拡散係数の学習における誤差に対する1点および2点不変統計量の誤差の線形依存性を導出する。
  論文  参考訳（メタデータ） (2021-05-21T02:55:59Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Double Trouble in Double Descent : Bias and Variance(s) in the Lazy Regime [32.65347128465841]
  深層ニューラルネットワークは、トレーニングデータを完璧に補間しながら、素晴らしいパフォーマンスを達成することができる。 バイアス分散トレードオフのU曲線ではなく、テストエラーはしばしば「二重降下」に従う。 我々は、ニューラルネットワークのいわゆる遅延学習システムにおいて、この現象の定量的理論を開発する。
  論文  参考訳（メタデータ） (2020-03-02T17:39:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。