論文の概要: Generalisation error in learning with random features and the hidden manifold model

• arxiv url: http://arxiv.org/abs/2002.09339v2
• Date: Thu, 20 Aug 2020 08:32:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-30 01:19:40.100562
• Title: Generalisation error in learning with random features and the hidden manifold model
• Title（参考訳）: ランダム特徴をもつ学習における一般化誤差と隠れ多様体モデル
• Authors: Federica Gerace, Bruno Loureiro, Florent Krzakala, Marc M\'ezard and Lenka Zdeborov\'a
• Abstract要約: 合成データセットの一般線形回帰と分類について検討した。 我々は,高次元構造を考察し,統計物理学からのレプリカ法を用いる。 閾値をピークとしたロジスティック回帰のためのいわゆる二重降下挙動を得る方法を示す。 隠れ多様体モデルにより生成されたデータにおいて相関関係が果たす役割について論じる。
• 参考スコア（独自算出の注目度）: 23.71637173968353
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study generalised linear regression and classification for a synthetically generated dataset encompassing different problems of interest, such as learning with random features, neural networks in the lazy training regime, and the hidden manifold model. We consider the high-dimensional regime and using the replica method from statistical physics, we provide a closed-form expression for the asymptotic generalisation performance in these problems, valid in both the under- and over-parametrised regimes and for a broad choice of generalised linear model loss functions. In particular, we show how to obtain analytically the so-called double descent behaviour for logistic regression with a peak at the interpolation threshold, we illustrate the superiority of orthogonal against random Gaussian projections in learning with random features, and discuss the role played by correlations in the data generated by the hidden manifold model. Beyond the interest in these particular problems, the theoretical formalism introduced in this manuscript provides a path to further extensions to more complex tasks.
• Abstract（参考訳）: ランダムな特徴を持つ学習,遅延学習システムにおけるニューラルネットワーク,隠れ多様体モデルなど,興味のある問題を含む合成データセットの一般化線形回帰と分類について検討した。 本稿では,高次元レジームを考察し,統計物理学のレプリカ法を用いて,これらの問題における漸近的一般化性能の閉形式表現を,非パラメータレジームと過パラメータレジームの両方において有効であること,および一般化線形モデル損失関数の広範な選択について述べる。 特に,補間しきい値のピークを持つロジスティック回帰のいわゆる二重降下挙動を解析的に得る方法を示し,ランダム特徴の学習におけるランダムガウス射影に対する直交の優位性を示し,隠れ多様体モデルによって生成されたデータにおける相関が果たす役割について考察する。 これらの特定の問題への関心の他に、この写本で導入された理論形式主義は、より複雑なタスクへのさらなる拡張の道を提供する。

関連論文リスト

• Learning Divergence Fields for Shift-Robust Graph Representations [73.11818515795761]
  本研究では,相互依存データに対する問題に対して,学習可能な分散場を持つ幾何学的拡散モデルを提案する。 因果推論によって新たな学習目標が導出され、ドメイン間で無神経な相互依存の一般化可能なパターンを学習するためのモデルが導出される。
  論文  参考訳（メタデータ） (2024-06-07T14:29:21Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Regularization, early-stopping and dreaming: a Hopfield-like setup to address generalization and overfitting [0.0]
  正規化損失関数に勾配降下を適用し,最適ネットワークパラメータを求める。 この枠組みの中で、最適なニューロン相互作用行列は、繰り返し学習プロトコルによって修正されたヘビアン核に対応する。
  論文  参考訳（メタデータ） (2023-08-01T15:04:30Z)
• A Unified Analysis of Multi-task Functional Linear Regression Models with Manifold Constraint and Composite Quadratic Penalty [0.0]
  マルチタスク学習のパワーは、傾斜関数に付加的な構造を課すことによってもたらされる。 合成ペナルティは、多様体曲率の定量化に役立つ特定のノルムを誘導することを示す。 縮小ランクモデルとグラフラプラシア正規化モデルに統一収束上限を求め、特に適用する。
  論文  参考訳（メタデータ） (2022-11-09T13:32:23Z)
• Towards a mathematical understanding of learning from few examples with nonlinear feature maps [68.8204255655161]
  トレーニングセットがわずか数個のデータポイントから構成されるデータ分類の問題を考える。 我々は、AIモデルの特徴空間の幾何学、基礎となるデータ分布の構造、モデルの一般化能力との間の重要な関係を明らかにする。
  論文  参考訳（メタデータ） (2022-11-07T14:52:58Z)
• Learning from few examples with nonlinear feature maps [68.8204255655161]
  我々はこの現象を探求し、AIモデルの特徴空間の次元性、データ分散の非退化、モデルの一般化能力の間の重要な関係を明らかにする。 本分析の主な推力は、元のデータを高次元および無限次元空間にマッピングする非線形特徴変換が結果のモデル一般化能力に与える影響である。
  論文  参考訳（メタデータ） (2022-03-31T10:36:50Z)
• Fluctuations, Bias, Variance & Ensemble of Learners: Exact Asymptotics for Convex Losses in High-Dimension [25.711297863946193]
  我々は、異なる、しかし相関のある特徴に基づいて訓練された一般化線形モデルの集合における揺らぎの研究の理論を開発する。 一般凸損失と高次元限界における正則化のための経験的リスク最小化器の結合分布の完全な記述を提供する。
  論文  参考訳（メタデータ） (2022-01-31T17:44:58Z)
• Optimal regularizations for data generation with probabilistic graphical models [0.0]
  経験的に、よく調和された正規化スキームは、推論されたモデルの品質を劇的に改善する。 生成的ペアワイドグラフィカルモデルの最大Aポストエリオーリ(MAP)推論におけるL2とL1の正規化について検討する。
  論文  参考訳（メタデータ） (2021-12-02T14:45:16Z)
• Topologically penalized regression on manifolds [0.0]
  コンパクト多様体 M 上の回帰問題について検討する。 データの基底幾何学と位相を利用するために、回帰タスクは多様体のラプラス・ベルトラミ作用素の最初のいくつかの固有関数に基づいて実行される。 提案された罰則は固有関数または推定関数の下位レベルの集合の位相に基づく。
  論文  参考訳（メタデータ） (2021-10-26T14:59:13Z)
• Accounting for Unobserved Confounding in Domain Generalization [107.0464488046289]
  本稿では,データセットの組み合わせから頑健で一般化可能な予測モデルを学習する際の問題点について検討する。 堅牢なモデルを学ぶことの課題の一部は、保存されていない共同設立者の影響にある。 異なるモダリティの医療データに対するアプローチの実証的性能を実証する。
  論文  参考訳（メタデータ） (2020-07-21T08:18:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。