Fugu-MT 論文翻訳(概要): Two-Point Deterministic Equivalence for Stochastic Gradient Dynamics in Linear Models

論文の概要: Two-Point Deterministic Equivalence for Stochastic Gradient Dynamics in Linear Models

arxiv url: http://arxiv.org/abs/2502.05074v1
Date: Fri, 07 Feb 2025 16:45:40 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-10 14:57:31.812219
Title: Two-Point Deterministic Equivalence for Stochastic Gradient Dynamics in Linear Models
Title（参考訳）: 線形モデルにおける確率勾配ダイナミクスの2点決定論的等価性
Authors: Alexander Atanasov, Blake Bordelon, Jacob A. Zavatone-Veth, Courtney Paquette, Cengiz Pehlevan,
Abstract要約: ランダムリゾルダーの2点関数に対する新しい決定論的等価性を導出する。勾配勾配を有する多種多様な高次元学習線形モデルの性能を統一的に導出する。
参考スコア（独自算出の注目度）: 76.52307406752556
License:
Abstract: We derive a novel deterministic equivalence for the two-point function of a random matrix resolvent. Using this result, we give a unified derivation of the performance of a wide variety of high-dimensional linear models trained with stochastic gradient descent. This includes high-dimensional linear regression, kernel regression, and random feature models. Our results include previously known asymptotics as well as novel ones.
Abstract（参考訳）: ランダム行列分解剤の2点関数に対する新しい決定論的等価性を導出する。この結果を用いて,確率勾配勾配で学習した多種多様な高次元線形モデルの性能を統一的に導出する。これには高次元線形回帰、カーネル回帰、ランダム特徴モデルが含まれる。以上の結果から, 既知の無症候症, 新規の無症候症が示唆された。

関連論文リスト

Scaling and renormalization in high-dimensional regression [72.59731158970894]
本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
論文参考訳（メタデータ） (2024-05-01T15:59:00Z)
Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。本稿では,直感的に設計を記述し,設計選択について説明する。本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
論文参考訳（メタデータ） (2023-10-31T16:15:13Z)
High-dimensional analysis of double descent for linear regression with random projections [0.0]
ランダムな投影数が異なる線形回帰問題を考察し、固定された予測問題に対する二重降下曲線を確実に示す。まず、リッジ回帰推定器を考察し、非パラメトリック統計学の古典的概念を用いて先行結果を再解釈する。次に、最小ノルム最小二乗の一般化性能(バイアスと分散の観点から)の同値をランダムな射影に適合させ、二重降下現象の単純な表現を与える。
論文参考訳（メタデータ） (2023-03-02T15:58:09Z)
Precise Asymptotic Analysis of Deep Random Feature Models [37.35013316704277]
我々は、$L-$layer Deep random Feature (RF)モデルによる回帰の正確な表現を提供する。等価ガウスモデルの異なる層における固有分布の変動を特徴付ける。
論文参考訳（メタデータ） (2023-02-13T09:30:25Z)
Gradient flow in the gaussian covariate model: exact solution of learning curves and multiple descent structures [14.578025146641806]
一般化曲線の全時間進化を完全かつ統一的に解析する。この理論予測は,現実的なデータセットよりも勾配降下によって得られる学習曲線と適切に一致していることを示す。
論文参考訳（メタデータ） (2022-12-13T17:39:18Z)
Second-order regression models exhibit progressive sharpening to the edge of stability [30.92413051155244]
2次元の二次目標に対して、2階回帰モデルでは、安定性の端とわずかに異なる値に対して進行的なシャープ化を示すことを示す。より高次元では、モデルはニューラルネットワークの特定の構造がなくても、概して同様の振る舞いを示す。
論文参考訳（メタデータ） (2022-10-10T17:21:20Z)
Time varying regression with hidden linear dynamics [74.9914602730208]
線形力学系に従って未知のパラメータが進化することを前提とした時間変化線形回帰モデルを再検討する。反対に、基礎となる力学が安定である場合、このモデルのパラメータは2つの通常の最小二乗推定と組み合わせることで、データから推定できることが示される。
論文参考訳（メタデータ） (2021-12-29T23:37:06Z)
Estimation of Switched Markov Polynomial NARX models [75.91002178647165]
非線形自己回帰(NARX)成分を特徴とするハイブリッド力学系のモデル群を同定する。提案手法は, 特定の回帰器を持つ3つの非線形サブモデルからなるSMNARX問題に対して実証される。
論文参考訳（メタデータ） (2020-09-29T15:00:47Z)
Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。暗黙正則化現象の理論的保証を提供する。
論文参考訳（メタデータ） (2020-07-16T13:27:47Z)
Asymptotic Errors for Teacher-Student Convex Generalized Linear Models (or : How to Prove Kabashima's Replica Formula) [23.15629681360836]
凸一般化線形モデルの再構成性能に関する解析式を検証した。解析的継続を行えば、結果を凸(非強直)問題に拡張できることを示す。主流学習法に関する数値的な例で,本主張を述べる。
論文参考訳（メタデータ） (2020-06-11T16:26:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。