論文の概要: On Learning Gaussian Multi-index Models with Gradient Flow

• arxiv url: http://arxiv.org/abs/2310.19793v2
• Date: Thu, 2 Nov 2023 17:33:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-03 10:15:30.436274
• Title: On Learning Gaussian Multi-index Models with Gradient Flow
• Title（参考訳）: 勾配流をもつガウス型マルチインデックスモデルの学習について
• Authors: Alberto Bietti, Joan Bruna and Loucas Pillaud-Vivien
• Abstract要約: 高次元ガウスデータに対する多次元回帰問題の勾配流について検討する。 低階射影をパラメトリする部分空間よりも、非パラメトリックモデルで低次元リンク関数を無限に高速に学習する2時間スケールのアルゴリズムを考える。
• 参考スコア（独自算出の注目度）: 57.170617397894404
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study gradient flow on the multi-index regression problem for high-dimensional Gaussian data. Multi-index functions consist of a composition of an unknown low-rank linear projection and an arbitrary unknown, low-dimensional link function. As such, they constitute a natural template for feature learning in neural networks. We consider a two-timescale algorithm, whereby the low-dimensional link function is learnt with a non-parametric model infinitely faster than the subspace parametrizing the low-rank projection. By appropriately exploiting the matrix semigroup structure arising over the subspace correlation matrices, we establish global convergence of the resulting Grassmannian population gradient flow dynamics, and provide a quantitative description of its associated `saddle-to-saddle' dynamics. Notably, the timescales associated with each saddle can be explicitly characterized in terms of an appropriate Hermite decomposition of the target link function. In contrast with these positive results, we also show that the related \emph{planted} problem, where the link function is known and fixed, in fact has a rough optimization landscape, in which gradient flow dynamics might get trapped with high probability.
• Abstract（参考訳）: 高次元ガウスデータに対するマルチインデックス回帰問題における勾配流れについて検討する。 マルチインデックス関数は、未知の低ランク線形射影と任意の未知の低次元リンク関数からなる。 そのため、ニューラルネットワークにおける特徴学習の自然なテンプレートを構成する。 低階射影をパラメトリする部分空間よりも、非パラメトリックモデルで低次元リンク関数を無限に高速に学習する2時間スケールのアルゴリズムを考える。 部分空間相関行列上で生じる行列半群構造を適切に活用することにより、結果として生じるグラスマン人口勾配流れのグローバル収束を確立し、関連する「サドル・ツー・サドル」ダイナミクスの定量的記述を提供する。 特に、各サドルに関連する時間スケールは、ターゲットリンク関数の適切なエルミート分解の観点から明確に特徴づけることができる。 これらのポジティブな結果とは対照的に、リンク関数が知られ固定されている場合の関連する \emph{planted} 問題は、実際には勾配流れのダイナミクスが高い確率で捕捉されるような大まかな最適化のランドスケープを持っていることも示している。

関連論文リスト

• Gauss-Newton Dynamics for Neural Networks: A Riemannian Optimization Perspective [3.48097307252416]
  我々は,スムーズな活性化関数を持つニューラルネットワークを学習するためのガウスニュートン力学の収束性を分析する。 適切に選択された減衰係数を持つレバンス・マルカルト力学は、不条件カーネルに対してロバスト性をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-12-18T16:51:47Z)
• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• Symmetric Single Index Learning [46.7352578439663]
  1つの一般的なモデルはシングルインデックスモデルであり、ラベルは未知のリンク関数を持つ未知の線形射影によって生成される。 我々は、対称ニューラルネットワークの設定において、単一インデックス学習を検討する。
  論文  参考訳（メタデータ） (2023-10-03T14:59:00Z)
• Learning Single-Index Models with Shallow Neural Networks [43.6480804626033]
  我々は、浅層ニューラルネットワークの自然なクラスを導入し、勾配流を通して単一インデックスモデルを学習する能力について研究する。 対応する最適化ランドスケープが良性であることを示し、それによって専用半パラメトリック手法の準最適サンプル複雑性に一致するような一般化保証が得られることを示す。
  論文  参考訳（メタデータ） (2022-10-27T17:52:58Z)
• Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
  本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。 この問題は楕円分布のペナルティ化された最大推定値として表される。 楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
  論文  参考訳（メタデータ） (2022-10-21T13:19:45Z)
• Semi-Supervised Subspace Clustering via Tensor Low-Rank Representation [64.49871502193477]
  本稿では,初期監視情報を同時に拡張し,識別親和性行列を構築することのできる,新しい半教師付きサブスペースクラスタリング手法を提案する。 6つの一般的なベンチマークデータセットの総合的な実験結果から,本手法が最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-21T01:47:17Z)
• Gradient flows and randomised thresholding: sparse inversion and classification [0.0]
  スパースインバージョンと分類問題は、現代のデータサイエンスとイメージングにおいて至るところに存在している。 分類において、例えば、データの忠実度項と非滑らかなギンズバーグ-ランダウエネルギーの和を考える。 標準(サブ)勾配降下法はそのような問題にアプローチする際に非効率であることが示されている。
  論文  参考訳（メタデータ） (2022-03-22T09:21:14Z)
• Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
  オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。 我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-12-29T18:46:52Z)
• T-LoHo: A Bayesian Regularization Model for Structured Sparsity and Smoothness on Graphs [0.0]
  グラフ構造化データでは、構造化されたスパーシリティと滑らかさが団結する傾向にある。 グラフィカルな関係を持つ高次元パラメータに先立って提案する。 構造された空間と滑らかさを同時に検出するために使用します。
  論文  参考訳（メタデータ） (2021-07-06T10:10:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。