論文の概要: Spectral Estimators for Multi-Index Models: Precise Asymptotics and Optimal Weak Recovery

• arxiv url: http://arxiv.org/abs/2502.01583v1
• Date: Mon, 03 Feb 2025 18:08:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:00:50.833117
• Title: Spectral Estimators for Multi-Index Models: Precise Asymptotics and Optimal Weak Recovery
• Title（参考訳）: 多次元モデルのためのスペクトル推定器:精密漸近と最適弱回復
• Authors: Filip Kovačević, Yihan Zhang, Marco Mondelli,
• Abstract要約: スペクトル推定器を用いて信号が分散する部分空間の復元に焦点をあてる。 我々の主な技術的貢献はスペクトル法の性能を正確に評価することである。 分析の結果,サンプルの複雑さが増大するにつれて固有値がスペクトルの大部分から逃れる相転移現象が明らかになった。
• 参考スコア（独自算出の注目度）: 21.414505380263016
• License:
• Abstract: Multi-index models provide a popular framework to investigate the learnability of functions with low-dimensional structure and, also due to their connections with neural networks, they have been object of recent intensive study. In this paper, we focus on recovering the subspace spanned by the signals via spectral estimators -- a family of methods that are routinely used in practice, often as a warm-start for iterative algorithms. Our main technical contribution is a precise asymptotic characterization of the performance of spectral methods, when sample size and input dimension grow proportionally and the dimension $p$ of the space to recover is fixed. Specifically, we locate the top-$p$ eigenvalues of the spectral matrix and establish the overlaps between the corresponding eigenvectors (which give the spectral estimators) and a basis of the signal subspace. Our analysis unveils a phase transition phenomenon in which, as the sample complexity grows, eigenvalues escape from the bulk of the spectrum and, when that happens, eigenvectors recover directions of the desired subspace. The precise characterization we put forward enables the optimization of the data preprocessing, thus allowing to identify the spectral estimator that requires the minimal sample size for weak recovery.
• Abstract（参考訳）: マルチインデックスモデルは、低次元構造を持つ関数の学習可能性を調べるための一般的なフレームワークを提供する。 本稿では,スペクトル推定器による信号に代表される部分空間の復元に焦点をあてる。これは,しばしば反復アルゴリズムのウォームスタートとして,日常的に使用される手法のファミリーである。 我々の主な技術的貢献は、サンプルサイズと入力次元が比例的に増加し、回復する空間の寸法$p$が固定されたとき、スペクトル法の性能の正確な漸近的評価である。 具体的には、スペクトル行列のトップ$p$固有値を見つけ、対応する固有ベクトル(スペクトル推定器を与える)と信号部分空間の基底との重なりを確立する。 我々の分析では、サンプルの複雑さが増大するにつれて固有値がスペクトルの大部分から逃避し、それが起こると固有ベクトルが所望の部分空間の方向を回復する相転移現象を明らかにした。 提案した精度評価により,データ前処理の最適化が可能となり,弱い回復のために最小限のサンプルサイズを必要とするスペクトル推定器の同定が可能となった。

関連論文リスト

• Optimal Spectral Transitions in High-Dimensional Multi-Index Models [21.56591917674864]
  本稿では,この問題に適したメッセージパッシング方式の線形化に基づくスペクトルアルゴリズムを提案する。 本研究では,提案手法が最適復元しきい値を達成することを示す。 数値実験と厳密な理論的枠組みによって支援され、我々はマルチインデックスモデルにおける弱い学習可能性の計算限界における臨界ギャップを橋渡しする。
  論文  参考訳（メタデータ） (2025-02-04T18:15:51Z)
• Matrix Completion via Residual Spectral Matching [2.677354612516629]
  ノイズ行列の完成は、レコメンデーションシステム、信号処理、画像復元などへの応用により、大きな注目を集めている。 本稿では,残差の数値的および位置的情報を含む新しい残差スペクトルマッチング基準を提案する。 スパースランダム行列のスペクトル特性を解析し,低ランク摂動と部分観測の影響を限定することによって,最適統計特性を導出する。
  論文  参考訳（メタデータ） (2024-12-13T09:42:42Z)
• Hodge-Aware Contrastive Learning [101.56637264703058]
  単純コンプレックスは、マルチウェイ依存によるデータのモデリングに有効である。 我々は、単純なデータを処理するための対照的な自己教師付き学習手法を開発した。
  論文  参考訳（メタデータ） (2023-09-14T00:40:07Z)
• Spectral Estimators for Structured Generalized Linear Models via Approximate Message Passing [28.91482208876914]
  本研究では,高次元一般化線形モデルにおけるパラメータ推定の問題について考察する。 広く使われているにもかかわらず、厳密なパフォーマンス特性とデータ前処理の原則が、構造化されていない設計でのみ利用可能である。
  論文  参考訳（メタデータ） (2023-08-28T11:49:23Z)
• Optimal Algorithms for the Inhomogeneous Spiked Wigner Model [89.1371983413931]
  不均一な問題に対する近似メッセージパッシングアルゴリズム(AMP)を導出する。 特に,情報理論の閾値よりも大きい信号と雑音の比を必要とする既知のアルゴリズムが,ランダムよりも優れた処理を行うための統計的・計算的ギャップの存在を同定する。
  論文  参考訳（メタデータ） (2023-02-13T19:57:17Z)
• Precise Asymptotics for Spectral Methods in Mixed Generalized Linear Models [31.58736590532443]
  混合一般化線形モデルにおいて、統計的に独立な2つの信号を推定する問題を考える。 我々の特徴付けは、ランダム行列、自由確率、および近似メッセージパッシングアルゴリズムの理論からのツールの混合を利用する。
  論文  参考訳（メタデータ） (2022-11-21T11:35:25Z)
• Spectral Decomposition Representation for Reinforcement Learning [100.0424588013549]
  本稿では, スペクトル分解表現法(SPEDER)を提案する。この手法は, データ収集ポリシーに急激な依存を生じさせることなく, ダイナミックスから状態-作用の抽象化を抽出する。 理論的解析により、オンライン設定とオフライン設定の両方において提案アルゴリズムのサンプル効率が確立される。 実験により、いくつかのベンチマークで現在の最先端アルゴリズムよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-08-19T19:01:30Z)
• Reinforcement Learning from Partial Observation: Linear Function Approximation with Provable Sample Efficiency [111.83670279016599]
  部分観察決定過程(POMDP)の無限観測および状態空間を用いた強化学習について検討した。 線形構造をもつPOMDPのクラスに対する部分可観測性と関数近似の最初の試みを行う。
  論文  参考訳（メタデータ） (2022-04-20T21:15:38Z)
• Towards Sample-Optimal Compressive Phase Retrieval with Sparse and Generative Priors [59.33977545294148]
  O(k log L)$サンプルは振幅に基づく経験損失関数を最小化する任意のベクトルに信号が近いことを保証するのに十分であることを示す。 この結果はスパース位相検索に適応し、基底信号が$s$-sparseおよび$n$-dimensionalである場合、$O(s log n)$サンプルは同様の保証に十分であることを示す。
  論文  参考訳（メタデータ） (2021-06-29T12:49:54Z)
• Machine Learning for Vibrational Spectroscopy via Divide-and-Conquer Semiclassical Initial Value Representation Molecular Dynamics with Application to N-Methylacetamide [56.515978031364064]
  核振動空間を部分空間に分割する機械学習アルゴリズムを導入する。 部分分割基準は、リウヴィルの定理、すなわち減次元ジャコビアン行列式のユニタリの最良の保存に基づいている。 このアルゴリズムは12-原子トランス-N-メチルアセトアミドのパワースペクトルの分割・対数半古典計算に適用される。
  論文  参考訳（メタデータ） (2021-01-11T14:47:33Z)
• Spectral Methods for Data Science: A Statistical Perspective [37.2486912080998]
  スペクトル法は、巨大でノイズの多い不完全なデータから情報を抽出するための単純で驚くほど効果的な手法として登場した。 この本は、現代の統計学的観点から、体系的で包括的でアクセスしやすいスペクトル法の導入を意図している。
  論文  参考訳（メタデータ） (2020-12-15T18:40:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。