論文の概要: Asymptotic Errors for Teacher-Student Convex Generalized Linear Models (or : How to Prove Kabashima's Replica Formula)

• arxiv url: http://arxiv.org/abs/2006.06581v6
• Date: Thu, 10 Nov 2022 16:57:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 13:39:48.821128
• Title: Asymptotic Errors for Teacher-Student Convex Generalized Linear Models (or : How to Prove Kabashima's Replica Formula)
• Title（参考訳）: 教師用凸一般化線形モデルに対する漸近誤差(あるいは, 柴島の模擬公式の証明法)
• Authors: Cedric Gerbelot, Alia Abbara and Florent Krzakala
• Abstract要約: 凸一般化線形モデルの再構成性能に関する解析式を検証した。 解析的継続を行えば、結果を凸(非強直)問題に拡張できることを示す。 主流学習法に関する数値的な例で,本主張を述べる。
• 参考スコア（独自算出の注目度）: 23.15629681360836
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There has been a recent surge of interest in the study of asymptotic reconstruction performance in various cases of generalized linear estimation problems in the teacher-student setting, especially for the case of i.i.d standard normal matrices. Here, we go beyond these matrices, and prove an analytical formula for the reconstruction performance of convex generalized linear models with rotationally-invariant data matrices with arbitrary bounded spectrum, rigorously confirming, under suitable assumptions, a conjecture originally derived using the replica method from statistical physics. The proof is achieved by leveraging on message passing algorithms and the statistical properties of their iterates, allowing to characterize the asymptotic empirical distribution of the estimator. For sufficiently strongly convex problems, we show that the two-layer vector approximate message passing algorithm (2-MLVAMP) converges, where the convergence analysis is done by checking the stability of an equivalent dynamical system, which gives the result for such problems. We then show that, under a concentration assumption, an analytical continuation may be carried out to extend the result to convex (non-strongly) problems. We illustrate our claim with numerical examples on mainstream learning methods such as sparse logistic regression and linear support vector classifiers, showing excellent agreement between moderate size simulation and the asymptotic prediction.
• Abstract（参考訳）: 近年,教師-学生設定における一般線形推定問題,特に標準正規行列の場合における漸近的再構成性能の研究への関心が高まっている。 本稿では,これらの行列を越え,任意の有界スペクトルを持つ回転不変なデータ行列を持つ凸一般化線形モデルの再構成性能に関する解析式を証明し,適切な仮定のもとに,統計物理学からレプリカ法で導出した予想を厳密に確認する。 この証明は、メッセージパッシングアルゴリズムとそのイテレートの統計的性質を活用して、推定子の漸近的な経験的分布を特徴付けることによって達成される。 十分強い凸問題に対して、2層ベクトル近似メッセージパッシングアルゴリズム(2-MLVAMP)が収束することを示し、そこでは等価な力学系の安定性を確認して収束解析を行い、その結果を得る。 次に、濃度仮定の下では、結果を凸(非強い)問題に拡張するために解析的継続を行うことができることを示す。 本稿では,疎対数回帰や線形支援ベクトル分類器などの主流学習手法の数値例を用いて,中等度シミュレーションと漸近予測との整合性を示す。

関連論文リスト

• Statistical Inference in Classification of High-dimensional Gaussian Mixture [1.2354076490479515]
  高次元極限における正規化凸分類器の一般クラスの挙動について検討する。 我々の焦点は、推定器の一般化誤差と変数選択性である。
  論文  参考訳（メタデータ） (2024-10-25T19:58:36Z)
• Flat Minima in Linear Estimation and an Extended Gauss Markov Theorem [0.0]
  我々は、核とスペクトルのノルムの場合の最適推定器の単純で明示的な公式を導出する。 我々は、複数のランダム行列アンサンブルにおける一般化誤差を解析的に導出し、リッジ回帰との比較を行った。
  論文  参考訳（メタデータ） (2023-11-18T14:45:06Z)
• Precise Asymptotics for Spectral Methods in Mixed Generalized Linear Models [31.58736590532443]
  混合一般化線形モデルにおいて、統計的に独立な2つの信号を推定する問題を考える。 我々の特徴付けは、ランダム行列、自由確率、および近似メッセージパッシングアルゴリズムの理論からのツールの混合を利用する。
  論文  参考訳（メタデータ） (2022-11-21T11:35:25Z)
• Adaptive Estimation of Graphical Models under Total Positivity [13.47131471222723]
  ガウス図形モデルにおける(対角的に支配的な)M-行列を精度行列として推定する問題を考える。 そこで本研究では,提案手法を改良した適応型多段階推定手法を提案する。 正規化問題を解くために,勾配予測法に基づく統一的なフレームワークを開発する。
  論文  参考訳（メタデータ） (2022-10-27T14:21:27Z)
• Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
  本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。 この問題は楕円分布のペナルティ化された最大推定値として表される。 楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
  論文  参考訳（メタデータ） (2022-10-21T13:19:45Z)
• Robust Regularized Low-Rank Matrix Models for Regression and Classification [14.698622796774634]
  本稿では,ランク制約,ベクトル正規化(疎性など),一般損失関数に基づく行列変分回帰モデルのフレームワークを提案する。 アルゴリズムは収束することが保証されており、アルゴリズムのすべての累積点が$O(sqrtn)$100の順序で推定誤差を持ち、最小値の精度をほぼ達成していることを示す。
  論文  参考訳（メタデータ） (2022-05-14T18:03:48Z)
• Joint Network Topology Inference via Structured Fusion Regularization [70.30364652829164]
  結合ネットワークトポロジ推論は、異種グラフ信号から複数のグラフラプラシア行列を学習する標準的な問題を表す。 新規な構造化融合正規化に基づく一般グラフ推定器を提案する。 提案するグラフ推定器は高い計算効率と厳密な理論保証の両方を享受できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T04:42:32Z)
• Hessian Eigenspectra of More Realistic Nonlinear Models [73.31363313577941]
  私たちは、非線形モデルの広いファミリーのためのヘッセン固有スペクトルの言語的特徴付けを行います。 我々の分析は、より複雑な機械学習モデルで観察される多くの顕著な特徴の起源を特定するために一歩前進する。
  論文  参考訳（メタデータ） (2021-03-02T06:59:52Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Asymptotic Analysis of an Ensemble of Randomly Projected Linear Discriminants [94.46276668068327]
  [1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。 我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。 また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
  論文  参考訳（メタデータ） (2020-04-17T12:47:04Z)
• Semiparametric Nonlinear Bipartite Graph Representation Learning with Provable Guarantees [106.91654068632882]
  半パラメトリック指数族分布におけるパラメータの統計的推定問題として、両部グラフを考察し、その表現学習問題を定式化する。 提案手法は, 地中真理付近で強い凸性を示すため, 勾配降下法が線形収束率を達成できることを示す。 我々の推定器は指数族内の任意のモデル誤特定に対して頑健であり、広範な実験で検証されている。
  論文  参考訳（メタデータ） (2020-03-02T16:40:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。