論文の概要: Hessian Eigenspectra of More Realistic Nonlinear Models

• arxiv url: http://arxiv.org/abs/2103.01519v1
• Date: Tue, 2 Mar 2021 06:59:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-05 07:55:43.148027
• Title: Hessian Eigenspectra of More Realistic Nonlinear Models
• Title（参考訳）: よりリアルな非線形モデルのヘッシアン固有スペクトル
• Authors: Zhenyu Liao and Michael W. Mahoney
• Abstract要約: 私たちは、非線形モデルの広いファミリーのためのヘッセン固有スペクトルの言語的特徴付けを行います。 我々の分析は、より複雑な機械学習モデルで観察される多くの顕著な特徴の起源を特定するために一歩前進する。
• 参考スコア（独自算出の注目度）: 73.31363313577941
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Given an optimization problem, the Hessian matrix and its eigenspectrum can be used in many ways, ranging from designing more efficient second-order algorithms to performing model analysis and regression diagnostics. When nonlinear models and non-convex problems are considered, strong simplifying assumptions are often made to make Hessian spectral analysis more tractable. This leads to the question of how relevant the conclusions of such analyses are for more realistic nonlinear models. In this paper, we exploit deterministic equivalent techniques from random matrix theory to make a \emph{precise} characterization of the Hessian eigenspectra for a broad family of nonlinear models, including models that generalize the classical generalized linear models, without relying on strong simplifying assumptions used previously. We show that, depending on the data properties, the nonlinear response model, and the loss function, the Hessian can have \emph{qualitatively} different spectral behaviors: of bounded or unbounded support, with single- or multi-bulk, and with isolated eigenvalues on the left- or right-hand side of the bulk. By focusing on such a simple but nontrivial nonlinear model, our analysis takes a step forward to unveil the theoretical origin of many visually striking features observed in more complex machine learning models.
• Abstract（参考訳）: 最適化問題を考えると、ヘッセン行列とその固有スペクトルは、より効率的な二次アルゴリズムの設計からモデル解析と回帰診断の実行まで、様々な方法で用いられる。 非線形モデルと非凸問題を考慮すると、ヘッセンスペクトル解析をよりトラクタブルにするために、強い単純化仮定がしばしばなされる。 これは、そのような解析の結論がより現実的な非線形モデルにどの程度関連しているかという問題につながる。 本稿では, ランダム行列理論による決定論的等価性を用いて, 従来の一般化線形モデルを一般化するモデルを含む, 幅広い非線形モデル群に対するヘッセン固有スペクトルの補題を, 従来より強固な単純化の仮定に頼らずに評価する。 データ特性、非線形応答モデル、損失関数に応じて、ヘッシアンは、有界または非有界のサポート、シングルまたはマルチバルク、バルクの左側または右側の孤立した固有値の異なるスペクトル挙動を持つことができることを示しています。 このような単純な非自明な非線形モデルに注目して、より複雑な機械学習モデルで観察される多くの視覚的特徴の理論的起源を明らかにする。

関連論文リスト

• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• An Analysis of Linear Time Series Forecasting Models [0.0]
  時系列予測のための線形モデルの一般的な変種は、標準の非制約線形回帰と等価であり、機能的に区別できない。 検査対象のモデルがほぼ同じ解を学習していることを示す実験的な証拠を提示し, 最終的に, より単純なクローズドフォームソリューションが, テスト設定の72%にまたがる優れた予測器であることを実証した。
  論文  参考訳（メタデータ） (2024-03-21T17:42:45Z)
• Identifiability of latent-variable and structural-equation models: from linear to nonlinear [2.159277717031637]
  因子分析において、(最近)変数の非ガウス性は識別可能性をもたらすことが示されている。 最近では、そのようなモデルの一般の非非線形バージョンでさえ、どのように見積もることができるかが示されている。
  論文  参考訳（メタデータ） (2023-02-06T10:21:21Z)
• Gradient flow in the gaussian covariate model: exact solution of learning curves and multiple descent structures [14.578025146641806]
  一般化曲線の全時間進化を完全かつ統一的に解析する。 この理論予測は,現実的なデータセットよりも勾配降下によって得られる学習曲線と適切に一致していることを示す。
  論文  参考訳（メタデータ） (2022-12-13T17:39:18Z)
• Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
  本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。 この問題は楕円分布のペナルティ化された最大推定値として表される。 楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
  論文  参考訳（メタデータ） (2022-10-21T13:19:45Z)
• Sparse Quantized Spectral Clustering [85.77233010209368]
  このような非線形変換の下で行列の固有スペクトルがどのように変化するのかを、ランダム行列理論のツールを用いて正確に述べる。 急激なスペーシング/量子化の下でも,情報的固有構造にはほとんど変化は見られなかった。
  論文  参考訳（メタデータ） (2020-10-03T15:58:07Z)
• Non-parametric Models for Non-negative Functions [48.7576911714538]
  同じ良い線形モデルから非負関数に対する最初のモデルを提供する。 我々は、それが表現定理を認め、凸問題に対する効率的な二重定式化を提供することを証明した。
  論文  参考訳（メタデータ） (2020-07-08T07:17:28Z)
• The role of optimization geometry in single neuron learning [12.891722496444036]
  近年,表現型ニューラルネットワークの学習において,最適化アルゴリズムの選択が一般化性能に影響を与えることが実証されている。 幾何学と特徴幾何学の相互作用が、どのようにしてアウト・オブ・サンプレットを導き、性能を向上させるかを示す。
  論文  参考訳（メタデータ） (2020-06-15T17:39:44Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。