論文の概要: Concentration of Random Feature Matrices in High-Dimensions

• arxiv url: http://arxiv.org/abs/2204.06935v1
• Date: Thu, 14 Apr 2022 13:01:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-15 13:04:14.653136
• Title: Concentration of Random Feature Matrices in High-Dimensions
• Title（参考訳）: 高次元におけるランダム特徴量濃度
• Authors: Zhijun Chen, Hayden Schaeffer, Rachel Ward
• Abstract要約: ランダムな特徴行列のスペクトルは、ランダムな特徴回帰問題に使用される線形システムの条件付けに関する情報を提供する。 2つの入力変数に対する2つの設定を考える。どちらもランダム変数か、一方はランダム変数で、もう一方は十分に分離されている。
• 参考スコア（独自算出の注目度）: 7.1171757928258135
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The spectra of random feature matrices provide essential information on the conditioning of the linear system used in random feature regression problems and are thus connected to the consistency and generalization of random feature models. Random feature matrices are asymmetric rectangular nonlinear matrices depending on two input variables, the data and the weights, which can make their characterization challenging. We consider two settings for the two input variables, either both are random variables or one is a random variable and the other is well-separated, i.e. there is a minimum distance between points. With conditions on the dimension, the complexity ratio, and the sampling variance, we show that the singular values of these matrices concentrate near their full expectation and near one with high-probability. In particular, since the dimension depends only on the logarithm of the number of random weights or the number of data points, our complexity bounds can be achieved even in moderate dimensions for many practical setting. The theoretical results are verified with numerical experiments.
• Abstract（参考訳）: ランダム特徴行列のスペクトルは、ランダム特徴回帰問題で使われる線形システムの条件付けに関する重要な情報を提供し、したがってランダム特徴モデルの一貫性と一般化に結びついている。 ランダム特徴行列は、データと重みの2つの入力変数に依存する非対称な非対称な非線形行列であり、特徴付けが困難である。 2つの入力変数の2つの設定について検討し、どちらも確率変数か確率変数で、もう1つは分離が良く、つまり点間の距離は最小である。 次元, 複雑性比, サンプリング分散の条件により, これらの行列の特異値は, 期待値の近傍に集中し, 確率の高い近傍に集中していることが示される。 特に、次元はランダムな重みの数の対数やデータポイントの数にのみ依存するため、我々の複雑性境界は多くの実用的な設定において適度な次元でも達成できる。 理論的結果は数値実験によって検証される。

関連論文リスト

• Automatic feature selection and weighting using Differentiable Information Imbalance [41.452380773977154]
  本稿では,特徴集合間で情報内容のランク付けを行う自動データ解析手法DIIを紹介する。 地上の真理特徴空間における距離に応じて最も近い隣人に基づいて、入力特徴量の低次元部分集合を求める。 識別可能な情報不均衡を損失関数として利用することにより、入力の相対的特徴重みを最適化し、ユニットアライメントと相対的重要スケーリングを同時に行う。
  論文  参考訳（メタデータ） (2024-10-30T11:19:10Z)
• A class of 2 X 2 correlated random-matrix models with Brody spacing distribution [0.0]
  ブロディ分布を固有値間隔分布とする 2 X 2 乱行列モデルのクラスを導入する。 ここで導入されたランダム行列は、ガウス直交アンサンブル(GOE)の3つの重要な方法で異なる。
  論文  参考訳（メタデータ） (2023-08-03T03:11:54Z)
• Quantitative deterministic equivalent of sample covariance matrices with a general dependence structure [0.0]
  我々は、次元とスペクトルパラメータの両方を含む量的境界を証明し、特に実正の半直線に近づくことを可能にする。 応用として、これらの一般モデルの経験スペクトル分布のコルモゴロフ距離の収束の新しい境界を得る。
  論文  参考訳（メタデータ） (2022-11-23T15:50:31Z)
• Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
  データから解釈可能な等価性を発見する方法について検討する。 具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。 また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:19Z)
• Test Set Sizing Via Random Matrix Theory [91.3755431537592]
  本稿ではランダム行列理論の手法を用いて、単純な線形回帰に対して理想的なトレーニング-テストデータ分割を求める。 それは「理想」を整合性計量を満たすものとして定義し、すなわち経験的モデル誤差は実際の測定ノイズである。 本論文は,任意のモデルのトレーニングとテストサイズを,真に最適な方法で解決した最初の論文である。
  論文  参考訳（メタデータ） (2021-12-11T13:18:33Z)
• Numerical Solution of Stiff Ordinary Differential Equations with Random Projection Neural Networks [0.0]
  正規微分方程式(ODE)の解に対する乱射影ニューラルネットワーク(RPNN)に基づく数値スキームを提案する。 提案手法は剛性の影響を受けずに高い数値近似精度を示し,textttode45 と textttode15s の関数よりも優れていた。
  論文  参考訳（メタデータ） (2021-08-03T15:49:17Z)
• Spectral statistics for the difference of two Wishart matrices [1.2225709246035374]
  2つの異なるアプローチを用いて有限次元シナリオにおける対応する固有値の結合確率密度関数を導出する。 これらの結果と、2つのランダム密度行列の差に対する対応する結果との関係を指摘し、スペクトル密度と絶対平均に対する明示的で閉じた式式を得る。
  論文  参考訳（メタデータ） (2020-11-14T18:43:34Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• A Random Matrix Analysis of Random Fourier Features: Beyond the Gaussian Kernel, a Precise Phase Transition, and the Corresponding Double Descent [85.77233010209368]
  本稿では、データサンプルの数が$n$である現実的な環境で、ランダムフーリエ(RFF)回帰の正確さを特徴付けます。 この分析はまた、大きな$n,p,N$のトレーニングとテスト回帰エラーの正確な推定も提供する。
  論文  参考訳（メタデータ） (2020-06-09T02:05:40Z)
• Semiparametric Nonlinear Bipartite Graph Representation Learning with Provable Guarantees [106.91654068632882]
  半パラメトリック指数族分布におけるパラメータの統計的推定問題として、両部グラフを考察し、その表現学習問題を定式化する。 提案手法は, 地中真理付近で強い凸性を示すため, 勾配降下法が線形収束率を達成できることを示す。 我々の推定器は指数族内の任意のモデル誤特定に対して頑健であり、広範な実験で検証されている。
  論文  参考訳（メタデータ） (2020-03-02T16:40:36Z)
• Optimal Iterative Sketching with the Subsampled Randomized Hadamard Transform [64.90148466525754]
  最小二乗問題に対する反復スケッチの性能について検討する。 本研究では、Haar行列とランダム化されたHadamard行列の収束速度が同一であることを示し、ランダムなプロジェクションを経時的に改善することを示した。 これらの手法は、ランダム化次元還元を用いた他のアルゴリズムにも適用することができる。
  論文  参考訳（メタデータ） (2020-02-03T16:17:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。