論文の概要: Precise expressions for random projections: Low-rank approximation and randomized Newton

• arxiv url: http://arxiv.org/abs/2006.10653v3
• Date: Mon, 13 Jun 2022 18:13:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 12:57:28.030077
• Title: Precise expressions for random projections: Low-rank approximation and randomized Newton
• Title（参考訳）: ランダム射影の精密表現:低ランク近似とランダムニュートン
• Authors: Micha{\l} Derezi\'nski, Feynman Liang, Zhenyu Liao and Michael W. Mahoney
• Abstract要約: マトリックススケッチは、そのような次元削減を非常に効率的に行うための強力な技術として登場した。 本研究では,スケッチによって得られたランダムな投影行列の予測値に対して,確率的に正確な表現を提供する手法を開発した。 これらの表現は、様々な機械学習タスクにおける次元削減のパフォーマンスを特徴付けるのに使うことができる。
• 参考スコア（独自算出の注目度）: 63.68433510953756
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is often desirable to reduce the dimensionality of a large dataset by projecting it onto a low-dimensional subspace. Matrix sketching has emerged as a powerful technique for performing such dimensionality reduction very efficiently. Even though there is an extensive literature on the worst-case performance of sketching, existing guarantees are typically very different from what is observed in practice. We exploit recent developments in the spectral analysis of random matrices to develop novel techniques that provide provably accurate expressions for the expected value of random projection matrices obtained via sketching. These expressions can be used to characterize the performance of dimensionality reduction in a variety of common machine learning tasks, ranging from low-rank approximation to iterative stochastic optimization. Our results apply to several popular sketching methods, including Gaussian and Rademacher sketches, and they enable precise analysis of these methods in terms of spectral properties of the data. Empirical results show that the expressions we derive reflect the practical performance of these sketching methods, down to lower-order effects and even constant factors.
• Abstract（参考訳）: 低次元の部分空間に投影することで、大きなデータセットの次元性を減らすことがしばしば望ましい。 マトリックススケッチは、そのような次元削減を非常に効率的に行うための強力な技術として登場した。 スケッチの最悪の性能に関する広範な文献があるが、既存の保証は実際には観察されているものとは大きく異なる。 本研究では,ランダム行列のスペクトル解析における最近の進歩を活かし,スケッチによって得られるランダム射影行列の期待値に対して,確実に正確な表現を提供する新しい手法を開発した。 これらの式は、低ランク近似から反復確率最適化まで、様々な機械学習タスクにおける次元削減のパフォーマンスを特徴付けることができる。 本手法はガウシアンスケッチやラデマッハスケッチなど,いくつかの一般的なスケッチ手法に適用でき,データのスペクトル特性の観点から,これらの手法を高精度に解析できる。 実験結果から,これらのスケッチ手法の実践的性能を,低次効果や定数要因まで反映した表現が得られた。

関連論文リスト

• Distributed Least Squares in Small Space via Sketching and Bias Reduction [0.0]
  マトリックススケッチは、大きなデータ行列のサイズを減らす強力なツールである。 誤差よりも推定器のバイアスを最小限に抑えるスケッチ手法を設計することで,これらの制限を分散環境で回避できることを示す。 特に、最適空間と現在の行列乗算時間で動作するスパーススケッチ法を提案し、2つのパスデータを用いて、ほぼ偏りのない最小二乗推定器を復元する。
  論文  参考訳（メタデータ） (2024-05-08T18:16:37Z)
• Probabilistic Reduced-Dimensional Vector Autoregressive Modeling with Oblique Projections [0.7614628596146602]
  雑音データから低次元ダイナミクスを抽出する低次元ベクトル自己回帰モデルを提案する。 最適斜め分解は、予測誤差の共分散に関する最良の予測可能性のために導出される。 合成ロレンツシステムとイーストマンケミカルの工業プロセスのデータセットを用いて,提案手法の優れた性能と効率を実証した。
  論文  参考訳（メタデータ） (2024-01-14T05:38:10Z)
• An evaluation framework for dimensionality reduction through sectional curvature [59.40521061783166]
  本研究は,非教師付き次元減少性能指標を初めて導入することを目的としている。 その実現可能性をテストするために、この測定基準は最もよく使われる次元削減アルゴリズムの性能を評価するために用いられている。 新しいパラメータ化問題インスタンスジェネレータが関数ジェネレータの形式で構築されている。
  論文  参考訳（メタデータ） (2023-03-17T11:59:33Z)
• Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
  本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。 この問題は楕円分布のペナルティ化された最大推定値として表される。 楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
  論文  参考訳（メタデータ） (2022-10-21T13:19:45Z)
• Sharp Analysis of Sketch-and-Project Methods via a Connection to Randomized Singular Value Decomposition [14.453949553412821]
  本研究では,スケッチ・アンド・プロジェクト手法の収束率の急激な保証を得るための理論的枠組みを開発する。 収束速度はスケッチサイズとともに少なくとも直線的に改善され、データ行列が特定のスペクトル崩壊を示すとさらに高速になることを示す。 我々の実験は、この理論を支持し、非常にスパースなスケッチでさえ、我々のフレームワークによって予測される収束特性を示すことを示した。
  論文  参考訳（メタデータ） (2022-08-20T03:11:13Z)
• Newton-LESS: Sparsification without Trade-offs for the Sketched Newton Update [88.73437209862891]
  2階最適化において、潜在的なボトルネックは繰り返しごとに最適化関数のヘシアン行列を計算することである。 本稿では,ガウススケッチ行列を劇的に分散させることにより,スケッチの計算コストを大幅に削減できることを示す。 ニュートン=ルネッサはガウス埋め込みとほぼ同じ問題に依存しない局所収束率を享受していることを証明した。
  論文  参考訳（メタデータ） (2021-07-15T17:33:05Z)
• Deep Dimension Reduction for Supervised Representation Learning [51.10448064423656]
  本研究は,本質的な特徴を持つ学習表現の次元削減手法を提案する。 提案手法は, 十分次元還元法の非パラメトリック一般化である。 推定された深度非パラメトリック表現は、その余剰リスクが0に収束するという意味で一貫したものであることを示す。
  論文  参考訳（メタデータ） (2020-06-10T14:47:43Z)
• Optimal Iterative Sketching with the Subsampled Randomized Hadamard Transform [64.90148466525754]
  最小二乗問題に対する反復スケッチの性能について検討する。 本研究では、Haar行列とランダム化されたHadamard行列の収束速度が同一であることを示し、ランダムなプロジェクションを経時的に改善することを示した。 これらの手法は、ランダム化次元還元を用いた他のアルゴリズムにも適用することができる。
  論文  参考訳（メタデータ） (2020-02-03T16:17:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。