論文の概要: Range-Net: A High Precision Streaming SVD for Big Data Applications

• arxiv url: http://arxiv.org/abs/2010.14226v6
• Date: Thu, 18 Mar 2021 18:46:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-02 11:39:44.065593
• Title: Range-Net: A High Precision Streaming SVD for Big Data Applications
• Title（参考訳）: Range-Net: ビッグデータアプリケーションのための高精度なストリーミングSVD
• Authors: Gurpreet Singh, Soumyajit Gupta, Matthew Lease, Clint Dawson
• Abstract要約: ビッグデータ設定コンピューティングでは、主記憶要求のため、支配的なSVD要素が制限される。 Eckart-Young-Mirsky (EYM) の定理によって与えられる尾エネルギーの下界を満たすランダム化SVDの代替として Range-Net を提案する。
• 参考スコア（独自算出の注目度）: 6.050462414301623
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In a Big Data setting computing the dominant SVD factors is restrictive due to the main memory requirements. Recently introduced streaming Randomized SVD schemes work under the restrictive assumption that the singular value spectrum of the data has exponential decay. This is seldom true for any practical data. Although these methods are claimed to be applicable to scientific computations due to associated tail-energy error bounds, the approximation errors in the singular vectors and values are high when the aforementioned assumption does not hold. Furthermore from a practical perspective, oversampling can still be memory intensive or worse can exceed the feature dimension of the data. To address these issues, we present Range-Net as an alternative to randomized SVD that satisfies the tail-energy lower bound given by Eckart-Young-Mirsky (EYM) theorem. Range-Net is a deterministic two-stage neural optimization approach with random initialization, where the main memory requirement depends explicitly on the feature dimension and desired rank, independent of the sample dimension. The data samples are read in a streaming setting with the network minimization problem converging to the desired rank-r approximation. Range-Net is fully interpretable where all the network outputs and weights have a specific meaning. We provide theoretical guarantees that Range-Net extracted SVD factors satisfy EYM tail-energy lower bound at machine precision. Our numerical experiments on real data at various scales confirms this bound. A comparison against the state of the art streaming Randomized SVD shows that Range-Net accuracy is better by six orders of magnitude while being memory efficient.
• Abstract（参考訳）: ビッグデータ設定コンピューティングでは、主記憶要求のため、支配的なSVD要素が制限される。 最近導入されたストリーミングランダム化SVDスキームは、データの特異値スペクトルが指数減衰であるという制限的な仮定の下で機能する。 これは実用データにはほとんど当てはまらない。 これらの手法は、関連する尾エネルギー誤差境界によって科学計算に適用できるとされているが、上記の仮定が成り立たない場合、特異ベクトルと値の近似誤差が高い。 さらに、実際的な観点では、オーバーサンプリングは依然としてメモリ集約的であるか、データの特徴次元を超える可能性がある。 これらの問題に対処するために、Eckart-Young-Mirsky (EYM) の定理によって与えられるテールエネルギーの下界を満たすランダム化SVDの代替として Range-Net を提案する。 range-netは、ランダム初期化を伴う決定論的2段階ニューラルネットワーク最適化アプローチであり、主なメモリ要求は、サンプル次元とは無関係に、特徴次元と所望のランクに明示的に依存する。 所望のrank-r近似に収束するネットワーク最小化問題により、データサンプルをストリーミング設定で読み出す。 Range-Netは完全に解釈可能で、全てのネットワーク出力と重みが特定の意味を持つ。 距離-ネット抽出されたsvd因子が機械精度でeymテールエネルギ下限を満たすことを理論的に保証する。 実データの様々なスケールでの数値実験により、この境界が確認できる。 アートストリーミングのランダム化SVDと比較すると、メモリ効率が良く6桁の精度でレンジネットの精度が向上している。

関連論文リスト

• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• On the Size and Approximation Error of Distilled Sets [57.61696480305911]
  カーネル・インジェクション・ポイント(Kernel Inducing Points)などのデータセット蒸留のカーネル・リッジ回帰に基づく手法について理論的に考察する。 我々は、RFF空間におけるその解が元のデータの解と一致するように、元の入力空間に小さな一組のインスタンスが存在することを証明した。 KRR溶液は、全入力データに最適化されたKRR溶液に対して近似を与えるこの蒸留されたインスタンスセットを用いて生成することができる。
  論文  参考訳（メタデータ） (2023-05-23T14:37:43Z)
• RENs: Relevance Encoding Networks [0.0]
  本稿では,遅延空間に先行する自動相対性決定(ARD)を用いて,データ固有のボトルネック次元を学習する新しい確率的VOEベースのフレームワークであるrelevance encoding network (RENs)を提案する。 提案モデルは,サンプルの表現や生成品質を損なうことなく,関連性のあるボトルネック次元を学習することを示す。
  論文  参考訳（メタデータ） (2022-05-25T21:53:48Z)
• Meta Learning Low Rank Covariance Factors for Energy-Based Deterministic Uncertainty [58.144520501201995]
  ニューラルネットワーク層のBi-Lipschitz正規化は、各レイヤの特徴空間におけるデータインスタンス間の相対距離を保存する。 注意セットエンコーダを用いて,タスク固有の共分散行列を効率的に構築するために,対角的,対角的,低ランクな要素のメタ学習を提案する。 また,最終的な予測分布を達成するために,スケールしたエネルギーを利用する推論手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T22:04:19Z)
• SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
  既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。 KRRのストリーミング版であるStreaMRAKを提案する。 本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
  論文  参考訳（メタデータ） (2021-08-23T21:03:09Z)
• Fast Batch Nuclear-norm Maximization and Minimization for Robust Domain Adaptation [154.2195491708548]
  ランダムに選択されたデータバッチの分類出力行列の構造について検討し,予測可能性と多様性について検討した。 本稿では,目標出力行列上で核ノルムを行い,目標予測能力を向上するBatch Nuclear-norm Maximization and Minimizationを提案する。 実験により,本手法は3つの典型的なドメイン適応シナリオにおいて適応精度とロバスト性を高めることができることが示された。
  論文  参考訳（メタデータ） (2021-07-13T15:08:32Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• An improved LogNNet classifier for IoT application [0.0]
  本稿では、半線形ヘノン型離散カオスマップを用いてMNIST-10データセットを分類したフィードフォワードLogNNetニューラルネットワークを提案する。 エントロピーの値と分類の精度の間には直接的な関係があることが示されている。
  論文  参考訳（メタデータ） (2021-05-30T02:12:45Z)
• Tail-Net: Extracting Lowest Singular Triplets for Big Data Applications [0.0]
  提案する range-net を textbftail-net に拡張し,与えられたbig dataset と rank-r の最小特異要素の効率的な抽出を行う。 検証とベンチマーキングのための合成データセットと実用データセットの数値実験をいくつか紹介します。
  論文  参考訳（メタデータ） (2021-04-28T19:17:34Z)
• Fundamental Limits of Ridge-Regularized Empirical Risk Minimization in High Dimensions [41.7567932118769]
  経験的リスク最小化アルゴリズムは、様々な推定や予測タスクで広く利用されている。 本稿では,コンベックスEMMの統計的精度に関する基礎的限界を推論のために初めて特徴づける。
  論文  参考訳（メタデータ） (2020-06-16T04:27:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。