論文の概要: Tail-Net: Extracting Lowest Singular Triplets for Big Data Applications
- arxiv url: http://arxiv.org/abs/2104.13968v1
- Date: Wed, 28 Apr 2021 19:17:34 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-01 02:38:30.644244
- Title: Tail-Net: Extracting Lowest Singular Triplets for Big Data Applications
- Title(参考訳): Tail-Net: ビッグデータアプリケーションのための最も低い特異トリプレットを抽出する
- Authors: Gurpreet Singh and Soumyajit Gupta
- Abstract要約: 提案する range-net を textbftail-net に拡張し,与えられたbig dataset と rank-r の最小特異要素の効率的な抽出を行う。
検証とベンチマーキングのための合成データセットと実用データセットの数値実験をいくつか紹介します。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: SVD serves as an exploratory tool in identifying the dominant features in the
form of top rank-r singular factors corresponding to the largest singular
values. For Big Data applications it is well known that Singular Value
Decomposition (SVD) is restrictive due to main memory requirements. However, a
number of applications such as community detection, clustering, or bottleneck
identification in large scale graph data-sets rely upon identifying the lowest
singular values and the singular corresponding vectors. For example, the lowest
singular values of a graph Laplacian reveal the number of isolated clusters
(zero singular values) or bottlenecks (lowest non-zero singular values) for
undirected, acyclic graphs. A naive approach here would be to perform a full
SVD however, this quickly becomes infeasible for practical big data
applications due to the enormous memory requirements. Furthermore, for such
applications only a few lowest singular factors are desired making a full
decomposition computationally exorbitant. In this work, we trivially extend the
previously proposed Range-Net to \textbf{Tail-Net} for a memory and compute
efficient extraction of lowest singular factors of a given big dataset and a
specified rank-r. We present a number of numerical experiments on both
synthetic and practical data-sets for verification and bench-marking using
conventional SVD as the baseline.
- Abstract(参考訳): SVDは、最大の特異値に対応するトップランク-r特異因子の形で支配的な特徴を特定するための探索ツールとして機能する。
ビッグデータアプリケーションでは、singular value decomposition(svd)が主なメモリ要件のために制限的であることがよく知られている。
しかしながら、大規模グラフデータセットにおけるコミュニティ検出、クラスタリング、ボトルネック識別などの多くのアプリケーションは、最も低い特異値と特異対応するベクトルの識別に依存している。
例えば、グラフラプラシアンの最低特異値は、非向非巡回グラフに対する孤立したクラスタ(ゼロ特異値)やボトルネック(最も低い非ゼロ特異値)の数を明らかにする。
しかし、これは膨大なメモリ要件のため、実用的なビッグデータアプリケーションではすぐに実現不可能になる。
さらに、そのようなアプリケーションでは、完全な分解を計算的に外接にする最小の特異因子のみが望まれる。
本研究では,提案したRange-Netをメモリに簡単に拡張し,与えられた大データセットと指定されたランクrの最小特異要素の効率的な抽出を計算し,従来のSVDをベースラインとして,検証とベンチマーキングのための総合的および実践的なデータセットに関する数値実験を多数提示する。
関連論文リスト
- Mixed-Precision Embeddings for Large-Scale Recommendation Models [19.93156309493436]
混合精密埋め込み(Mixed-Precision Embeddings、MPE)は、新しい埋め込み圧縮法である。
MPEは予測精度を含まないまま、Criteoデータセット上で約200倍の圧縮を実現している。
論文 参考訳(メタデータ) (2024-09-30T14:04:27Z) - ARC: A Generalist Graph Anomaly Detector with In-Context Learning [62.202323209244]
ARCは汎用的なGADアプローチであり、一対一のGADモデルで様々なグラフデータセットの異常を検出することができる。
ARCはコンテキスト内学習を備えており、ターゲットデータセットからデータセット固有のパターンを直接抽出することができる。
各種領域からの複数のベンチマークデータセットに対する大規模な実験は、ARCの優れた異常検出性能、効率、一般化性を示す。
論文 参考訳(メタデータ) (2024-05-27T02:42:33Z) - Fast and interpretable Support Vector Classification based on the truncated ANOVA decomposition [0.0]
サポートベクタマシン(SVM)は、散在するデータの分類を行うための重要なツールである。
三角関数やウェーブレットに基づく特徴写像を用いて,SVMを原始形式で解くことを提案する。
論文 参考訳(メタデータ) (2024-02-04T10:27:42Z) - Minimally Supervised Learning using Topological Projections in
Self-Organizing Maps [55.31182147885694]
自己組織化マップ(SOM)におけるトポロジカルプロジェクションに基づく半教師付き学習手法を提案する。
提案手法は,まずラベル付きデータ上でSOMを訓練し,最小限のラベル付きデータポイントをキーベストマッチングユニット(BMU)に割り当てる。
提案した最小教師付きモデルが従来の回帰手法を大幅に上回ることを示す。
論文 参考訳(メタデータ) (2024-01-12T22:51:48Z) - On the Eigenvalues of Global Covariance Pooling for Fine-grained Visual
Recognition [65.67315418971688]
グローバル共分散プーリング(GCP)の小さな固有値をトラッピングすることで、よりスムーズな勾配が得られることを示す。
きめ細かいデータセットでは、小さな固有値の切り抜きは、モデルを収束させるのに失敗する。
この観測から着想を得て,小さな固有値の重要性を拡大するネットワーク分岐を提案する。
論文 参考訳(メタデータ) (2022-05-26T11:41:36Z) - Accurate and fast matrix factorization for low-rank learning [4.435094091999926]
高精度な部分特異値分解(SVD)と巨大な行列の数値ランク推定に関する2つの重要な課題に取り組みます。
我々は、これらの目標を達成するために、Golub-Kahanの対角化プロセスやRitzベクトルなどのクリロフ部分空間の概念を使用します。
論文 参考訳(メタデータ) (2021-04-21T22:35:02Z) - Rank-R FNN: A Tensor-Based Learning Model for High-Order Data
Classification [69.26747803963907]
Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。
まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。
Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
論文 参考訳(メタデータ) (2021-04-11T16:37:32Z) - A Local Similarity-Preserving Framework for Nonlinear Dimensionality
Reduction with Neural Networks [56.068488417457935]
本稿では,Vec2vecという新しい局所非線形手法を提案する。
ニューラルネットワークを訓練するために、マトリックスの近傍類似度グラフを構築し、データポイントのコンテキストを定義します。
8つの実データセットにおけるデータ分類とクラスタリングの実験により、Vec2vecは統計仮説テストにおける古典的な次元削減法よりも優れていることが示された。
論文 参考訳(メタデータ) (2021-03-10T23:10:47Z) - Range-Net: A High Precision Streaming SVD for Big Data Applications [6.050462414301623]
ビッグデータ設定コンピューティングでは、主記憶要求のため、支配的なSVD要素が制限される。
Eckart-Young-Mirsky (EYM) の定理によって与えられる尾エネルギーの下界を満たすランダム化SVDの代替として Range-Net を提案する。
論文 参考訳(メタデータ) (2020-10-27T15:42:59Z) - Open Graph Benchmark: Datasets for Machine Learning on Graphs [86.96887552203479]
スケーラブルで堅牢で再現可能なグラフ機械学習(ML)の研究を容易にするために,Open Graph Benchmark(OGB)を提案する。
OGBデータセットは大規模で、複数の重要なグラフMLタスクを含み、さまざまなドメインをカバーする。
各データセットに対して,有意義なアプリケーション固有のデータ分割と評価指標を用いた統一評価プロトコルを提供する。
論文 参考訳(メタデータ) (2020-05-02T03:09:50Z) - Online stochastic gradient descent on non-convex losses from
high-dimensional inference [2.2344764434954256]
勾配降下(SGD)は高次元タスクにおける最適化問題に対する一般的なアルゴリズムである。
本稿では,データから非自明な相関関係を推定する。
本稿では、位相探索や一般化モデルの推定といった一連のタスクに適用することで、我々のアプローチを説明する。
論文 参考訳(メタデータ) (2020-03-23T17:34:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。