論文の概要: Spectral Learning on Matrices and Tensors
- arxiv url: http://arxiv.org/abs/2004.07984v1
- Date: Thu, 16 Apr 2020 22:53:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-12 21:11:40.436394
- Title: Spectral Learning on Matrices and Tensors
- Title（参考訳）: 行列とテンソルのスペクトル学習
- Authors: Majid Janzamin, Rong Ge, Jean Kossaifi and Anima Anandkumar
- Abstract要約: テンソル分解は行列法で欠落する潜伏効果を拾うことができることを示す。
また,効率的なテンソル分解法を設計するための計算手法についても概説する。
- 参考スコア（独自算出の注目度）: 74.88243719463053
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spectral methods have been the mainstay in several domains such as machine
learning and scientific computing. They involve finding a certain kind of
spectral decomposition to obtain basis functions that can capture important
structures for the problem at hand. The most common spectral method is the
principal component analysis (PCA). It utilizes the top eigenvectors of the
data covariance matrix, e.g. to carry out dimensionality reduction. This data
pre-processing step is often effective in separating signal from noise. PCA and
other spectral techniques applied to matrices have several limitations. By
limiting to only pairwise moments, they are effectively making a Gaussian
approximation on the underlying data and fail on data with hidden variables
which lead to non-Gaussianity. However, in most data sets, there are latent
effects that cannot be directly observed, e.g., topics in a document corpus, or
underlying causes of a disease. By extending the spectral decomposition methods
to higher order moments, we demonstrate the ability to learn a wide range of
latent variable models efficiently. Higher-order moments can be represented by
tensors, and intuitively, they can encode more information than just pairwise
moment matrices. More crucially, tensor decomposition can pick up latent
effects that are missed by matrix methods, e.g. uniquely identify
non-orthogonal components. Exploiting these aspects turns out to be fruitful
for provable unsupervised learning of a wide range of latent variable models.
We also outline the computational techniques to design efficient tensor
decomposition methods. We introduce Tensorly, which has a simple python
interface for expressing tensor operations. It has a flexible back-end system
supporting NumPy, PyTorch, TensorFlow and MXNet amongst others, allowing
multi-GPU and CPU operations and seamless integration with deep-learning
functionalities.
- Abstract（参考訳）: スペクトル法は、機械学習や科学計算など、いくつかの領域で主流となっている。
それらは、ある種類のスペクトル分解を見つけ、手元にある問題に対する重要な構造を捉える基礎関数を得る。
最も一般的なスペクトル法は主成分分析(PCA)である。
データの共分散行列の最上位固有ベクトル(例えば、次元の縮小を行う)を利用する。
このデータ前処理ステップは、しばしばノイズから信号を切り離すのに効果的である。
PCAや他のスペクトル技術はいくつかの制限がある。
ペアワイズモーメントのみに制限することで、基礎となるデータに対してガウス近似を効果的に行い、非ガウス性につながる隠れた変数を持つデータに失敗する。
しかし、ほとんどのデータセットでは、文書コーパス内のトピックや疾患の根本原因など、直接観察できない潜伏効果がある。
スペクトル分解法を高次モーメントに拡張することにより,様々な潜在変数モデルを効率的に学習できることを示す。
高階モーメントはテンソルで表現でき、直感的には単にペアワイズモーメント行列よりも多くの情報を符号化できる。
より重要なことに、テンソル分解は行列法で見逃される潜在効果(例えば一意に非直交成分を識別するなど)を拾うことができる。
これらの側面の活用は、幅広い潜在変数モデルの教師なし学習が証明可能な実りあることが判明した。
また,効率的なテンソル分解法を設計するための計算手法について概説する。
テンソル演算を表現するためのシンプルなpythonインターフェースを持つtensorlyを紹介する。
NumPy、PyTorch、TensorFlow、MXNetなどをサポートするフレキシブルなバックエンドシステムを備えており、マルチGPUとCPU操作、ディープラーニング機能とのシームレスな統合を可能にする。
関連論文リスト
- Tensor cumulants for statistical inference on invariant distributions [49.80012009682584]
我々は,PCAが信号の大きさの臨界値で計算的に困難になることを示す。
我々は、与えられた次数の不変量に対して明示的でほぼ直交的な基底を与える新しい対象の集合を定義する。
また、異なるアンサンブルを区別する新しい問題も分析できます。
論文 参考訳（メタデータ） (2024-04-29T14:33:24Z) - Laplacian Canonization: A Minimalist Approach to Sign and Basis
Invariant Spectral Embedding [36.61907023057978]
スペクトル埋め込みは強力なグラフ計算手法であり、グラフトランスフォーマーの有効性から最近多くの注目を集めている。
従来の手法は、新しい不変量を学び、高い複雑さに苦しむために、コストのかかるアプローチを開発した。
本研究では,固有ベクトルの正準方向を直接求めることにより,あいまいさを解消する最小限のアプローチを検討する。
論文 参考訳（メタデータ） (2023-10-28T14:35:10Z) - Stochastic Parallelizable Eigengap Dilation for Large Graph Clustering [12.544602297450533]
私たちは、ほとんどのエッジがクラスタ内に落ち、わずかにエッジがクラスタ間に落ちているノードのクラスタを特定することを目的としています。
スペクトルクラスタリングのコアステップは、対応するグラフラプラシア行列の固有分解を行う。
本稿では,SVDソルバを高速化し,スペクトルクラスタリングを行うために,スペクトルを並列化可能なアプローチを提案する。
論文 参考訳（メタデータ） (2022-07-29T10:13:07Z) - Softmax-free Linear Transformers [90.83157268265654]
視覚変換器(ViT)は、視覚知覚タスクの最先端を推し進めている。
既存の手法は理論的に欠陥があるか、視覚認識に経験的に効果がないかのいずれかである。
我々はSoftmax-Free Transformers (SOFT) のファミリーを提案する。
論文 参考訳（メタデータ） (2022-07-05T03:08:27Z) - Probabilistic Simplex Component Analysis [66.30587591100566]
PRISMは、データ循環記述のシンプルさの頂点をデータから識別する確率論的シンプルコンポーネント分析手法である。
この問題には多様な応用があり、最も注目すべきはリモートセンシングにおけるハイパースペクトルアンミックスと機械学習における非負行列分解である。
論文 参考訳（メタデータ） (2021-03-18T05:39:00Z) - Spectral Methods for Data Science: A Statistical Perspective [37.2486912080998]
スペクトル法は、巨大でノイズの多い不完全なデータから情報を抽出するための単純で驚くほど効果的な手法として登場した。
この本は、現代の統計学的観点から、体系的で包括的でアクセスしやすいスペクトル法の導入を意図している。
論文 参考訳（メタデータ） (2020-12-15T18:40:56Z) - Learnable Graph-regularization for Matrix Decomposition [5.9394103049943485]
本稿では,行列分解のための学習可能なグラフ正規化モデルを提案する。
グラフ正規化法と確率行列分解モデルの間のブリッジを構築する。
スパース精度行列推定により、2つのグラフィカル構造をリアルタイムで反復的に学習する。
論文 参考訳（メタデータ） (2020-10-16T17:12:39Z) - Linear-Sample Learning of Low-Rank Distributions [56.59844655107251]
ktimes k$, rank-r$, matrices to normalized $L_1$ distance requires $Omega(frackrepsilon2)$ sample。
我々は、$cal O(frackrepsilon2log2fracepsilon)$ sample, a number linear in the high dimension, and almost linear in the matrices, usually low, rank proofs.というアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-09-30T19:10:32Z) - A Solution for Large Scale Nonlinear Regression with High Rank and
Degree at Constant Memory Complexity via Latent Tensor Reconstruction [0.0]
本稿では,高非線形多変量関数を例から学習する新しい手法を提案する。
この手法は、連続函数をバイスで近似できるという性質を生かし、テンソルで表現できる。
モデルを学習するために,線形時間で実装可能な効率的なアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-05-04T14:49:14Z) - Improved guarantees and a multiple-descent curve for Column Subset
Selection and the Nystr\"om method [76.73096213472897]
我々は,データ行列のスペクトル特性を利用して近似保証を改良する手法を開発した。
我々のアプローチは、特異値減衰の既知の速度を持つデータセットのバウンダリが大幅に向上する。
RBFパラメータを変更すれば,改良された境界線と多重発振曲線の両方を実データセット上で観測できることが示される。
論文 参考訳（メタデータ） (2020-02-21T00:43:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。