論文の概要: Efficient Alternating Least Squares Algorithms for Low Multilinear Rank Approximation of Tensors

• arxiv url: http://arxiv.org/abs/2004.02583v4
• Date: Fri, 2 Apr 2021 02:45:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-16 07:39:55.996271
• Title: Efficient Alternating Least Squares Algorithms for Low Multilinear Rank Approximation of Tensors
• Title（参考訳）: テンソルの低次ランク近似のための効率的な交代最小二乗アルゴリズム
• Authors: Chuanfu Xiao and Chao Yang and Min Li
• Abstract要約: テンソルの低次階数近似を効率的に計算するための最小二乗(ALS)に基づく新しいクラスHOSVDアルゴリズムを提案する。 ALSに基づくアプローチは、中間行列の特異ベクトルの冗長な計算を排除し、したがってデータの爆発をなくすことができる。 合成および実世界の双方の大規模テンソルを用いた数値実験により、ALSベースの手法が原材料全体のコストを大幅に削減し、並列計算に非常にスケーラブルであることを示す。
• 参考スコア（独自算出の注目度）: 6.308492837096872
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The low multilinear rank approximation, also known as the truncated Tucker decomposition, has been extensively utilized in many applications that involve higher-order tensors. Popular methods for low multilinear rank approximation usually rely directly on matrix SVD, therefore often suffer from the notorious intermediate data explosion issue and are not easy to parallelize, especially when the input tensor is large. In this paper, we propose a new class of truncated HOSVD algorithms based on alternating least squares (ALS) for efficiently computing the low multilinear rank approximation of tensors. The proposed ALS-based approaches are able to eliminate the redundant computations of the singular vectors of intermediate matrices and are therefore free of data explosion. Also, the new methods are more flexible with adjustable convergence tolerance and are intrinsically parallelizable on high-performance computers. Theoretical analysis reveals that the ALS iteration in the proposed algorithms is q-linear convergent with a relatively wide convergence region. Numerical experiments with large-scale tensors from both synthetic and real-world applications demonstrate that ALS-based methods can substantially reduce the total cost of the original ones and are highly scalable for parallel computing.
• Abstract（参考訳）: 低次階数近似(英: low multilinear rank approximation、または truncated Tucker decomposition)は、高次テンソルを含む多くの応用で広く利用されている。 低次階数近似の一般的な方法は、通常行列SVDに直接依存するため、しばしば悪名高い中間データ爆発問題に悩まされ、特に入力テンソルが大きい場合、並列化が困難である。 本稿では,テンソルの低マルチリニアランク近似を効率的に計算するために,交互最小二乗法(als)に基づく新しい切り換え型hosvdアルゴリズムを提案する。 提案したALSベースのアプローチは、中間行列の特異ベクトルの冗長な計算を排除し、したがってデータ爆発をなくすことができる。 また、新しい手法は、調整可能な収束耐性を備え、高性能コンピュータ上で本質的に並列化可能である。 理論的解析により、提案アルゴリズムのALS反復は、比較的広い収束領域を持つq線形収束であることが明らかになった。 合成および実世界の双方の大規模テンソルを用いた数値実験により、ALSベースの手法が原材料全体のコストを大幅に削減し、並列計算に非常にスケーラブルであることを示す。

関連論文リスト

• Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
  信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:29:58Z)
• An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
  クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。 このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。 本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-30T15:57:14Z)
• High-Dimensional Sparse Bayesian Learning without Covariance Matrices [66.60078365202867]
  共分散行列の明示的な構成を避ける新しい推論手法を提案する。 本手法では, 数値線形代数と共役勾配アルゴリズムの対角線推定結果とを結合する。 いくつかのシミュレーションにおいて,本手法は計算時間とメモリにおける既存手法よりも拡張性が高い。
  論文  参考訳（メタデータ） (2022-02-25T16:35:26Z)
• Tensor and Matrix Low-Rank Value-Function Approximation in Reinforcement Learning [11.317136648551536]
  値関数近似は強化学習(RL)の中心的な問題である 本稿では、低ランクアルゴリズムを用いてVF行列をオンラインおよびモデルフリーで推定する、擬似非パラメトリック手法を提案する。 VFは多次元である傾向があるため、従来のVF行列表現をテンソル表現に置き換え、PARAFAC分解を用いてオンラインモデルフリーテンソル低ランクアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2022-01-21T00:13:54Z)
• Tensor Network Kalman Filtering for Large-Scale LS-SVMs [17.36231167296782]
  最小二乗支援ベクトルマシンは非線形回帰と分類に使用される。 テンソルネットワークとカルマンフィルタに基づくフレームワークは、要求されるメモリと計算の複雑さを軽減する。 その結果,提案手法は高い性能を達成でき,代替手法が計算能力に欠ける場合には特に有用であることがわかった。
  論文  参考訳（メタデータ） (2021-10-26T08:54:03Z)
• Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
  アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。 本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。 実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
  論文  参考訳（メタデータ） (2021-09-10T07:01:15Z)
• Approximation Algorithms for Sparse Best Rank-1 Approximation to Higher-Order Tensors [1.827510863075184]
  スパーステンソル最高ランク1近似(英: Sparse tensor best rank-1 approximation, BR1Approx)は、密度テンソルBR1Approxの空間一般化である。 低計算量で容易に実装できる4つの近似アルゴリズムが提案されている。 提案手法の有効性を示すために,合成および実データに関する数値実験を行った。
  論文  参考訳（メタデータ） (2020-12-05T18:13:14Z)
• Self-Weighted Robust LDA for Multiclass Classification with Edge Classes [111.5515086563592]
  SWRLDAと呼ばれる,l21ノルムを基準とした新しい自己重み付き頑健なLDAを提案する。 提案するSWRLDAは実装が容易で,実際に高速に収束する。
  論文  参考訳（メタデータ） (2020-09-24T12:32:55Z)
• Enhanced nonconvex low-rank approximation of tensor multi-modes for tensor completion [1.3406858660972554]
  我々は、新しい低ランク近似テンソルマルチモード(LRATM)を提案する。 ブロックバウンド法に基づくアルゴリズムは,提案手法を効率的に解くために設計されている。 3種類の公開多次元データセットの数値計算結果から,本アルゴリズムは様々な低ランクテンソルを復元可能であることが示された。
  論文  参考訳（メタデータ） (2020-05-28T08:53:54Z)
• Optimal Randomized First-Order Methods for Least-Squares Problems [56.05635751529922]
  このアルゴリズムのクラスは、最小二乗問題に対する最も高速な解法のうち、いくつかのランダム化手法を含んでいる。 我々は2つの古典的埋め込み、すなわちガウス射影とアダマール変換のサブサンプリングに焦点を当てる。 得られたアルゴリズムは条件数に依存しない最小二乗問題の解法として最も複雑である。
  論文  参考訳（メタデータ） (2020-02-21T17:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。