論文の概要: Scalable CP Decomposition for Tensor Learning using GPU Tensor Cores

• arxiv url: http://arxiv.org/abs/2311.13693v1
• Date: Wed, 22 Nov 2023 21:04:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-28 01:24:40.265826
• Title: Scalable CP Decomposition for Tensor Learning using GPU Tensor Cores
• Title（参考訳）: GPUテンソルコアを用いたテンソル学習のためのスケーラブルCP分解
• Authors: Zeliang Zhang, Zhuo Liu, Susan Liang, Zhiyuan Wang, Yifan Zhu, Chen Ding, Chenliang Xu
• Abstract要約: 本研究では,エクサスケールテンソル分解を支援する圧縮型テンソル分解フレームワークを提案する。 ベースラインと比較すると、エクスカスケール・テンソルは8000倍のテンソルをサポートし、スピードアップは6.95倍である。 また,本手法を遺伝子解析とテンソル層ニューラルネットワークを含む実世界の2つの応用に適用する。
• 参考スコア（独自算出の注目度）: 47.87810316745786
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: CP decomposition is a powerful tool for data science, especially gene analysis, deep learning, and quantum computation. However, the application of tensor decomposition is largely hindered by the exponential increment of the computational complexity and storage consumption with the size of tensors. While the data in our real world is usually presented as trillion- or even exascale-scale tensors, existing work can only support billion-scale scale tensors. In our work, we propose the Exascale-Tensor to mitigate the significant gap. Specifically, we propose a compression-based tensor decomposition framework, namely the exascale-tensor, to support exascale tensor decomposition. Then, we carefully analyze the inherent parallelism and propose a bag of strategies to improve computational efficiency. Last, we conduct experiments to decompose tensors ranging from million-scale to trillion-scale for evaluation. Compared to the baselines, the exascale-tensor supports 8,000x larger tensors and a speedup up to 6.95x. We also apply our method to two real-world applications, including gene analysis and tensor layer neural networks, of which the numeric results demonstrate the scalability and effectiveness of our method.
• Abstract（参考訳）: CP分解はデータサイエンス、特に遺伝子解析、ディープラーニング、量子計算の強力なツールである。 しかし, テンソル分解の応用は, 計算複雑性の指数的増大とテンソルサイズの記憶容量の増大によって大きく妨げられている。 私たちの現実世界のデータは通常、数兆のスケールのテンソルとして表現されるが、既存の研究は数十億のスケールのテンソルしかサポートできない。 本研究では,このギャップを軽減するためにexascale-tensorを提案する。 具体的には,エクサスケールテンソル分解をサポートする圧縮ベーステンソル分解フレームワークを提案する。 そこで我々は本質的並列性を慎重に分析し,計算効率を向上させるための戦略の袋を提案する。 最後に,マルチスケールから1兆スケールまでのテンソルを分解して評価する実験を行った。 ベースラインと比較すると、exascale-tensorは8000倍のテンソルと6.95倍の高速化をサポートする。 また,本手法を遺伝子解析とテンソル層ニューラルネットワークを含む実世界の2つの応用に適用し,本手法のスケーラビリティと有効性を示した。

関連論文リスト

• Unlocking Data-free Low-bit Quantization with Matrix Decomposition for KV Cache Compression [87.5604418100301]
  キー値(KV)キャッシングは,大規模言語モデルの推論を高速化する重要な手法である。 既存の手法はしばしば精度を損なうか、キャリブレーションのために余分なデータを必要とする。 テンソル分解法に基づく新しいデータフリー低ビット量子化手法である textbfDecoQuant を導入する。
  論文  参考訳（メタデータ） (2024-05-21T08:35:10Z)
• Low-Rank Tensor Function Representation for Multi-Dimensional Data Recovery [52.21846313876592]
  低ランクテンソル関数表現(LRTFR)は、無限解像度でメッシュグリッドを超えてデータを連続的に表現することができる。 テンソル関数に対する2つの基本的な概念、すなわちテンソル関数ランクとローランクテンソル関数分解を開発する。 提案手法は,最先端手法と比較して,提案手法の優越性と汎用性を裏付けるものである。
  論文  参考訳（メタデータ） (2022-12-01T04:00:38Z)
• Latent Matrices for Tensor Network Decomposition and to Tensor Completion [8.301418317685906]
  テンソルを小さく分解し,アルゴリズムの計算を高速化する新しい高階テンソル分解モデルを提案する。 LMTN-PAM, LMTN-SVD, LMTN-ARの3つの最適化アルゴリズムを開発し, テンソル補完タスクに適用した。 実験の結果, LMTN-SVDアルゴリズムはFCTN-PAMアルゴリズムの3～6倍高速であり, 1.8ポイントの精度低下しか得られなかった。
  論文  参考訳（メタデータ） (2022-10-07T08:19:50Z)
• Error Analysis of Tensor-Train Cross Approximation [88.83467216606778]
  我々は, テンソル全体の精度保証を行う。 結果は数値実験により検証され、高次テンソルに対するクロス近似の有用性に重要な意味を持つ可能性がある。
  論文  参考訳（メタデータ） (2022-07-09T19:33:59Z)
• Fast and Provable Tensor Robust Principal Component Analysis via Scaled Gradient Descent [30.299284742925852]
  本稿では、テンソルロバスト主成分分析(RPCA)に取り組む。 希少な腐敗によって汚染された観測から低ランクのテンソルを回収することを目的としている。 提案アルゴリズムは, 最先端行列やテンソルRPCAアルゴリズムよりも, より優れた, よりスケーラブルな性能を実現する。
  論文  参考訳（メタデータ） (2022-06-18T04:01:32Z)
• Augmented Tensor Decomposition with Stochastic Optimization [46.16865811396394]
  実世界のテンソルデータは、通常高次で、数百万から数十億のエントリを持つ大きな次元を持つ。 テンソル全体を従来のアルゴリズムで分解するのは高価である。 本稿では、データ拡張を効果的に取り入れて下流の分類を向上する拡張テンソル分解を提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:29:05Z)
• MTC: Multiresolution Tensor Completion from Partial and Coarse Observations [49.931849672492305]
  既存の完備化の定式化は、主に1つのテンソルからの部分的な観測に依存する。 この問題を解決するために,効率的なマルチレゾリューション・コンプリート・モデル(MTC)を提案する。
  論文  参考訳（メタデータ） (2021-06-14T02:20:03Z)
• Scaling and Scalability: Provable Nonconvex Low-Rank Tensor Estimation from Incomplete Measurements [30.395874385570007]
  基本的な課題は、高度に不完全な測定からテンソルを忠実に回収することである。 タッカー分解におけるテンソル因子を直接回復するアルゴリズムを開発した。 2つの正準問題に対する基底真理テンソルの線形独立率で確実に収束することを示す。
  論文  参考訳（メタデータ） (2021-04-29T17:44:49Z)
• Geometric All-Way Boolean Tensor Decomposition [14.065968221500246]
  幾何的視点からテンソルのランク-1 基底を逐次同定する GETF を提案する。 合成データと実世界のデータの両方の実験により、GETFは復元精度、潜伏構造の抽出性能を大幅に向上し、他の最先端手法よりも桁違いに高速であることが示された。
  論文  参考訳（メタデータ） (2020-07-31T03:29:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。