論文の概要: a-Tucker: Input-Adaptive and Matricization-Free Tucker Decomposition for Dense Tensors on CPUs and GPUs

• arxiv url: http://arxiv.org/abs/2010.10131v1
• Date: Tue, 20 Oct 2020 08:52:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 07:30:52.965468
• Title: a-Tucker: Input-Adaptive and Matricization-Free Tucker Decomposition for Dense Tensors on CPUs and GPUs
• Title（参考訳）: a-tucker:cpuとgpuの密閉テンソルに対する入力適応型およびマトリシズフリータッカー分解
• Authors: Min Li and Chuanfu Xiao and Chao Yang
• Abstract要約: A-Tuckerは、高密度テンソルの入力適応性と行列化のないタッカー分解のための新しいフレームワークである。 機械学習適応型ソルバセレクタを適用し、入力データとハードウェアの両方のバリエーションを自動的に処理する。
• 参考スコア（独自算出の注目度）: 6.308492837096872
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tucker decomposition is one of the most popular models for analyzing and compressing large-scale tensorial data. Existing Tucker decomposition algorithms usually rely on a single solver to compute the factor matrices and core tensor, and are not flexible enough to adapt with the diversities of the input data and the hardware. Moreover, to exploit highly efficient GEMM kernels, most Tucker decomposition implementations make use of explicit matricizations, which could introduce extra costs in terms of data conversion and memory usage. In this paper, we present a-Tucker, a new framework for input-adaptive and matricization-free Tucker decomposition of dense tensors. A mode-wise flexible Tucker decomposition algorithm is proposed to enable the switch of different solvers for the factor matrices and core tensor, and a machine-learning adaptive solver selector is applied to automatically cope with the variations of both the input data and the hardware. To further improve the performance and enhance the memory efficiency, we implement a-Tucker in a fully matricization-free manner without any conversion between tensors and matrices. Experiments with a variety of synthetic and real-world tensors show that a-Tucker can substantially outperform existing works on both CPUs and GPUs.
• Abstract（参考訳）: タッカー分解は大規模テンソルデータを解析・圧縮するための最も一般的なモデルの一つである。 既存のタッカー分解アルゴリズムは通常、係数行列とコアテンソルを計算するために単一の解法に依存しており、入力データとハードウェアの多様性に対応できるほど柔軟ではない。 さらに、高効率なGEMMカーネルを利用するために、タッカー分解の実装の多くは明示的な行列化を使用しており、データ変換やメモリ使用量に余分なコストがかかる可能性がある。 本稿では,高密度テンソルの入力適応および行列化自由タッカー分解のための新しいフレームワークであるa-Tuckerを提案する。 パラメータ行列とコアテンソルの異なるソルバの切り替えを可能にするモードワイド・フレキシブルなタッカー分解アルゴリズムを提案し、入力データとハードウェアの両方のバリエーションに自動で対処するために機械学習適応型ソルバセレクタを適用した。 さらに性能の向上とメモリ効率の向上を図るため,テンソルと行列の変換を伴わずに,完全に成熟しない方法でa-Tuckerを実装した。 様々な合成および実世界のテンソルを用いた実験では、a-TuckerはCPUとGPUの両方で既存の作業を大幅に上回っている。

関連論文リスト

• Compute Better Spent: Replacing Dense Layers with Structured Matrices [77.61728033234233]
  画像領域における畳み込みネットワークの成功が示すように、高密度行列に対するより効率的な代替手段を同定する。 異なる構造は、しばしばパフォーマンスに不可欠な、非常に異なる初期化尺度と学習率を必要とする。 本稿では,モナール行列を含む新しい行列族Block-Trainを提案する。
  論文  参考訳（メタデータ） (2024-06-10T13:25:43Z)
• HEAT: Hardware-Efficient Automatic Tensor Decomposition for Transformer Compression [69.36555801766762]
  本稿では,分解可能な指数空間を効率的に探索できるハードウェア対応テンソル分解フレームワークHEATを提案する。 ハードウェア対応のBERT変異体は, エネルギー遅延を5.7倍に低減し, 精度が1.1%以下であることを示す。
  論文  参考訳（メタデータ） (2022-11-30T05:31:45Z)
• Tucker-O-Minus Decomposition for Multi-view Tensor Subspace Clustering [36.790637575875635]
  マルチビュークラスタリングのための新しいテンソル分解法Tucker-O-Minus Decomposition (TOMD)を提案する。 6つのベンチマークデータセットの数値実験により,Fスコア,精度,リコール,正規化相互情報,調整されたランドインデックス,精度の観点から,提案手法の優位性を示した。
  論文  参考訳（メタデータ） (2022-10-23T07:20:22Z)
• Softmax-free Linear Transformers [90.83157268265654]
  視覚変換器(ViT)は、視覚知覚タスクの最先端を推し進めている。 既存の手法は理論的に欠陥があるか、視覚認識に経験的に効果がないかのいずれかである。 我々はSoftmax-Free Transformers (SOFT) のファミリーを提案する。
  論文  参考訳（メタデータ） (2022-07-05T03:08:27Z)
• Equivariant vector field network for many-body system modeling [65.22203086172019]
  Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。 シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
  論文  参考訳（メタデータ） (2021-10-26T14:26:25Z)
• SOFT: Softmax-free Transformer with Linear Complexity [112.9754491864247]
  視覚変換器(ViT)は、パッチワイド画像トークン化と自己認識によって、様々な視覚認識タスクの最先端を推し進めている。 線形複雑度で自己注意を近似する様々な試みが自然言語処理で行われている。 これらの制限は、近似中にソフトマックスの自己注意を維持することに根ざしている。 ソフトマックスフリー変圧器(SOFT)を初めて提案する。
  論文  参考訳（メタデータ） (2021-10-22T17:57:29Z)
• Fast Low-Rank Tensor Decomposition by Ridge Leverage Score Sampling [5.740578698172382]
  リッジレバレッジスコア (ridge leverage scores) と呼ばれるランダム化数値線形代数のタッカー分解とツールの利用について検討する。 近似リッジレバレッジスコアを用いて、任意のリッジ回帰問題に対してスケッチされたインスタンスを構築する方法を示す。 本研究では, 合成データと実世界のデータの両方に対して, 大規模かつ低ランクのタッカー分解に対する近似リッジ回帰アルゴリズムの有効性を示す。
  論文  参考訳（メタデータ） (2021-07-22T13:32:47Z)
• Low-Rank and Sparse Enhanced Tucker Decomposition for Tensor Completion [3.498620439731324]
  テンソル完備化のために,低ランクかつスパースに拡張されたタッカー分解モデルを導入する。 我々のモデルはスパースコアテンソルを促進するためにスパース正規化項を持ち、テンソルデータ圧縮に有用である。 テンソルに出現する潜在的な周期性と固有相関特性を利用するので,本モデルでは様々な種類の実世界のデータセットを扱うことが可能である。
  論文  参考訳（メタデータ） (2020-10-01T12:45:39Z)
• Tensor Relational Algebra for Machine Learning System Design [7.764107702934616]
  本稿では、リレーショナルテンソル代数(TRA)と呼ばれる別の実装抽象化を提案する。 TRA は、リレーショナル代数に基づく集合基底代数である。 我々の実証研究は、最適化されたTRAベースのバックエンドが、分散クラスタでMLを実行する際の選択肢を大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2020-09-01T15:51:24Z)
• Spectral Learning on Matrices and Tensors [74.88243719463053]
  テンソル分解は行列法で欠落する潜伏効果を拾うことができることを示す。 また,効率的なテンソル分解法を設計するための計算手法についても概説する。
  論文  参考訳（メタデータ） (2020-04-16T22:53:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。