論文の概要: Efficient Tensor Contraction via Fast Count Sketch

• arxiv url: http://arxiv.org/abs/2106.13062v1
• Date: Thu, 24 Jun 2021 14:40:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-25 15:00:35.807978
• Title: Efficient Tensor Contraction via Fast Count Sketch
• Title（参考訳）: 高速カウントスケッチによる効率的なテンソル収縮
• Authors: Xingyu Cao, Jiani Liu
• Abstract要約: 提案した高速カウントスケッチ(FCS)は、入力テンソルのベクトル形式に複数の短いハッシュ関数に基づくCSを適用する。 CANDECOMP/PARAFAC分解によりFCSの有効性を検証した。 実験の結果,近似精度と計算効率の点で優れた性能を示した。
• 参考スコア（独自算出の注目度）: 3.8073142980733
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sketching uses randomized Hash functions for dimensionality reduction and acceleration. The existing sketching methods, such as count sketch (CS), tensor sketch (TS), and higher-order count sketch (HCS), either suffer from low accuracy or slow speed in some tensor based applications. In this paper, the proposed fast count sketch (FCS) applies multiple shorter Hash functions based CS to the vector form of the input tensor, which is more accurate than TS since the spatial information of the input tensor can be preserved more sufficiently. When the input tensor admits CANDECOMP/PARAFAC decomposition (CPD), FCS can accelerate CS and HCS by using fast Fourier transform, which exhibits a computational complexity asymptotically identical to TS for low-order tensors. The effectiveness of FCS is validated by CPD, tensor regression network compression, and Kronecker product compression. Experimental results show its superior performance in terms of approximation accuracy and computational efficiency.
• Abstract（参考訳）: スケッチは次元の縮小と加速のためにランダムハッシュ関数を使用する。 count sketch (cs)、tensor sketch (ts)、higher-order count sketch (hcs)といった既存のスケッチ手法は、いくつかのtensorベースのアプリケーションで低精度か低速かのどちらかである。 本稿では,入力テンソルの空間情報を十分に保存できるため,入力テンソルのベクトル形式に複数の短いハッシュ関数に基づく高速カウントスケッチ(FCS)を適用する。 入力テンソルがCANDECOMP/PARAFAC分解(CPD)を許容すると、FCSは高速フーリエ変換を用いてCSとHCSを加速し、低次テンソルに対してTSと漸近的に同じ計算複雑性を示す。 FCSの有効性は、CPD、テンソル回帰ネットワーク圧縮、Kronecker製品圧縮によって検証される。 実験の結果、近似精度と計算効率の点で優れた性能を示す。

関連論文リスト

• Unlocking Data-free Low-bit Quantization with Matrix Decomposition for KV Cache Compression [87.5604418100301]
  キー値(KV)キャッシングは,大規模言語モデルの推論を高速化する重要な手法である。 既存の手法はしばしば精度を損なうか、キャリブレーションのために余分なデータを必要とする。 テンソル分解法に基づく新しいデータフリー低ビット量子化手法である textbfDecoQuant を導入する。
  論文  参考訳（メタデータ） (2024-05-21T08:35:10Z)
• Scalable CP Decomposition for Tensor Learning using GPU Tensor Cores [47.87810316745786]
  本研究では,エクサスケールテンソル分解を支援する圧縮型テンソル分解フレームワークを提案する。 ベースラインと比較すると、エクスカスケール・テンソルは8000倍のテンソルをサポートし、スピードアップは6.95倍である。 また,本手法を遺伝子解析とテンソル層ニューラルネットワークを含む実世界の2つの応用に適用する。
  論文  参考訳（メタデータ） (2023-11-22T21:04:59Z)
• Reduce Computational Complexity for Convolutional Layers by Skipping Zeros [9.833821501774596]
  本稿では,畳み込みニューラルネットワークの効率的なアルゴリズムを提案する。 C-K-SアルゴリズムにはGPUの効率的な実装が伴っている。 実験により、C-K-Sは速度と収束の点で優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2023-06-28T06:21:22Z)
• Tensor Completion via Leverage Sampling and Tensor QR Decomposition for Network Latency Estimation [2.982069479212266]
  大規模なネットワーク遅延推定には、多くの計算時間が必要です。 より高速で高精度な新しい手法を提案する。 数値実験により,本手法は精度のよい最先端アルゴリズムよりも高速であることが確認された。
  論文  参考訳（メタデータ） (2023-06-27T07:21:26Z)
• Low-Rank Tensor Function Representation for Multi-Dimensional Data Recovery [52.21846313876592]
  低ランクテンソル関数表現(LRTFR)は、無限解像度でメッシュグリッドを超えてデータを連続的に表現することができる。 テンソル関数に対する2つの基本的な概念、すなわちテンソル関数ランクとローランクテンソル関数分解を開発する。 提案手法は,最先端手法と比較して,提案手法の優越性と汎用性を裏付けるものである。
  論文  参考訳（メタデータ） (2022-12-01T04:00:38Z)
• Latent Matrices for Tensor Network Decomposition and to Tensor Completion [8.301418317685906]
  テンソルを小さく分解し,アルゴリズムの計算を高速化する新しい高階テンソル分解モデルを提案する。 LMTN-PAM, LMTN-SVD, LMTN-ARの3つの最適化アルゴリズムを開発し, テンソル補完タスクに適用した。 実験の結果, LMTN-SVDアルゴリズムはFCTN-PAMアルゴリズムの3～6倍高速であり, 1.8ポイントの精度低下しか得られなかった。
  論文  参考訳（メタデータ） (2022-10-07T08:19:50Z)
• Cost-efficient Gaussian Tensor Network Embeddings for Tensor-structured Inputs [2.737640280995564]
  我々はネットワーク埋め込みを用いてテンソルネットワーク構造入力の次元的低減を行う。 このような埋め込みを用いて、入力データを効率的にスケッチするアルゴリズムを提供する。 列車のラウンドリングのための既存のアルゴリズムの最適性を示す。
  論文  参考訳（メタデータ） (2022-05-26T05:27:31Z)
• Unified Multivariate Gaussian Mixture for Efficient Neural Image Compression [151.3826781154146]
  先行変数と超優先度を持つ潜伏変数は、変動画像圧縮において重要な問題である。 ベクトル化された視点で潜伏変数を観察する際、相関関係や相関関係は存在する。 当社のモデルでは、速度歪曲性能が向上し、圧縮速度が3.18倍に向上した。
  論文  参考訳（メタデータ） (2022-03-21T11:44:17Z)
• Scaling Neural Tangent Kernels via Sketching and Random Features [53.57615759435126]
  最近の研究報告では、NTKレグレッションは、小規模データセットでトレーニングされた有限範囲のニューラルネットワークより優れている。 我々は、アークコサインカーネルの拡張をスケッチして、NTKの近距離入力スパーシティ時間近似アルゴリズムを設計する。 CNTKの特徴をトレーニングした線形回帰器が,CIFAR-10データセット上での正確なCNTKの精度と150倍の高速化を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-15T04:44:52Z)
• Cherry-Picking Gradients: Learning Low-Rank Embeddings of Visual Data via Differentiable Cross-Approximation [53.95297550117153]
  本稿では,大規模な視覚データテンソルの処理を行うエンドツーエンドのトレーニング可能なフレームワークを提案する。 提案手法は大規模多次元グリッドデータや,大規模受容領域上のコンテキストを必要とするタスクに特に有用である。
  論文  参考訳（メタデータ） (2021-05-29T08:39:57Z)
• Kronecker CP Decomposition with Fast Multiplication for Compressing RNNs [11.01184134911405]
  リカレントニューラルネットワーク(RNN)は、自然言語処理やビデオ認識などのシーケンシャルデータに指向するタスクにおいて強力である。 本稿では,Kronecker CANDECOMP/PARAFAC(KCP)分解に基づく圧縮RNNについて考察する。
  論文  参考訳（メタデータ） (2020-08-21T07:29:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。