論文の概要: TensorCodec: Compact Lossy Compression of Tensors without Strong Data Assumptions

• arxiv url: http://arxiv.org/abs/2309.10310v1
• Date: Tue, 19 Sep 2023 04:48:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-20 16:27:02.220821
• Title: TensorCodec: Compact Lossy Compression of Tensors without Strong Data Assumptions
• Title（参考訳）: TensorCodec: 強いデータ消費を伴わないテンソルのコンパクトな損失圧縮
• Authors: Taehyung Kwon, Jihoon Ko, Jinhong Jung, and Kijung Shin
• Abstract要約: TENSORCODECは、必ずしも強い入力データ仮定に従わない一般的なテンソルに対する損失圧縮アルゴリズムである。 8つの実世界のデータセットの解析と実験は、TENSORCODECが(a)簡潔であることを示す。 圧縮速度は7.38倍で、同様のリコンストラクションエラーの最大のライバルである。
• 参考スコア（独自算出の注目度）: 22.937900567884796
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many real-world datasets are represented as tensors, i.e., multi-dimensional arrays of numerical values. Storing them without compression often requires substantial space, which grows exponentially with the order. While many tensor compression algorithms are available, many of them rely on strong data assumptions regarding its order, sparsity, rank, and smoothness. In this work, we propose TENSORCODEC, a lossy compression algorithm for general tensors that do not necessarily adhere to strong input data assumptions. TENSORCODEC incorporates three key ideas. The first idea is Neural Tensor-Train Decomposition (NTTD) where we integrate a recurrent neural network into Tensor-Train Decomposition to enhance its expressive power and alleviate the limitations imposed by the low-rank assumption. Another idea is to fold the input tensor into a higher-order tensor to reduce the space required by NTTD. Finally, the mode indices of the input tensor are reordered to reveal patterns that can be exploited by NTTD for improved approximation. Our analysis and experiments on 8 real-world datasets demonstrate that TENSORCODEC is (a) Concise: it gives up to 7.38x more compact compression than the best competitor with similar reconstruction error, (b) Accurate: given the same budget for compressed size, it yields up to 3.33x more accurate reconstruction than the best competitor, (c) Scalable: its empirical compression time is linear in the number of tensor entries, and it reconstructs each entry in logarithmic time. Our code and datasets are available at https://github.com/kbrother/TensorCodec.
• Abstract（参考訳）: 多くの実世界のデータセットはテンソル、すなわち数値の多次元配列として表現される。 圧縮なしで保存するには、しばしばかなりの空間を必要とする。 多くのテンソル圧縮アルゴリズムが利用可能であるが、その多くがその順序、空間性、ランク、滑らかさに関する強いデータ仮定に依存している。 本研究では,強い入力データに必ずしも従わない一般のテンソルに対する損失圧縮アルゴリズムであるtensorcodecを提案する。 TENSORCODECには3つの重要なアイデアが含まれている。 最初のアイデアは、ニューラルネットワークをテンソル・トレイン分解に統合し、その表現力を高め、低ランクな仮定によって課される制限を緩和する、NTTD(Neural Tensor-Train Decomposition)である。 もう1つのアイデアは、入力テンソルを高階テンソルに折り畳み、NTTDが必要とする空間を小さくすることである。 最後に、入力テンソルのモード指標を並べ替えて、NTTDによって近似の改善に活用できるパターンを明らかにする。 8つの実世界のデータセットの解析と実験は、テンソルコーデックが (a)簡潔さ:類似の復元誤差を持つ最高の競合機より最大7.38倍コンパクトな圧縮を与える。 (b)正確:圧縮サイズの予算が同じであれば、最高のコンペティタよりも3.33倍精度が向上する。 (c)スケーラブル:その経験的圧縮時間はテンソルのエントリ数で線形であり、対数時間で各エントリを再構成する。 私たちのコードとデータセットはhttps://github.com/kbrother/TensorCodec.orgで公開されています。

関連論文リスト

• Unlocking Data-free Low-bit Quantization with Matrix Decomposition for KV Cache Compression [87.5604418100301]
  キー値(KV)キャッシングは,大規模言語モデルの推論を高速化する重要な手法である。 既存の手法はしばしば精度を損なうか、キャリブレーションのために余分なデータを必要とする。 テンソル分解法に基づく新しいデータフリー低ビット量子化手法である textbfDecoQuant を導入する。
  論文  参考訳（メタデータ） (2024-05-21T08:35:10Z)
• "Lossless" Compression of Deep Neural Networks: A High-dimensional Neural Tangent Kernel Approach [49.744093838327615]
  広帯域かつ完全接続型エンフディープニューラルネットに対する新しい圧縮手法を提案する。 提案手法の利点を支えるために, 合成データと実世界のデータの両方の実験を行った。
  論文  参考訳（メタデータ） (2024-03-01T03:46:28Z)
• Compression of Structured Data with Autoencoders: Provable Benefit of Nonlinearities and Depth [83.15263499262824]
  勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。 浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。 CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
  論文  参考訳（メタデータ） (2024-02-07T16:32:29Z)
• Multi-Dictionary Tensor Decomposition [5.733331864416094]
  MDTD(Multi-Dictionary Decomposition)のためのフレームワークを提案する。 我々は、完全な入力と入力の両方を欠落した値で処理する、MDTDの一般的な最適化アルゴリズムを導出する。 何十億ものテンソルの欠落した値を、最先端の競合相手よりも正確かつ精巧に説明することができる。
  論文  参考訳（メタデータ） (2023-09-18T12:31:56Z)
• DiffRate : Differentiable Compression Rate for Efficient Vision Transformers [98.33906104846386]
  Token圧縮は、プルーニング(ドロップ)やトークンのマージによって、大規模な視覚変換器(ViTなど)を高速化することを目的としている。 DiffRate(ディフレート)は、先行技術にはないいくつかの魅力的な特性を持つ新しいトークン圧縮手法である。
  論文  参考訳（メタデータ） (2023-05-29T10:15:19Z)
• Latent Matrices for Tensor Network Decomposition and to Tensor Completion [8.301418317685906]
  テンソルを小さく分解し,アルゴリズムの計算を高速化する新しい高階テンソル分解モデルを提案する。 LMTN-PAM, LMTN-SVD, LMTN-ARの3つの最適化アルゴリズムを開発し, テンソル補完タスクに適用した。 実験の結果, LMTN-SVDアルゴリズムはFCTN-PAMアルゴリズムの3～6倍高速であり, 1.8ポイントの精度低下しか得られなかった。
  論文  参考訳（メタデータ） (2022-10-07T08:19:50Z)
• Augmented Tensor Decomposition with Stochastic Optimization [46.16865811396394]
  実世界のテンソルデータは、通常高次で、数百万から数十億のエントリを持つ大きな次元を持つ。 テンソル全体を従来のアルゴリズムで分解するのは高価である。 本稿では、データ拡張を効果的に取り入れて下流の分類を向上する拡張テンソル分解を提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:29:05Z)
• Cherry-Picking Gradients: Learning Low-Rank Embeddings of Visual Data via Differentiable Cross-Approximation [53.95297550117153]
  本稿では,大規模な視覚データテンソルの処理を行うエンドツーエンドのトレーニング可能なフレームワークを提案する。 提案手法は大規模多次元グリッドデータや,大規模受容領域上のコンテキストを必要とするタスクに特に有用である。
  論文  参考訳（メタデータ） (2021-05-29T08:39:57Z)
• DeepReduce: A Sparse-tensor Communication Framework for Distributed Deep Learning [79.89085533866071]
  本稿では,スパーステンソルの圧縮通信のための汎用的フレームワークであるDeepReduceを紹介する。 DeepReduceはテンソルを2つの集合、値とインデックスに分解し、これらの集合の独立圧縮と結合圧縮を可能にする。 大規模実モデルを用いた実験により,DeepReduceはデータ転送を少なくし,既存の手法よりも計算オーバーヘッドを小さくすることを示した。
  論文  参考訳（メタデータ） (2021-02-05T11:31:24Z)
• Distributed Non-Negative Tensor Train Decomposition [3.2264685979617655]
  高次元データは多次元配列、別名テンソルとして表される。 テンソルに潜伏構造(直接観測できない)が存在することは、データのユニークな表現と圧縮を可能にする。 分散非負のテンソルトレインを導入し、そのスケーラビリティと、合成および実世界のビッグデータ上での圧縮を実証する。
  論文  参考訳（メタデータ） (2020-08-04T05:35:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。