論文の概要: NeuKron: Constant-Size Lossy Compression of Sparse Reorderable Matrices and Tensors

• arxiv url: http://arxiv.org/abs/2302.04570v1
• Date: Thu, 9 Feb 2023 11:17:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-10 16:02:18.993074
• Title: NeuKron: Constant-Size Lossy Compression of Sparse Reorderable Matrices and Tensors
• Title（参考訳）: ニュークロン:スパークリオーダー可能な行列とテンソルを一定サイズ圧縮
• Authors: Taehyung Kwon, Jihoon Ko, Jinhong Jung, Kijung Shin
• Abstract要約: スパースリオーダー可能な行列を定数サイズ空間に圧縮するためのNeuKronを提案する。 NeuKronは一定数のパラメータを持つリカレントニューラルネットワークを用いてKronecker製品を一般化する。 我々は、NeuKronが(a)コンパクトであることを示します。
• 参考スコア（独自算出の注目度）: 16.88967944087041
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many real-world data are naturally represented as a sparse reorderable matrix, whose rows and columns can be arbitrarily ordered (e.g., the adjacency matrix of a bipartite graph). Storing a sparse matrix in conventional ways requires an amount of space linear in the number of non-zeros, and lossy compression of sparse matrices (e.g., Truncated SVD) typically requires an amount of space linear in the number of rows and columns. In this work, we propose NeuKron for compressing a sparse reorderable matrix into a constant-size space. NeuKron generalizes Kronecker products using a recurrent neural network with a constant number of parameters. NeuKron updates the parameters so that a given matrix is approximated by the product and reorders the rows and columns of the matrix to facilitate the approximation. The updates take time linear in the number of non-zeros in the input matrix, and the approximation of each entry can be retrieved in logarithmic time. We also extend NeuKron to compress sparse reorderable tensors (e.g. multi-layer graphs), which generalize matrices. Through experiments on ten real-world datasets, we show that NeuKron is (a) Compact: requiring up to five orders of magnitude less space than its best competitor with similar approximation errors, (b) Accurate: giving up to 10x smaller approximation error than its best competitors with similar size outputs, and (c) Scalable: successfully compressing a matrix with over 230 million non-zero entries.
• Abstract（参考訳）: 多くの実世界のデータは自然にスパースリオーダー可能な行列として表され、行と列は任意に順序付けられる(例えば、二部グラフの隣接行列)。 従来の方法でスパース行列をストッキングするには、非ゼロ数の空間線型の量が必要であり、スパース行列(例えば、Trncated SVD)の損失圧縮は通常、行数と列数の空間線型の量を必要とする。 本研究では,スパースリオーダー可能な行列を定数サイズ空間に圧縮するためのNeuKronを提案する。 ニュークロンは定数のパラメータを持つリカレントニューラルネットワークを用いてクロネッカー製品を一般化する。 ニュークロンは与えられた行列が積によって近似するようにパラメータを更新し、近似を容易にするために行列の行と列を再順序付けする。 更新には、入力行列内の非零個数を線形にし、各エントリの近似値を対数時間で取り出すことができる。 我々はまた、行列を一般化するスパースリオーダー可能なテンソル(例えば多層グラフ)を圧縮するためにNeuKronを拡張する。 10個の実世界のデータセットの実験を通して、ニュークロンは (a)コンパクト:類似の近似誤差を持つ競合製品よりも最大5桁のスペースを必要とする。 (b)精度:類似の大きさの出力を持つ競争相手の最大10倍の近似誤差を付与し、 (c)スケーラブル:2億3000万以上の非ゼロエントリを持つマトリックスをうまく圧縮する。

関連論文リスト

• Optimal Quantization for Matrix Multiplication [35.007966885532724]
  我々は、ネスト格子に基づく普遍量化器を、任意の(非ランダムな)行列対に対する近似誤差の明示的な保証付きで、フロベニウスノルム$|A|_F, |B|_F$, $|Atop B|_F$のみの観点から、$A$, $B$とする。
  論文  参考訳（メタデータ） (2024-10-17T17:19:48Z)
• Matrix Compression via Randomized Low Rank and Low Precision Factorization [47.902465710511485]
  現代の行列は数十億の要素を巻き込み、そのストレージと処理は計算資源とメモリ使用量の観点から非常に要求される。 この構造を利用して任意の行列 $mathbfA$ as $mathbfLmathbfR$ の低階分解を求めるアルゴリズムを提案する。 LlaMa-7$bの層を圧縮し,画像圧縮におけるアルゴリズムの有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2023-10-17T06:56:57Z)
• Kissing to Find a Match: Efficient Low-Rank Permutation Representation [33.880247068298374]
  そこで本稿では,低ランク行列係数化を用いて近似し,次いで非線形性を用いて,大きな置換行列の次元性の呪いに取り組むことを提案する。 提案手法の適用性とメリットを,様々な問題に対する一連の実験を通じて実証する。
  論文  参考訳（メタデータ） (2023-08-25T08:59:03Z)
• One-sided Matrix Completion from Two Observations Per Row [95.87811229292056]
  行列の欠落値を$XTX$で計算する自然アルゴリズムを提案する。 合成データの一方の回収と低被覆ゲノムシークエンシングについて,本アルゴリズムの評価を行った。
  論文  参考訳（メタデータ） (2023-06-06T22:35:16Z)
• KrADagrad: Kronecker Approximation-Domination Gradient Preconditioned Stochastic Optimization [69.47358238222586]
  第2の順序付けにより、パラメータのステップサイズと方向を変更でき、損失曲率に適応できる。 最近、シャンプーはこれらの要求を減らすためにクローネッカーファクター付きプレコンディショナーを導入した。 不条件行列の逆行列根を取る。 これは64ビットの精度が必要で、ハードウェアの制約が強い。
  論文  参考訳（メタデータ） (2023-05-30T21:15:45Z)
• Sparse Factorization of Large Square Matrices [10.94053598642913]
  本稿では,大面積の正方行列とスパースフルランク行列の積を近似する。 近似では、我々の手法は$Ntimes N$ full matrix に対して$N(log N)2$ non-zero number しか必要としない。 近似行列がスパースかつハイランクである場合,本手法により近似精度が向上することを示す。
  論文  参考訳（メタデータ） (2021-09-16T18:42:21Z)
• Non-PSD Matrix Sketching with Applications to Regression and Optimization [56.730993511802865]
  非PSDおよび2乗根行列の次元削減法を提案する。 複数のダウンストリームタスクにこれらのテクニックをどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2021-06-16T04:07:48Z)
• On the Expressive Power of Self-Attention Matrices [41.72598286888797]
  固定自己アテンションモジュールは入力に応じて任意のスパースパターンを近似することができることを示す。 行列を近似するために適応的な入力と固定された自己アテンションパラメータを求めるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-07T16:30:28Z)
• Linear-Sample Learning of Low-Rank Distributions [56.59844655107251]
  ktimes k$, rank-r$, matrices to normalized $L_1$ distance requires $Omega(frackrepsilon2)$ sample。 我々は、$cal O(frackrepsilon2log2fracepsilon)$ sample, a number linear in the high dimension, and almost linear in the matrices, usually low, rank proofs.というアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-30T19:10:32Z)
• Compressed sensing of low-rank plus sparse matrices [3.8073142980733]
  この写本は、ランクラパース行列と$sスパース行列の和として表現できる$mtimes n$が計算的に抽出可能な方法で復元可能であることを示す同様の保証を開発する。 その結果, 合成問題, 動的地上/静電分離, マルチスペクトルイメージング, ロバストPCAが得られた。
  論文  参考訳（メタデータ） (2020-07-18T15:36:11Z)
• Sketching Transformed Matrices with Applications to Natural Language Processing [76.6222695417524]
  本稿では, 変換行列を用いて, 与えられた小さな行列の積を計算するための空間効率のよいスケッチアルゴリズムを提案する。 提案手法は誤差が小さく,空間と時間の両方で効率がよいことを示す。
  論文  参考訳（メタデータ） (2020-02-23T03:07:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。