論文の概要: Value-Compressed Sparse Column (VCSC): Sparse Matrix Storage for
Redundant Data
- arxiv url: http://arxiv.org/abs/2309.04355v1
- Date: Fri, 8 Sep 2023 14:24:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-11 13:11:45.125140
- Title: Value-Compressed Sparse Column (VCSC): Sparse Matrix Storage for
Redundant Data
- Title(参考訳): value-compressed sparse column (vcsc): 冗長データのためのスパースマトリックスストレージ
- Authors: Skyler Ruiter, Seth Wolfgang, Marc Tunnell, Timothy Triche Jr., Erin
Carrier, Zachary DeBruine
- Abstract要約: 非常に冗長なスパースデータは、ゲノミクスのような多くの機械学習アプリケーションで一般的である。
圧縮スパースカラム(CSC)の2つの拡張について述べる。
本稿では,VCSC と IVCSC を圧縮形式で読み取ることができることを示す。
- 参考スコア(独自算出の注目度): 1.0485739694839669
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Compressed Sparse Column (CSC) and Coordinate (COO) are popular compression
formats for sparse matrices. However, both CSC and COO are general purpose and
cannot take advantage of any of the properties of the data other than sparsity,
such as data redundancy. Highly redundant sparse data is common in many machine
learning applications, such as genomics, and is often too large for in-core
computation using conventional sparse storage formats. In this paper, we
present two extensions to CSC: (1) Value-Compressed Sparse Column (VCSC) and
(2) Index- and Value-Compressed Sparse Column (IVCSC). VCSC takes advantage of
high redundancy within a column to further compress data up to 3-fold over COO
and 2.25-fold over CSC, without significant negative impact to performance
characteristics. IVCSC extends VCSC by compressing index arrays through delta
encoding and byte-packing, achieving a 10-fold decrease in memory usage over
COO and 7.5-fold decrease over CSC. Our benchmarks on simulated and real data
show that VCSC and IVCSC can be read in compressed form with little added
computational cost. These two novel compression formats offer a broadly useful
solution to encoding and reading redundant sparse data.
- Abstract(参考訳): Compressed Sparse Column (CSC) と Coordinate (COO) はスパース行列の一般的な圧縮フォーマットである。
しかし、CSCとCOOはどちらも汎用的であり、データ冗長性のような疎性以外のデータの性質を活用できない。
高冗長なスパースデータは、ゲノミクスなどの多くの機械学習アプリケーションで一般的であり、従来のスパースストレージフォーマットを使用したインコア計算には大きすぎることが多い。
本稿では,(1)値圧縮スパースカラム(VCSC)と(2)指数圧縮スパースカラム(IVCSC)の2つの拡張について述べる。
VCSCはコラム内の高い冗長性を生かし、3倍のデータをCOOで圧縮し、2.25倍のデータをCSCで圧縮する。
IVCSCは、デルタエンコーディングとバイトパッキングを通じてインデックス配列を圧縮することでVCSCを拡張し、COOよりもメモリ使用量が10倍、CSCより7.5倍減少する。
シミュレーションおよび実データに関するベンチマークでは,VCSCとVCSCを圧縮形式で読み取ることができるが,計算コストは少ない。
これら2つの新しい圧縮フォーマットは、冗長なスパースデータのエンコーディングと読み出しに広く有用なソリューションを提供する。
関連論文リスト
- Convolutional variational autoencoders for secure lossy image compression in remote sensing [47.75904906342974]
本研究では,畳み込み変分オートエンコーダ(CVAE)に基づく画像圧縮について検討する。
CVAEは、JPEG2000のような従来の圧縮手法を圧縮ベンチマークデータセットのかなりのマージンで上回ることが示されている。
論文 参考訳(メタデータ) (2024-04-03T15:17:29Z) - MISC: Ultra-low Bitrate Image Semantic Compression Driven by Large Multimodal Model [78.4051835615796]
本稿では,マルチモーダル画像セマンティック圧縮法を提案する。
画像の意味情報を抽出するLMMエンコーダと、その意味に対応する領域を特定するマップエンコーダと、非常に圧縮されたビットストリームを生成する画像エンコーダと、前記情報に基づいて画像を再構成するデコーダとからなる。
知覚50%を節約しながら最適な一貫性と知覚結果を達成することができ、これは次世代のストレージと通信において強力な可能性を持つ。
論文 参考訳(メタデータ) (2024-02-26T17:11:11Z) - Get More with LESS: Synthesizing Recurrence with KV Cache Compression
for Efficient LLM Inference [83.34219335496073]
我々はキー値(KV)キャッシュによって課されるメモリボトルネックに焦点を当てる。
既存のKVキャッシュ手法は、比較的重要でないKVペアの大きなスワストを刈り取ったり、取り除いたりすることでこの問題に対処する。
本稿では,固定サイズキャッシュと退避型キャッシュを簡易に統合したLESSを提案する。
論文 参考訳(メタデータ) (2024-02-14T18:54:56Z) - Model Tells You What to Discard: Adaptive KV Cache Compression for LLMs [86.98304577162465]
大規模言語モデル(LLM)における生成推論のメモリフットプリントを削減するプラグイン・アンド・プレイ方式である適応KVキャッシュ圧縮を導入する。
我々は,アテンションモジュールの本質的な構造を明らかにするために,ターゲットプロファイリングを行う。
認識された構造に基づいて、我々はKVキャッシュを適応的に構築する: 注意頭上の長距離コンテキストを排除し、局所的なコンテキストを強調し、特別なトークンを中心とした注意頭上の特別なトークンを排除し、すべてのトークンに広く参加する注目頭に対して標準のKVキャッシュのみを使用する。
論文 参考訳(メタデータ) (2023-10-03T05:17:08Z) - LeCo: Lightweight Compression via Learning Serial Correlations [9.108815508920882]
軽量データ圧縮は、カラムストアが分析クエリのパフォーマンスを向上する鍵となる技術である。
本稿では,機械学習を用いて値列内のシリアル冗長性を自動的に除去するフレームワークであるLeCo(Learned Compression)を提案する。
我々は、Arrow列実行エンジンのデータ解析クエリで最大5.2倍のスピードで、RocksDBのスループットが16%向上するのを観察した。
論文 参考訳(メタデータ) (2023-06-27T10:46:36Z) - C3-SL: Circular Convolution-Based Batch-Wise Compression for
Communication-Efficient Split Learning [7.918172297010212]
分割学習(C3-SL)のための円形畳み込みに基づくバッチワイズ圧縮を提案する。
C3-SLは1152倍のメモリと2.25倍のオーバーヘッドを持つ。
論文 参考訳(メタデータ) (2022-07-25T17:59:02Z) - Dynamic Point Cloud Compression with Cross-Sectional Approach [10.850101961203748]
MPEGはV-PCCとして知られるビデオベースのPoint Cloud Compression標準を確定した。
提案手法は,新しい断面法を用いて,これらの制約に対処する。
標準ビデオシーケンスを用いた実験結果から,幾何学的およびテクスチャ的データの両方において,提案手法がより良い圧縮を実現することを示す。
論文 参考訳(メタデータ) (2022-04-25T02:58:18Z) - Split Hierarchical Variational Compression [21.474095984110622]
可変オートエンコーダ(VAE)は、画像データセットの圧縮を行う上で大きな成功を収めている。
SHVCは、ピクセルごとの自己回帰と完全に分解された確率モデルとの一般化を可能にする、効率的な自己回帰的サブピクセル畳み込みを導入している。
論文 参考訳(メタデータ) (2022-04-05T09:13:38Z) - Efficient Data Compression for 3D Sparse TPC via Bicephalous
Convolutional Autoencoder [8.759778406741276]
この研究は、textitBicephalous Convolutional AutoEncoder (BCAE)と呼ばれる、空間と回帰を同時に解決するデュアルヘッドオートエンコーダを導入している。
これはMGARD、SZ、ZFPといった従来のデータ圧縮手法と比較して圧縮忠実度と比の両方の利点を示している。
論文 参考訳(メタデータ) (2021-11-09T21:26:37Z) - Learning to Localize Through Compressed Binary Maps [83.03367511221437]
私たちは、地図表現をローカリゼーションタスクに最適なように圧縮することを学びます。
本実験により,汎用コーデック上での2桁のストレージ要求を削減できるタスク固有圧縮を学習できることが示唆された。
論文 参考訳(メタデータ) (2020-12-20T14:47:15Z) - A Generic Network Compression Framework for Sequential Recommender
Systems [71.81962915192022]
シークエンシャルレコメンデーションシステム(SRS)は,ユーザの動的関心を捉え,高品質なレコメンデーションを生成する上で重要な技術となっている。
CpRecと呼ばれる圧縮されたシーケンシャルレコメンデーションフレームワークを提案する。
大規模なアブレーション研究により、提案したCpRecは実世界のSRSデータセットにおいて最大4$sim$8倍の圧縮速度を達成できることを示した。
論文 参考訳(メタデータ) (2020-04-21T08:40:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。