論文の概要: What Operations can be Performed Directly on Compressed Arrays, and with What Error?
- arxiv url: http://arxiv.org/abs/2406.11209v1
- Date: Mon, 17 Jun 2024 05:01:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-18 18:24:06.789593
- Title: What Operations can be Performed Directly on Compressed Arrays, and with What Error?
- Title（参考訳）: 圧縮アレイ上で直接動作可能な操作は何か、エラーは何か?
- Authors: Tripti Agarwal, Harvey Dam, Dorra Ben Khalifa, Matthieu Martel, P. Sadayappan, Ganesh Gopalakrishnan,
- Abstract要約: 我々は、圧縮されたデータに直接、数十のかなり基本的な操作を可能にする、損失のある圧縮機を開発した。
3つの非自明なアプリケーション上で評価し、内部表現のために異なる数系を選択する。
- 参考スコア（独自算出の注目度）: 1.3307486544794784
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In response to the rapidly escalating costs of computing with large matrices and tensors caused by data movement, several lossy compression methods have been developed to significantly reduce data volumes. Unfortunately, all these methods require the data to be decompressed before further computations are done. In this work, we develop a lossy compressor that allows a dozen fairly fundamental operations directly on compressed data while offering good compression ratios and modest errors. We implement a new compressor PyBlaz based on the familiar GPU-powered PyTorch framework, and evaluate it on three non-trivial applications, choosing different number systems for internal representation. Our results demonstrate that the compressed-domain operations achieve good scalability with problem sizes while incurring errors well within acceptable limits. To our best knowledge, this is the first such lossy compressor that supports compressed-domain operations while achieving acceptable performance as well as error.
- Abstract（参考訳）: データ移動によって引き起こされる大きな行列とテンソルを持つ計算の急激なエスカレートコストに応じて、データ量を大幅に削減するために、いくつかの損失圧縮手法が開発されている。
残念ながら、これらの手法はすべて、さらなる計算が行われる前にデータを圧縮する必要がある。
本研究では,圧縮率とモデム誤差を良好に保ちながら,圧縮されたデータに直接,数十のかなり基本的な操作を行える圧縮機を開発する。
我々は、GPUを用いたPyTorchフレームワークに基づく新しい圧縮機PyBlazを実装し、それを3つの非自明なアプリケーション上で評価し、内部表現のために異なる数系を選択する。
この結果から,圧縮領域演算は許容範囲内でエラーを発生させながら,問題の大きさに優れたスケーラビリティを実現することが示された。
我々の知る限り、この圧縮圧縮機は、許容性能とエラーを達成しつつ、圧縮ドメイン操作をサポートする最初の損失圧縮機である。
関連論文リスト
- Token Compensator: Altering Inference Cost of Vision Transformer without Re-Tuning [63.43972993473501]
視覚変換器(ViT)の訓練と推論を高速化するトークン圧縮
しかし、下流タスクに適用した場合、圧縮度はトレーニングと推論の段階で不一致となる。
本稿では,2段階間の圧縮度を分離するモデル演算フレームワークを提案する。
論文 参考訳（メタデータ） (2024-08-13T10:36:43Z) - Compression of Structured Data with Autoencoders: Provable Benefit of
Nonlinearities and Depth [83.15263499262824]
勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。
浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。
CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
論文 参考訳（メタデータ） (2024-02-07T16:32:29Z) - Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。
グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。
実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
論文 参考訳（メタデータ） (2024-01-15T15:54:54Z) - Lossy and Lossless (L$^2$) Post-training Model Size Compression [12.926354646945397]
本稿では,無損失圧縮と無損失圧縮を統一的に組み合わせた後学習モデルサイズ圧縮法を提案する。
精度を犠牲にすることなく安定な10times$圧縮比を達成でき、短時間で20times$圧縮比を小さくすることができる。
論文 参考訳（メタデータ） (2023-08-08T14:10:16Z) - DiffRate : Differentiable Compression Rate for Efficient Vision
Transformers [98.33906104846386]
Token圧縮は、プルーニング(ドロップ)やトークンのマージによって、大規模な視覚変換器(ViTなど)を高速化することを目的としている。
DiffRate(ディフレート)は、先行技術にはないいくつかの魅力的な特性を持つ新しいトークン圧縮手法である。
論文 参考訳（メタデータ） (2023-05-29T10:15:19Z) - Scalable Hybrid Learning Techniques for Scientific Data Compression [6.803722400888276]
科学者は、抽出された興味の量(QoIs)を正確に保存する圧縮技術を必要とする
本稿では,データ圧縮のためのエンドツーエンドでスケーラブルなGPUベースのパイプラインとして実装された物理インフォームド圧縮手法を提案する。
論文 参考訳（メタデータ） (2022-12-21T03:00:18Z) - A Fast Transformer-based General-Purpose Lossless Compressor [19.5544227045828]
深層学習圧縮機にトランスフォーマーを導入し,履歴依存度を並列に構築する。
既存の変換器は計算に重すぎるため、圧縮タスクと互換性がない。
単層変圧器の容量をフル活用するために, バイトグループ化と共有フィン方式を提案する。
論文 参考訳（メタデータ） (2022-03-30T07:46:19Z) - Exploring Autoencoder-based Error-bounded Compression for Scientific
Data [14.724393511470225]
我々は,SZモデルの観点から,エラーバウンドオートエンコーダベースのフレームワークを開発する。
設計したAEベースエラーバウンド圧縮フレームワークの主段の圧縮品質を最適化する。
論文 参考訳（メタデータ） (2021-05-25T07:53:32Z) - Towards Compact CNNs via Collaborative Compression [166.86915086497433]
チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。
52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
論文 参考訳（メタデータ） (2021-05-24T12:07:38Z) - Analyzing and Mitigating JPEG Compression Defects in Deep Learning [69.04777875711646]
本稿では,JPEG圧縮が共通タスクやデータセットに与える影響を統一的に検討する。
高圧縮の一般的なパフォーマンス指標には大きなペナルティがあることが示される。
論文 参考訳（メタデータ） (2020-11-17T20:32:57Z) - Optimal Gradient Compression for Distributed and Federated Learning [9.711326718689492]
分散学習における計算ノード間の通信は、通常避けられない負担である。
通信効率の訓練アルゴリズムの最近の進歩は、圧縮技術を用いてボトルネックを減らしている。
本稿では,圧縮ベクトルの符号化に必要なビット数と圧縮誤差との基本的なトレードオフについて検討する。
論文 参考訳（メタデータ） (2020-10-07T07:58:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。