論文の概要: Towards fast DBSCAN via Spectrum-Preserving Data Compression
- arxiv url: http://arxiv.org/abs/2411.11421v1
- Date: Mon, 18 Nov 2024 09:46:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-19 14:32:57.841649
- Title: Towards fast DBSCAN via Spectrum-Preserving Data Compression
- Title(参考訳): スペクトル保存データ圧縮による高速DBSCANの実現に向けて
- Authors: Yongyu Wang,
- Abstract要約: 本稿では,スペクトルデータ圧縮を用いてDBSCANを大幅に高速化する新しい手法を提案する。
提案手法は,本質的なクラスタリング特性を保ちながら,データセットのサイズを5倍に縮小する。
USPSのような実世界のデータセットの実験では、クラスタリング性能を維持しながら、この劇的なデータサイズ削減を実現する方法の能力を実証している。
- 参考スコア(独自算出の注目度): 2.1937382384136637
- License:
- Abstract: This paper introduces a novel method to significantly accelerate DBSCAN by employing spectral data compression. The proposed approach reduces the size of the data set by a factor of five while preserving the essential clustering characteristics through an innovative spectral compression technique. This enables DBSCAN to run substantially faster without any loss of accuracy. Experiments on real-world data sets, such as USPS, demonstrate the method's capability to achieve this dramatic reduction in data size while maintaining clustering performance.
- Abstract(参考訳): 本稿では,スペクトルデータ圧縮を用いてDBSCANを大幅に高速化する新しい手法を提案する。
提案手法は、革新的なスペクトル圧縮技術により、本質的なクラスタリング特性を保ちながら、データセットのサイズを5倍に縮小する。
これにより、DBSCANは精度を損なうことなく、大幅に高速に動作することができる。
USPSのような実世界のデータセットの実験では、クラスタリング性能を維持しながら、この劇的なデータサイズ削減を実現する方法の能力を実証している。
関連論文リスト
- Lightweight Correlation-Aware Table Compression [58.50312417249682]
$texttVirtual$は、既存のオープンフォーマットとシームレスに統合されるフレームワークである。
data-govデータセットの実験によると、$texttVirtual$はApache Parquetと比較してファイルサイズを最大40%削減する。
論文 参考訳(メタデータ) (2024-10-17T22:28:07Z) - Sparse $L^1$-Autoencoders for Scientific Data Compression [0.0]
L1$-regularizedの高次元ラテント空間を用いたオートエンコーダの開発により,効率的なデータ圧縮手法を提案する。
本稿では,これらの情報に富む潜伏空間を用いて,ぼやけなどのアーティファクトを緩和し,科学的データに対する高効率なデータ圧縮手法を実現する方法について述べる。
論文 参考訳(メタデータ) (2024-05-23T07:48:00Z) - Convolutional variational autoencoders for secure lossy image compression in remote sensing [47.75904906342974]
本研究では,畳み込み変分オートエンコーダ(CVAE)に基づく画像圧縮について検討する。
CVAEは、JPEG2000のような従来の圧縮手法を圧縮ベンチマークデータセットのかなりのマージンで上回ることが示されている。
論文 参考訳(メタデータ) (2024-04-03T15:17:29Z) - Accelerate Support Vector Clustering via Spectrum-Preserving Data
Compression [5.825190876052149]
提案手法は,まず圧縮されたデータセットを圧縮し,元のデータセットの鍵クラスタ特性を保ちながら計算する。
スペクトル圧縮されたデータセットは、ベクトルクラスタリングをサポートする高速で高品質なアルゴリズムの開発に活用される。
論文 参考訳(メタデータ) (2023-04-19T01:35:05Z) - Unrolled Compressed Blind-Deconvolution [77.88847247301682]
sparse multi channel blind deconvolution (S-MBD) はレーダー/ソナー/超音波イメージングなどの多くの工学的応用で頻繁に発生する。
そこで本研究では,受信した全信号に対して,はるかに少ない測定値からブラインドリカバリを可能にする圧縮手法を提案する。
論文 参考訳(メタデータ) (2022-09-28T15:16:58Z) - DeepSketch: A New Machine Learning-Based Reference Search Technique for
Post-Deduplication Delta Compression [20.311114684028375]
本稿では,DeepSketchを提案する。DeepSketchは,復号後デルタ圧縮のための新しい参照検索手法である。
DeepSketchはディープニューラルネットワークを使用して、データブロックのスケッチ、すなわちブロックの近似データシグネチャを生成する。
評価の結果,DeepSketchは,最先端のデルタ圧縮技術よりも最大で33%(平均21%)の削減率向上を実現していることがわかった。
論文 参考訳(メタデータ) (2022-02-17T16:00:22Z) - Efficient Data Compression for 3D Sparse TPC via Bicephalous
Convolutional Autoencoder [8.759778406741276]
この研究は、textitBicephalous Convolutional AutoEncoder (BCAE)と呼ばれる、空間と回帰を同時に解決するデュアルヘッドオートエンコーダを導入している。
これはMGARD、SZ、ZFPといった従来のデータ圧縮手法と比較して圧縮忠実度と比の両方の利点を示している。
論文 参考訳(メタデータ) (2021-11-09T21:26:37Z) - Towards Compact CNNs via Collaborative Compression [166.86915086497433]
チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。
52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
論文 参考訳(メタデータ) (2021-05-24T12:07:38Z) - An Efficient Statistical-based Gradient Compression Technique for
Distributed Training Systems [77.88178159830905]
Sparsity-Inducing Distribution-based Compression (SIDCo) は閾値に基づくスペーシフィケーションスキームであり、DGCと同等のしきい値推定品質を享受する。
SIDCoは,非圧縮ベースライン,Topk,DGC圧縮機と比較して,最大で41:7%,7:6%,1:9%の速度でトレーニングを高速化する。
論文 参考訳(メタデータ) (2021-01-26T13:06:00Z) - Optimizing Vessel Trajectory Compression [71.42030830910227]
前回の研究では,AISの位置情報をオンラインで消費することで,血管軌跡の要約表現を提供するトラジェクトリ検出モジュールを導入しました。
この手法は、生データの少なくとも70%を冗長として廃棄することにより、元のコースからほとんど逸脱しない信頼性の高い軌道合成を提供することができる。
しかし、そのような軌道圧縮はパラメトリゼーションに非常に敏感である。
各容器のタイプを考慮し, 軌道のシナプスを改良する適切な構成を提供する。
論文 参考訳(メタデータ) (2020-05-11T20:38:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。