Fugu-MT 論文翻訳(概要): Towards fast DBSCAN via Spectrum-Preserving Data Compression

論文の概要: Towards fast DBSCAN via Spectrum-Preserving Data Compression

arxiv url: http://arxiv.org/abs/2411.11421v1
Date: Mon, 18 Nov 2024 09:46:45 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-28 17:07:48.662969
Title: Towards fast DBSCAN via Spectrum-Preserving Data Compression
Title（参考訳）: スペクトル保存データ圧縮による高速DBSCANの実現に向けて
Authors: Yongyu Wang,
Abstract要約: 本稿では,スペクトルデータ圧縮を用いてDBSCANを大幅に高速化する新しい手法を提案する。提案手法は,本質的なクラスタリング特性を保ちながら,データセットのサイズを5倍に縮小する。 USPSのような実世界のデータセットの実験では、クラスタリング性能を維持しながら、この劇的なデータサイズ削減を実現する方法の能力を実証している。
参考スコア（独自算出の注目度）: 2.1937382384136637
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper introduces a novel method to significantly accelerate DBSCAN by employing spectral data compression. The proposed approach reduces the size of the data set by a factor of five while preserving the essential clustering characteristics through an innovative spectral compression technique. This enables DBSCAN to run substantially faster without any loss of accuracy. Experiments on real-world data sets, such as USPS, demonstrate the method's capability to achieve this dramatic reduction in data size while maintaining clustering performance.
Abstract（参考訳）: 本稿では,スペクトルデータ圧縮を用いてDBSCANを大幅に高速化する新しい手法を提案する。提案手法は、革新的なスペクトル圧縮技術により、本質的なクラスタリング特性を保ちながら、データセットのサイズを5倍に縮小する。これにより、DBSCANは精度を損なうことなく、大幅に高速に動作することができる。 USPSのような実世界のデータセットの実験では、クラスタリング性能を維持しながら、この劇的なデータサイズ削減を実現する方法の能力を実証している。

関連論文リスト

Accelerating UMAP for Large-Scale Datasets Through Spectral Coarsening [2.1937382384136637]
提案手法は,本質的な多様体構造を保ちながら,データセットのサイズを大幅に削減する。 USPSのような実世界のデータセットの実験では、埋め込み忠実さを損なうことなく、実質的なデータ削減を実現する方法の能力を実証している。
論文参考訳（メタデータ） (2024-11-19T08:32:17Z)
Lightweight Correlation-Aware Table Compression [58.50312417249682]
$texttVirtual$は、既存のオープンフォーマットとシームレスに統合されるフレームワークである。 data-govデータセットの実験によると、$texttVirtual$はApache Parquetと比較してファイルサイズを最大40%削減する。
論文参考訳（メタデータ） (2024-10-17T22:28:07Z)
Sparse $L^1$-Autoencoders for Scientific Data Compression [0.0]
L1$-regularizedの高次元ラテント空間を用いたオートエンコーダの開発により,効率的なデータ圧縮手法を提案する。本稿では,これらの情報に富む潜伏空間を用いて,ぼやけなどのアーティファクトを緩和し,科学的データに対する高効率なデータ圧縮手法を実現する方法について述べる。
論文参考訳（メタデータ） (2024-05-23T07:48:00Z)
Convolutional variational autoencoders for secure lossy image compression in remote sensing [47.75904906342974]
本研究では,畳み込み変分オートエンコーダ(CVAE)に基づく画像圧縮について検討する。 CVAEは、JPEG2000のような従来の圧縮手法を圧縮ベンチマークデータセットのかなりのマージンで上回ることが示されている。
論文参考訳（メタデータ） (2024-04-03T15:17:29Z)
Scalable Density-based Clustering with Random Projections [9.028773906859541]
本稿では,コサイン距離の高い高次元密度クラスタリングアルゴリズムであるsDBSCANを提案する。実証的には、sDBSCANは、現実世界の百万点データセット上の他の多くのクラスタリングアルゴリズムよりもはるかに高速で精度が高い。
論文参考訳（メタデータ） (2024-02-24T01:45:51Z)
Data Structures for Density Estimation [66.36971978162461]
p$のサブリニア数($n$)が与えられた場合、主な結果は$k$のサブリニアで$v_i$を識別する最初のデータ構造になります。また、Acharyaなどのアルゴリズムの改良版も提供します。
論文参考訳（メタデータ） (2023-06-20T06:13:56Z)
Accelerate Support Vector Clustering via Spectrum-Preserving Data Compression [5.825190876052149]
提案手法は,まず圧縮されたデータセットを圧縮し,元のデータセットの鍵クラスタ特性を保ちながら計算する。スペクトル圧縮されたデータセットは、ベクトルクラスタリングをサポートする高速で高品質なアルゴリズムの開発に活用される。
論文参考訳（メタデータ） (2023-04-19T01:35:05Z)
Lossy Compression of Large-Scale Radio Interferometric Data [0.0]
本研究は,ベースライン依存型損失圧縮技術を用いて,可視データ量を削減することを提案する。 MeerKAT と European Very Long Baseline Interferometry Network を基準望遠鏡として,提案手法の性能評価・比較を行っている。
論文参考訳（メタデータ） (2023-04-14T10:50:24Z)
Learned Accelerator Framework for Angular-Distance-Based High-Dimensional DBSCAN [7.949962335466427]
DBSCANのような従来の密度ベースのクラスタリング技術は、高次元データ上での劣化性能を持つ。本稿では,従来のDBSCANとサンプリングに基づくDBSCANの変種を高速化する汎用的な学習アクセラレータフレームワークであるLAFを提案する。評価の結果, LAF強化DBSCAN法は, 効率と品質の両面で, 最先端のDBSCAN法よりも優れていた。
論文参考訳（メタデータ） (2023-02-06T21:49:03Z)
Unrolled Compressed Blind-Deconvolution [77.88847247301682]
sparse multi channel blind deconvolution (S-MBD) はレーダー/ソナー/超音波イメージングなどの多くの工学的応用で頻繁に発生する。そこで本研究では,受信した全信号に対して,はるかに少ない測定値からブラインドリカバリを可能にする圧縮手法を提案する。
論文参考訳（メタデータ） (2022-09-28T15:16:58Z)
DR-DSGD: A Distributionally Robust Decentralized Learning Algorithm over Graphs [54.08445874064361]
本稿では,分散環境下での正規化された分散ロバストな学習問題を解くことを提案する。 Kullback-Liebler正規化関数をロバストなmin-max最適化問題に追加することにより、学習問題を修正されたロバストな問題に還元することができる。提案アルゴリズムは, 最低分布検定精度を最大10%向上できることを示す。
論文参考訳（メタデータ） (2022-08-29T18:01:42Z)
Automating DBSCAN via Deep Reinforcement Learning [73.82740568765279]
本稿では,DBSCANの自動パラメータ検索フレームワークであるDRL-DBSCANを提案する。このフレームワークは、クラスタリング環境をマルコフ決定プロセスとして知覚することで、パラメータ探索方向を調整する過程をモデル化する。このフレームワークはDBSCANクラスタリングの精度を最大で26%、25%改善している。
論文参考訳（メタデータ） (2022-08-09T04:40:11Z)
Efficient Data Compression for 3D Sparse TPC via Bicephalous Convolutional Autoencoder [8.759778406741276]
この研究は、textitBicephalous Convolutional AutoEncoder (BCAE)と呼ばれる、空間と回帰を同時に解決するデュアルヘッドオートエンコーダを導入している。これはMGARD、SZ、ZFPといった従来のデータ圧縮手法と比較して圧縮忠実度と比の両方の利点を示している。
論文参考訳（メタデータ） (2021-11-09T21:26:37Z)
High Performance Out-of-sample Embedding Techniques for Multidimensional Scaling [0.5156484100374058]
我々は,大規模なデータに対するMDSアルゴリズムを拡張するために,サンプル外埋め込み(OSE)ソリューションを提案する。我々は2つのOSE技術を提案する。1つは最適化アプローチに基づくもので、もう1つはニューラルネットワークモデルに基づくものである。
論文参考訳（メタデータ） (2021-11-07T12:36:33Z)
Visual Cluster Separation Using High-Dimensional Sharpened Dimensionality Reduction [65.80631307271705]
高次元シャープ化DR(HD-SDR)は、合成データセットと実世界のデータセットの両方で試験される。提案手法は,高品質(品質指標による測定)を達成し,大規模高次元データを用いて計算的に精度よくスケールする。具体的な応用を説明するため,近年の天文カタログにHD-SDRを適用した。
論文参考訳（メタデータ） (2021-10-01T11:13:51Z)
Towards Compact CNNs via Collaborative Compression [166.86915086497433]
チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
論文参考訳（メタデータ） (2021-05-24T12:07:38Z)
How to distribute data across tasks for meta-learning? [59.608652082495624]
タスクごとのデータポイントの最適な数は予算に依存しますが、それは大きな予算のためのユニークな一定の値に収束します。この結果から,データ収集の簡便かつ効率的な手順が示唆された。
論文参考訳（メタデータ） (2021-03-15T15:38:47Z)
An Efficient Statistical-based Gradient Compression Technique for Distributed Training Systems [77.88178159830905]
Sparsity-Inducing Distribution-based Compression (SIDCo) は閾値に基づくスペーシフィケーションスキームであり、DGCと同等のしきい値推定品質を享受する。 SIDCoは,非圧縮ベースライン,Topk,DGC圧縮機と比較して,最大で41:7%,7:6%,1:9%の速度でトレーニングを高速化する。
論文参考訳（メタデータ） (2021-01-26T13:06:00Z)
Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature Selection [138.97647716793333]
再構成誤差を$l_2,p$ノルム正規化と組み合わせることで,単純かつ効率的な特徴選択手法を提案する。提案する非教師付きモデルを解くための効率的な最適化アルゴリズムを提案し,アルゴリズムの収束と計算の複雑さを理論的に解析する。
論文参考訳（メタデータ） (2020-12-29T04:08:38Z)
Faster DBSCAN via subsampled similarity queries [42.93847281082316]
DBSCANは密度に基づくクラスタリングアルゴリズムとして人気がある。本稿では,サブサンプルである$epsilon$-neighborhoodグラフに基づいてクラスタをクラスタ化するSNG-DBSCANを提案する。
論文参考訳（メタデータ） (2020-06-11T18:57:54Z)
Optimizing Vessel Trajectory Compression [71.42030830910227]
前回の研究では,AISの位置情報をオンラインで消費することで,血管軌跡の要約表現を提供するトラジェクトリ検出モジュールを導入しました。この手法は、生データの少なくとも70%を冗長として廃棄することにより、元のコースからほとんど逸脱しない信頼性の高い軌道合成を提供することができる。しかし、そのような軌道圧縮はパラメトリゼーションに非常に敏感である。各容器のタイプを考慮し, 軌道のシナプスを改良する適切な構成を提供する。
論文参考訳（メタデータ） (2020-05-11T20:38:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。