Fugu-MT 論文翻訳(概要): Generalized compression and compressive search of large datasets

論文の概要: Generalized compression and compressive search of large datasets

arxiv url: http://arxiv.org/abs/2409.12161v1
Date: Wed, 18 Sep 2024 17:25:31 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-10 15:26:52.693238
Title: Generalized compression and compressive search of large datasets
Title（参考訳）: 大規模データセットの一般化圧縮と圧縮探索
Authors: Morgan E. Prior, Thomas Howard III, Emily Light, Najib Ishaq, Noah M. Daniels,
Abstract要約: panCAKESは圧縮検索の新しいアプローチであり、圧縮されたデータに対して$k$-NNと$rho$-NN検索を実行する方法である。 PanCAKESは多様体仮説を仮定し、データの低次元構造を利用して効率よく圧縮・探索する。ゲノミクス、プロテオミクス、データセットなど、さまざまなデータセットでpanCAKESをベンチマークします。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: The Big Data explosion has necessitated the development of search algorithms that scale sub-linearly in time and memory. While compression algorithms and search algorithms do exist independently, few algorithms offer both, and those which do are domain-specific. We present panCAKES, a novel approach to compressive search, i.e., a way to perform $k$-NN and $\rho$-NN search on compressed data while only decompressing a small, relevant, portion of the data. panCAKES assumes the manifold hypothesis and leverages the low-dimensional structure of the data to compress and search it efficiently. panCAKES is generic over any distance function for which the distance between two points is proportional to the memory cost of storing an encoding of one in terms of the other. This property holds for many widely-used distance functions, e.g. string edit distances (Levenshtein, Needleman-Wunsch, etc.) and set dissimilarity measures (Jaccard, Dice, etc.). We benchmark panCAKES on a variety of datasets, including genomic, proteomic, and set data. We compare compression ratios to gzip, and search performance between the compressed and uncompressed versions of the same dataset. panCAKES achieves compression ratios close to those of gzip, while offering sub-linear time performance for $k$-NN and $\rho$-NN search. We conclude that panCAKES is an efficient, general-purpose algorithm for exact compressive search on large datasets that obey the manifold hypothesis. We provide an open-source implementation of panCAKES in the Rust programming language.
Abstract（参考訳）: ビッグデータの爆発は、時間とメモリでサブ線形にスケールする検索アルゴリズムの開発を必要としている。圧縮アルゴリズムと探索アルゴリズムは独立して存在するが、ドメイン固有のアルゴリズムは少ない。圧縮されたデータに対して$k$-NNと$\rho$-NNの検索を行う方法として,圧縮されたデータの小さな部分のみを圧縮する手法であるpanCAKESを提案する。 PanCAKESは多様体仮説を仮定し、データの低次元構造を利用して効率よく圧縮・探索する。 panCAKESは、2つの点間の距離が一方の符号化を他方の点で記憶するメモリコストに比例する任意の距離関数に対して汎用的である。この性質は、多くの広く使われている距離関数、例えば文字列編集距離 (Levenshtein, Needleman-Wunsch など) や、異性度測度 (Jaccard, Dice など) に対して成り立つ。ゲノミクス、プロテオミクス、データセットなど、さまざまなデータセットでpanCAKESをベンチマークします。圧縮比をgzipと比較し、同じデータセットの圧縮されたバージョンと非圧縮されたバージョンの検索性能を比較した。 panCAKESはgzipに近い圧縮比を実現し、$k$-NNと$\rho$-NN検索のサブ線形時間性能を提供する。我々は,パンケーキは,多様体仮説に従う大規模データセットの精度の高い圧縮探索を行うための,効率的で汎用的なアルゴリズムである,と結論付けた。 Rustプログラミング言語でpanCAKESのオープンソース実装を提供しています。

関連論文リスト

Lightweight Correlation-Aware Table Compression [58.50312417249682]
$texttVirtual$は、既存のオープンフォーマットとシームレスに統合されるフレームワークである。 data-govデータセットの実験によると、$texttVirtual$はApache Parquetと比較してファイルサイズを最大40%削減する。
論文参考訳（メタデータ） (2024-10-17T22:28:07Z)
Sparse $L^1$-Autoencoders for Scientific Data Compression [0.0]
L1$-regularizedの高次元ラテント空間を用いたオートエンコーダの開発により,効率的なデータ圧縮手法を提案する。本稿では,これらの情報に富む潜伏空間を用いて,ぼやけなどのアーティファクトを緩和し,科学的データに対する高効率なデータ圧縮手法を実現する方法について述べる。
論文参考訳（メタデータ） (2024-05-23T07:48:00Z)
Compression of Structured Data with Autoencoders: Provable Benefit of Nonlinearities and Depth [83.15263499262824]
勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。 CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
論文参考訳（メタデータ） (2024-02-07T16:32:29Z)
PECANN: Parallel Efficient Clustering with Graph-Based Approximate Nearest Neighbor Search [8.15681999722805]
本稿では, 点集合の密度に基づくクラスタリングについて検討する。密度ピークの異なる変種を単一のフレームワークPECANNに統合する。 PECANNを用いて5つのクラスタリングアルゴリズムを実装し,最大128万点,最大1024次元の合成および実世界のデータセットを双方向ハイパースレッディングを備えた30コアマシン上で評価する。
論文参考訳（メタデータ） (2023-12-06T22:43:50Z)
Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
論文参考訳（メタデータ） (2022-10-14T01:42:05Z)
COIN++: Data Agnostic Neural Compression [55.27113889737545]
COIN++は、幅広いデータモダリティをシームレスに扱うニューラルネットワーク圧縮フレームワークである。様々なデータモダリティを圧縮することで,本手法の有効性を示す。
論文参考訳（メタデータ） (2022-01-30T20:12:04Z)
Using Convolutional Neural Networks to Detect Compression Algorithms [0.0]
ベースデータセットを使用し、さまざまなアルゴリズムですべてのファイルを圧縮し、それに基づいてモデルを設計します。使用されるモデルは、圧縮、lzip、bzip2を使用して圧縮されたファイルを正確に識別することができた。
論文参考訳（メタデータ） (2021-11-17T11:03:16Z)
Partition and Code: learning how to compress graphs [50.29024357495154]
まず、分割アルゴリズムがグラフを基本構造に分解し、これらを確率分布を学習する小さな辞書の要素にマッピングし、エントロピーエンコーダが表現をビットに変換する。提案アルゴリズムは,非パラメトリックおよびパラメトリックグラフ圧縮器の異なるファミリーに対して,多種多様な実世界のネットワーク上で定量的に評価し,大幅な性能向上を実現している。
論文参考訳（メタデータ） (2021-07-05T11:41:16Z)
EnCoD: Distinguishing Compressed and Encrypted File Fragments [0.9239657838690228]
現在の手法では,大規模な断片サイズであっても,暗号化と圧縮を確実に区別することはできない。圧縮されたデータと暗号化されたデータを確実に区別できる学習ベースの分類器であるEnCoDを,フラグメントから512バイトまで小さく設計する。異なるデータ型の大規模なデータセットに対する現在のアプローチに対するEnCoDの評価を行い、最も検討されたフラグメントサイズやデータタイプに対して、現在の最先端よりも優れていることを示す。
論文参考訳（メタデータ） (2020-10-15T13:55:55Z)
Sampling from a $k$-DPP without looking at all items [58.30573872035083]
カーネル関数とサブセットサイズ$k$が与えられた場合、我々のゴールは、サブセットによって誘導されるカーネル行列の行列式に比例する確率を持つ$n$アイテムから$k$をサンプリングすることである(つまり$k$-DPP)。既存の$k$-DPPサンプリングアルゴリズムは、すべての$n$アイテムを複数回パスする高価な前処理ステップを必要とするため、大規模なデータセットでは利用できない。そこで我々は, 十分大きなデータの均一なサンプルを適応的に構築し, より小さな$k$のアイテムを効率よく生成するアルゴリズムを開発した。
論文参考訳（メタデータ） (2020-06-30T16:40:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。