論文の概要: FED: Fast and Efficient Dataset Deduplication Framework with GPU Acceleration

• arxiv url: http://arxiv.org/abs/2501.01046v1
• Date: Thu, 02 Jan 2025 04:11:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-05 17:14:49.252187
• Title: FED: Fast and Efficient Dataset Deduplication Framework with GPU Acceleration
• Title（参考訳）: FED:GPUアクセラレーションによる高速で効率的なデータセットの重複処理フレームワーク
• Authors: Youngjun Son, Chaewon Kim, Jaejin Lee,
• Abstract要約: NVIDIAはGPUベースのMinHash LSH復号法を導入したが、依然として準最適である。 sysは、SlimPajamaに含まれるCPUベースの復号化ツールを最大58.3倍の性能を発揮する。 1.2兆のトークンの重複は、4ノード16GPU環境でわずか5.1時間で完了する。
• 参考スコア（独自算出の注目度）: 4.499466939042501
• License:
• Abstract: Dataset deduplication plays a crucial role in enhancing data quality, ultimately improving training performance and efficiency of LLMs. A commonly used method for data deduplication is the MinHash LSH algorithm. Recently, NVIDIA introduced a GPU-based MinHash LSH deduplication method, but it remains suboptimal, leaving room for further improvement in processing efficiency. This paper proposes a GPU-accelerated deduplication framework \sys that optimizes MinHash LSH for GPU clusters and leverages computationally efficient and partially reusable non-cryptographic hash functions. \sys significantly outperforms the CPU-based deduplication tool included in SlimPajama by up to 58.3 times and the GPU-based deduplication tool included in NVIDIA NeMo Curator by up to 8.6 times when processing 1 million documents with a node of four GPUs. Deduplication of 1.2 trillion tokens is completed in just 5.1 hours in a four-node, 16-GPU environment. The related code is publicly available on GitHub (https://github.com/mcrl/FED).
• Abstract（参考訳）: データセットの重複はデータ品質を向上させる上で重要な役割を担い、究極的にはLLMのトレーニング性能と効率を向上させる。 データ重複の一般的な方法は、MinHash LSHアルゴリズムである。 最近NVIDIAはGPUベースのMinHash LSH復号法を導入したが、まだ準最適であり、処理効率をさらに向上する余地を残している。 本稿では、GPUクラスタのMinHash LSHを最適化し、計算効率が高く、部分的に再利用可能な非暗号ハッシュ関数を利用するGPU高速化型復号化フレームワーク \sysを提案する。 \sysは、SlimPajamaに含まれるCPUベースの復号化ツールを最大58.3倍、NVIDIA NeMo Curatorに含まれるGPUベースの復号化ツールを最大8.6倍上回っている。 1.2兆のトークンの重複は、4ノード16GPU環境でわずか5.1時間で完了する。 関連コードはGitHubで公開されている(https://github.com/mcrl/FED)。

関連論文リスト

• Ramp Up NTT in Record Time using GPU-Accelerated Algorithms and LLM-based Code Generation [11.120838175165986]
  ホモモルフィック暗号化(HE)はプライバシ保護機械学習(PPML)のコアビルディングブロックである HEの性能向上のために、多くのGPU加速暗号方式が提案されている。 大規模言語モデル(LLM)の強力なコード生成能力を考えると、実用的なGPUフレンドリなアルゴリズムコードを自動的に生成する可能性を探究する。
  論文  参考訳（メタデータ） (2025-02-16T12:53:23Z)
• Characterization of GPU TEE Overheads in Distributed Data Parallel ML Training [5.236323946557506]
  信頼できるコンピューティング(CC)または信頼できる実行エンクレーブ(TEE)は、クラウドでセキュアなコンピューティングを実現するための最も一般的なアプローチである。 NVIDIAによるGPU TEEの導入により、モデルウェイトやデータをクラウドプロバイダにリークすることなく、マシンラーニング(ML)モデルをトレーニングすることが可能になった。 本稿では,GPU TEEを用いた分散データ並列(DDP)MLトレーニングの実行に伴う性能オーバーヘッドについて,詳細な解析を行った。
  論文  参考訳（メタデータ） (2025-01-20T22:23:50Z)
• HashAttention: Semantic Sparsity for Faster Inference [91.54218318798603]
  HashAttentionは、推奨問題としてピボットトークンの識別をキャストする原則的なアプローチである。 ビットワイズ演算を用いて、このハミング空間における所定のクエリに対する重要なトークンを効率的に識別する。 これはLongBenchとLlama-3.1-8Bモデルの1/32times$で使用されるトークンの数を減らすことができる。
  論文  参考訳（メタデータ） (2024-12-19T02:34:15Z)
• Multi-GPU RI-HF Energies and Analytic Gradients $-$ Towards High Throughput Ab Initio Molecular Dynamics [0.0]
  本稿では,複数グラフィクス処理ユニット(GPU)を用いた高次ハートリー・フォックエネルギーと解析勾配の解法を最適化したアルゴリズムと実装を提案する。 このアルゴリズムは特に、中小分子(10-100原子)の高スループット初期分子動力学シミュレーションのために設計されている。
  論文  参考訳（メタデータ） (2024-07-29T00:14:10Z)
• Cheddar: A Swift Fully Homomorphic Encryption Library for CUDA GPUs [2.613335121517245]
  FHE(Fully homomorphic encryption)は、クラウドコンピューティングにおけるセキュリティとプライバシの問題を解決するための暗号化技術である。 FHEは、暗号化されたデータを処理するための膨大な計算オーバーヘッドを導入し、FHEワークロードは暗号化されていないワークロードよりも2～6桁遅くなりました。 本稿では,GPUのFHEライブラリであるCheddarを提案する。
  論文  参考訳（メタデータ） (2024-07-17T23:49:18Z)
• A Lower Bound of Hash Codes' Performance [122.88252443695492]
  本稿では,ハッシュ符号間のクラス間の差分性とクラス内圧縮性が,ハッシュ符号の性能の低い境界を決定することを証明する。 次に、ハッシュコードの後部を推定し、それを制御することにより、上記の目的を完全に活用する代理モデルを提案し、低バイアス最適化を実現する。 一連のハッシュモデルをテストすることで、平均精度が最大で26.5%、精度が最大で20.5%向上した。
  論文  参考訳（メタデータ） (2022-10-12T03:30:56Z)
• PLSSVM: A (multi-)GPGPU-accelerated Least Squares Support Vector Machine [68.8204255655161]
  Support Vector Machines (SVM) は機械学習で広く使われている。 しかし、現代的で最適化された実装でさえ、最先端ハードウェア上の大きな非自明な高密度データセットにはうまくスケールしない。 PLSSVMはLVMのドロップイン代替として使用できる。
  論文  参考訳（メタデータ） (2022-02-25T13:24:23Z)
• Distributed Out-of-Memory NMF on CPU/GPU Architectures [1.0051474951635875]
  本稿では,HPCシステムに対する非負行列分解(NMF)アルゴリズムのメモリ外実装を提案する。 ベンチマークの結果、CPUベースのNMFkよりもGPUを使用した新しい実装により、32Xから76倍のスピードアップが大幅に改善された。
  論文  参考訳（メタデータ） (2022-02-19T03:49:21Z)
• ASH: A Modern Framework for Parallel Spatial Hashing in 3D Perception [91.24236600199542]
  ASHは、GPU上の並列空間ハッシュのためのモダンで高性能なフレームワークである。 ASHはより高いパフォーマンスを実現し、よりリッチな機能をサポートし、より少ないコード行を必要とする。 ASHとそのサンプルアプリケーションはOpen3Dでオープンソース化されている。
  論文  参考訳（メタデータ） (2021-10-01T16:25:40Z)
• Providing Meaningful Data Summarizations Using Examplar-based Clustering in Industry 4.0 [67.80123919697971]
  我々は,従来のCPUアルゴリズムと比較して,一精度で最大72倍,半精度で最大452倍の高速化を実現していることを示す。 提案アルゴリズムは射出成形プロセスから得られた実世界のデータに適用し, 得られたサマリーが, コスト削減と不良部品製造の削減のために, この特定のプロセスのステアリングにどのように役立つかについて議論する。
  論文  参考訳（メタデータ） (2021-05-25T15:55:14Z)
• Kernel methods through the roof: handling billions of points efficiently [94.31450736250918]
  カーネル法は、非パラメトリック学習に対するエレガントで原則化されたアプローチを提供するが、今のところ大規模な問題ではほとんど利用できない。 最近の進歩は、最適化、数値線形代数、ランダム射影など、多くのアルゴリズム的アイデアの利点を示している。 ここでは、これらの取り組みをさらに進めて、GPUハードウェアを最大限に活用する解決器を開発し、テストする。
  論文  参考訳（メタデータ） (2020-06-18T08:16:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。