論文の概要: PUFFER: Incremental Fuzzy Deduplication for Continuously Evolving Corpora

• arxiv url: http://arxiv.org/abs/2608.28622v1
• Date: Wed, 29 Jul 2026 18:11:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.415626
• Title: PUFFER: Incremental Fuzzy Deduplication for Continuously Evolving Corpora
• Title（参考訳）: PUFFER: 継続的進化コーパスのためのインクリメンタルファジィ重複
• Abstract要約: PUFFERは2つの設計選択に基づいて構築されたファジィ復号化パイプラインである。 まず、PUFFERは各LSHバンドを不変、データセットタグ付き、メモリマップされたソートセグメントとして格納する。 第2に、Tファンアウト結合圧縮は定期的にセグメントをマージしてスクリーニングファンアウトを制御する。
• 参考スコア（独自算出の注目度）: 12.788705076648794
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language model training corpora grow through successive, often redundant releases, so each release must be deduplicated against both itself and the accumulated history. At trillion-token scale, this requires incremental ingestion, bounded resident memory, deterministic retry, and dataset-scoped lifecycle control without repeated corpus-wide rebuilding. We introduce PUFFER (Provenance-aware Updatable Fuzzy Filtering for Evolving Repositories), a MinHash-LSH fuzzy-deduplication pipeline built around two design choices. First, PUFFER stores each LSH band as immutable, dataset-tagged, memory-mapped sorted segments, enabling exact historical band-key membership checks without RAM proportional to corpus size. Second, T-fanout tiered compaction periodically merges segments to control screening fanout, trading lower query cost against additional index-maintenance writes while preserving membership decisions. Across N ingested keys and K equal-sized releases, PUFFER's cumulative maintenance cost is O(N log N log_T K), compared with Theta(KN) for repeated snapshot rebuilding. Dataset-tagged segments also support dataset-scoped withdrawal: removal is constant-time for uncompacted or protected datasets, while post-compaction withdrawal reconstructs only the affected merged segment, even if the original dataset is unavailable. In our implementation, PUFFER completed cumulative index-stage ingestion for one billion documents in about 1.75 hours in a single process, using 128 bytes per document for a 16-band index. A classical resident MinHash-LSH table required about 6.5 KB per document and exceeded a 900 GiB RAM cap. In a ten-hour comparison capped at one billion documents, PUFFER was 11x faster than LSHBloom and 35x faster than Milvus-LSH. PUFFER is deployed on more than 30 billion documents, and we release it as open-source software at https://github.com/Zyphra/puffer.
• Abstract（参考訳）: 大規模な言語モデルトレーニングコーパスは、連続した、しばしば冗長なリリースを通じて成長するので、各リリースは、それ自体と蓄積された履歴の両方に対して分離されなければならない。 数兆単位のスケールでは、インクリメンタルな取り込み、リザーブドメモリ、決定論的リトライ、データセットスコープによるライフサイクルコントロールを、コーパス全体の再構築を繰り返すことなく必要とします。 PUFFER(Provenance-aware Updatable Fuzzy Filtering for Evolving Repositories)は,MinHash-LSHファジィ復号パイプラインで,2つの設計選択に基づいて構築されている。 まず、PUFFERは各LSHバンドを不変、データセットタグ付き、メモリマップされたソートセグメントとして保存し、RAMをコーパスサイズに比例しない正確な歴史的なバンドキーメンバシップチェックを可能にする。 第2に、T-fanoutは定期的にセグメントをマージしてスクリーニングのファンアウトを制御し、メンバシップの決定を保ちながらインデックス管理書き込みに対するクエリコストを低減した。 PUFFERの累積メンテナンスコストはO(N log N log_T K)であり、反復的なスナップショット再構築にはTheta(KN)を使用する。 データセットタグ付きセグメントは、データセットスコープによる削除もサポートする: 削除は、未処理または保護されたデータセットに対して一定時間である。 PUFFERは1つのプロセスで約1.75時間で10億件のドキュメントの累積的なインデックスステージの取り込みを完了し、16バンドのインデックスに対して128バイトのドキュメントを使用した。 古典的なMinHash-LSHテーブルは1文書あたり約6.5KBを必要とし、900ギガバイトのRAM容量を超えた。 10億件の文書を比較したところ、PUFFERはLSHBloomより11倍、Milvus-LSHより35倍高速だった。 PUFFERは300億以上のドキュメントにデプロイされており、https://github.com/Zyphra/puffer.comでオープンソースソフトウェアとしてリリースしています。

関連論文リスト

• REIGN: Refurbished Embeddings with Integrated Guidance Networks for Efficient Context-Length Scaling [0.0]
  REIGNは、生のトークンではなく、凍結したガイダンスネットワーク(GN)からのコンテキスト化されたチャンク埋め込みのシーケンスで動作するバイエンコーダである。 コントラストトレーニングと長期文脈における評価のための,合成長文書検索ベンチマークをリリースする。 2組の重要度試験は、特許上の1.6-4.3倍の大きさのモデルと同等であり、LoCo上の20倍大モデルの0.65 nDCG@10の範囲内に留まる。
  論文  参考訳（メタデータ） (2026-08-30T16:50:38Z)
• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• Fractal KV-Cache Archives: Lossless Symbolic Storage with In-Place Retrieval for Long-Context LLM Inference [0.0]
  キー値(KV)キャッシュは、長文の自動回帰推論のメモリコストを支配している。 我々は、位置のKV状態がコードブックインデックスに量子化されると、結果のシンボルストリームを格納する方法を研究する。 記号列を低次元実ベクトルの列にシリアライズする縮約反復写像の族を再検討する。
  論文  参考訳（メタデータ） (2026-07-08T08:37:49Z)
• Improving Long-Context Retrieval with Multi-Prefix Embedding [64.08968715893504]
  Multi-Prefix Embeddingは、ドキュメントをEOSトークンで区切られたチャンクに分割し、完全なシーケンスを単一の因果フォワードパスにエンコードし、各プレフィックス境界に1つの埋め込みを抽出する。 MPEはクロスチャンクコンテキストを保持し、チャンクレベルのMaxSimマッチングを可能にし、ドキュメントレベルの関連ラベルのみをトレーニングする。
  論文  参考訳（メタデータ） (2026-06-22T17:31:02Z)
• No More K-means: Single-Stage Sparse Coding for Efficient Multi-Vector Retrieval [51.43543998583709]
  SSR(Single-stage Sparse Retrieval)は、高価なクラスタリングを効率的なスパースコーディングに置き換えるパラダイムシフトである。 ColBERTv2と比較してインデックス処理時間を15倍短縮し、検索レイテンシを半減させ、同時に検索性能を向上させる。
  論文  参考訳（メタデータ） (2026-05-28T15:53:34Z)
• A Parametric Memory Head for Continual Generative Retrieval [52.66674234249913]
  生成情報検索(GenIR)は、検索を単一のニューラルモデルに統合し、クエリから直接ドキュメント識別子(ドシデント)をデコードする。 逐次適応は、新たに追加された文書の検索を改善するが、以前のスライスの性能は著しく低下することを示す。 本稿では,モジュール型パラメトリックメモリヘッドで適応モデルを拡張するメモリのみの安定化ステージである,後適応メモリチューニング(PAMT)を提案する。
  論文  参考訳（メタデータ） (2026-04-25T17:38:51Z)
• Out of the Memory Barrier: A Highly Memory Efficient Training System for LLMs with Million-Token Contexts [68.79341332280062]
  長いコンテキストでの大規模言語モデル(LLM)のトレーニングは、トレーニング時間ではなく、GPUメモリの異常なオーバーヘッドによって厳しく制限される。 この障壁に直面するメモリ効率の高いトレーニングシステムOOMBを紹介します。 本手法では,オンザフライアクティベーション・リコンピュテーションを備えたチャンク・リカレント・トレーニング・フレームワークを用いて,一定のアクティベーションメモリフットプリントを維持する。
  論文  参考訳（メタデータ） (2026-02-02T13:52:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。