論文の概要: Scalable Frequency- and Length-Aware Subdocument Deduplication for Large Language Model Pretraining

• arxiv url: http://arxiv.org/abs/2608.03089v1
• Date: Tue, 04 Aug 2026 04:02:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:23.025673
• Title: Scalable Frequency- and Length-Aware Subdocument Deduplication for Large Language Model Pretraining
• Title（参考訳）: 大規模言語モデル事前学習のための拡張周波数長対応サブドキュメント重複
• Abstract要約: コピー保持から重複検出を分離するスケーラブルなサブドキュメント複製フレームワークを提案する。 FineWeb-Eduの実験とコードを含むWebコーパスにより,本手法が処理したデータに基づいてトレーニングしたモデルが,全体的な性能を最高のものにすることを示す。
• 参考スコア（独自算出の注目度）: 17.78093240780209
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale pretraining corpora contain substantial duplicate content. Although document-level deduplication is widely used, removing subdocument-level redundancy remains challenging. At corpus scale, suffix-array-based methods are commonly applied independently within shards, leaving cross-shard duplicates undetected and making the resulting retention behavior sensitive to the sharding configuration. Hash-based methods enable global exact duplicate counting, but often rely on fixed copy-retention policies that cannot accommodate heterogeneous repetition patterns. We propose a scalable subdocument deduplication framework that decouples duplicate detection from copy retention. It identifies duplicate groups through natural-boundary segmentation, normalized exact hashing, and distributed aggregation, and then applies an explicit frequency- and length-aware retention policy that allocates an adaptive copy budget to each group, retaining more copies of low-frequency or short repetitions while more aggressively deleting high-frequency or long ones. Experiments on FineWeb-Edu and a code-containing web corpus show that models trained on data processed by our method achieve the best overall performance among the evaluated settings. These results underscore the importance of explicit copy-retention control.
• Abstract（参考訳）: 大規模プレトレーニングコーパスには、かなりの重複内容が含まれている。 文書レベルの重複は広く使われているが、文書レベルの冗長性を取り除くことは依然として困難である。 コーパススケールでは、suffix-array 法は一般にシャード内で独立して適用され、クロスシャードの重複は検出されず、その結果の保持挙動はシャーディング構成に敏感になる。 ハッシュベースの手法は、グローバルな正確な重複カウントを可能にするが、しばしば不均一な繰り返しパターンに対応できない固定されたコピー保持ポリシーに依存する。 コピー保持から重複検出を分離するスケーラブルなサブドキュメント複製フレームワークを提案する。 自然境界セグメンテーション、正規化された正確なハッシュ、分散アグリゲーションを通じて重複グループを特定し、その後、各グループに適応的なコピー予算を割り当て、低頻度または短い繰り返しのコピーを多く保持し、より積極的に高周波または長いコピーを削除する、明示的な周波数および長さ対応の保持ポリシーを適用する。 FineWeb-Eduとコードを含むWebコーパスの実験により,本手法が処理したデータに基づいてトレーニングしたモデルが,評価された設定の中で最高の総合的な性能を達成することを示す。 これらの結果は、明示的なコピー保持制御の重要性を浮き彫りにした。

関連論文リスト

• Action-Aligned Retrieval with Pairwise Multimodal Reranking for Text-Based Person Anomaly Search [10.617164505348283]
  テキストに基づく人物異常検索は、見た目よりもよりきめ細かな、文脈に依存した行動に基づいて個人を識別する必要がある。 既存のメソッドは、これらのコンテキスト条件のアクションをキャプチャするのに苦労する。 本稿では,アクション整合検索とペアワイズ・マルチモーダル・リグレードを組み合わせた3段階間粗大化フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-24T17:04:34Z)
• Generative Universal Multimodal Retrieval with Dual-role Identifiers [1.0981910170846492]
  本稿ではDrIGを提案する。DrIGはDual-role Identifierを特徴とするユニバーサルマルチモーダル検索のための新しい生成フレームワークである。 DrIGは、多種多様なタスクにまたがって、最先端のマルチモーダルベースラインを一貫して上回り、一方、ハイブリッドリグレードは、強い高密度レトリバーに対して好適な効率効率効率のトレードオフを実現する。
  論文  参考訳（メタデータ） (2026-08-13T09:10:09Z)
• Internal Data Repetition Destroys Language Models [28.65775073109903]
  言語モデルは、高品質なトレーニングデータを使い果たし、積極的に重複したコーパスでさえ、ある程度の繰り返しを保っている。 我々は,コンピュータ等価利得とコンピュータ等価損失を報告するために,適合した非繰り返しスケーリング法を用いて,チンチラ時代の繰り返しを再考する。
  論文  参考訳（メタデータ） (2026-06-23T16:02:40Z)
• Beyond the Reranker: Do RAG Retrieval Enhancements Help Once a Strong Reranker Is Present? [3.77661940418406]
  クエリ拡張,階層的およびクロスドキュメント要約,グラフベースの拡張,クエリごとのルーティング,ランク融合,修正的再検索について検討した。 パイプラインの品質の大部分を、強力なクロスエンコーダリランカが占めていることを示す。 残りの再ランク法とプール拡張法は、階層的な要約、グラフ展開、ルーティング、ランク融合など、一般的な用途では、再ランカが存在すれば信頼できる利得は得られない。
  論文  参考訳（メタデータ） (2026-06-14T20:50:41Z)
• AdaPLD: Adaptive Retrieval and Reuse for Efficient Model-Free Speculative Decoding [35.23072855575658]
  本稿では,検索とドラフト構築の両方を適応的に改善するトレーニングフリーな手法であるemphAdaPLDを提案する。 様々なベンチマークで、AdaPLDは目標モデルのフォワードパスを減らし、最大3.10タイムのデコードスピードアップを実現している。
  論文  参考訳（メタデータ） (2026-06-04T06:09:44Z)
• Mitigating Memorization in Text-to-Image Diffusion via Region-Aware Prompt Augmentation and Multimodal Copy Detection [53.789057575175065]
  領域認識型prompt Augmentation(RAPTA)とAttention-Driven Multimodal Copy Detection(ADMCD)を示す。 RAPTAはオブジェクト検出器を使用して、正常な領域を見つけ、それらを意味論的に接地したプロンプトの変種に変換する。 ADMCDは、ローカルパッチ、グローバルセマンティック、テクスチャキューを軽量トランスフォーマーで集約し、融合表現を生成する。 実験により、RAPTAは高い合成品質を維持しながら過度な適合を減少させ、ADMCDはコピーを確実に検出し、単一モードの指標より優れることが示された。
  論文  参考訳（メタデータ） (2026-03-13T15:16:27Z)
• DiffuGR: Generative Document Retrieval with Diffusion Language Models [80.78126312115087]
  本稿ではDiffuGRと呼ばれる拡散言語モデルを用いた生成文書検索を提案する。 推論のために、DiffuGRはDocIDトークンを並列に生成し、制御可能な多数のデノナイジングステップを通じてそれを洗練しようと試みている。 従来の左から右への自動回帰デコーディングとは対照的に、DiffuGRはより信頼性の高いDocIDトークンを生成するための新しいメカニズムを提供する。
  論文  参考訳（メタデータ） (2025-11-11T12:00:09Z)
• Learning Refined Document Representations for Dense Retrieval via Deliberate Thinking [58.69615583599489]
  Deliberate Thinking based Retriever (Debater) は、段階的な思考プロセスを導入することで文書表現を強化する新しいアプローチである。 Debaterは、いくつかのベンチマークで既存のメソッドよりも大幅に優れています。
  論文  参考訳（メタデータ） (2025-02-18T15:56:34Z)
• The Power of Summary-Source Alignments [62.76959473193149]
  多文書要約(MDS)は難しい課題であり、しばしばサリエンスと冗長性検出のサブタスクに分解される。 参照要約とそのソース文書間の対応する文のアライメントを利用して、トレーニングデータを生成する。 本稿では,よりきめ細かな提案スパンレベルで適用することで,要約ソースアライメントフレームワークを拡張することを提案する。
  論文  参考訳（メタデータ） (2024-06-02T19:35:19Z)
• The Mosaic Memory of Large Language Models [7.405082919188384]
  我々は,Large Language Models (LLM) が類似のシーケンスから情報を組み立てることで記憶することを示す。 モザイク記憶を示す主要なLCMを示し, ファジィ複製は, 正確に複製され, 修正された配列の0.8まで記憶に寄与し, 記憶に大きく寄与する。
  論文  参考訳（メタデータ） (2024-05-24T13:05:05Z)
• Mitigating the Learning Bias towards Repetition by Self-Contrastive Training for Open-Ended Generation [92.42032403795879]
  GPT2のような事前訓練された言語モデル(LM)は、繰り返しテキストを生成する傾向にあることを示す。 トークンレベルの反復確率の過大評価は学習バイアスに起因している。 LMは文レベルの繰り返しループの原因となる非繰り返しトークンよりも長い範囲依存を用いて繰り返しトークンを予測する。
  論文  参考訳（メタデータ） (2023-07-04T07:53:55Z)
• Compressive Summarization with Plausibility and Salience Modeling [54.37665950633147]
  本稿では,候補空間に対する厳密な構文的制約を緩和し,その代わりに圧縮決定を2つのデータ駆動基準,すなわち妥当性とサリエンスに委ねることを提案する。 提案手法は,ベンチマーク要約データセット上で強いドメイン内結果を得るとともに,人間による評価により,文法的および事実的削除に対して,可算性モデルが一般的に選択されることを示す。
  論文  参考訳（メタデータ） (2020-10-15T17:07:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。