論文の概要: ReScraper: Unified Scraping and Cleaning of Web Data for Effective LLM Pretraining

• arxiv url: http://arxiv.org/abs/2609.34287v1
• Date: Mon, 28 Sep 2026 04:31:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 22:06:37.669164
• Title: ReScraper: Unified Scraping and Cleaning of Web Data for Effective LLM Pretraining
• Title（参考訳）: ReScraper: 効果的なLLM事前トレーニングのためのWebデータの統一ストラップとクリーニング
• Abstract要約: 本稿では,0.6Bパラメータのみの統一言語キュレーションモデルであるReScraperを提案する。 ReScraperをトレーニングするために、3つの教師モデルの出力から教師付きデータを慎重にキュレートする。 同じクロールデータプールに基づき、400M、1.4B、および2.8Bの事前訓練により、DCLM Coreのスコアは各スケールで最強のベースラインに対して3.8--4.7%向上した。
• 参考スコア（独自算出の注目度）: 21.48949511812019
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM pretraining corpora are normally cleaned by a stack of hand-written heuristics. A heuristic scraper extracts the main content from HTML, and dozens of rule-based filters then clean it, so corpus quality is capped by the coarseness and accuracy of the rules. In this work, we propose ReScraper, a unified language model of only 0.6B parameters that replaces this entire stack. To train ReScraper, we carefully curate supervised data from the outputs of three teacher models, so it learns to first extract the main content from raw data and then choose among four operations: keeping the page as extracted, editing out noisy lines and spans, deleting it entirely, or rewriting it when it is poorly written but informative. Based on the same crawled data pool, pretraining 400M, 1.4B, and 2.8B models on our curated data improves the DCLM Core score by a relative 3.8--4.7% over the strongest baseline at each scale, including the costly multi-agent curation. Our analyses show that each operation plays a distinct and complementary role, and that extracting and cleaning in one model outperforms a cascade of separate models. ReScraper also concentrates its operations on the pages that need them, raising the quality of poor pages the most while keeping the corpus diverse. These results demonstrate the feasibility and effectiveness of AI4AI for pretraining data curation, where a small learned model takes over an entire stage of the pipeline from hand-written heuristics. We open-source our code at https://github.com/cxcscmu/ReScraper
• Abstract（参考訳）: LLMプレトレーニングコーパスは通常、手書きのヒューリスティックのスタックによって掃除される。 ヒューリスティックスクレイパーは、HTMLから主要なコンテンツを抽出し、数十のルールベースのフィルタがそれをクリーニングするので、コーパスの品質はルールの粗さと正確さによって制限される。 本研究では,このスタック全体を置き換えた0.6Bパラメータの統一言語モデルであるReScraperを提案する。 ReScraperをトレーニングするためには、3つの教師モデルの出力から教師付きデータを慎重にキュレートするので、まずは生データから主コンテンツを取り出し、次に、ページを抽出したままにしておくこと、ノイズの多い行やスパンを編集すること、完全に削除すること、書きにくいときに書き直すこと、の4つの操作を選択する。 キュレートデータ上で400M,1.4B,2.8Bの事前学習を行い,各スケールで最強のベースラインを相対3.8～4.7%上回り,コストのかかるマルチエージェントキュレーションを含むDCLMコアスコアを向上する。 分析の結果,各操作が相補的な役割を担い,一つのモデルの抽出とクリーニングが別々のモデルのカスケードより優れていることがわかった。 ReScraperはまた、必要なページの操作に集中し、コーパスを多様に保ちながら、ページの質を最も高めている。 これらの結果は、手書きのヒューリスティックからパイプラインの全ステージを小さな学習モデルが引き継ぐデータキュレーションの事前学習におけるAI4AIの有効性と有効性を示している。 私たちは、https://github.com/cxcscmu/ReScraperでコードをオープンソース化しました。

関連論文リスト

• Beyond a Single Extractor: Re-thinking HTML-to-Text Extraction for LLM Pretraining [78.36592534300839]
  表やコードブロックなどの構造化コンテンツの場合、抽出器の選択は下流のタスク性能に大きな影響を及ぼすことを示す。 これは単純な介入を示唆している: 異なる抽出器をユニオンに取り込むことで、DCLM-Baselineのトークン収率を最大71%向上させることができる。
  論文  参考訳（メタデータ） (2026-02-23T06:41:57Z)
• SCRIBES: Web-Scale Script-Based Semi-Structured Data Extraction with Reinforcement Learning [48.376164461507244]
  本稿では,SCRIBES (SCRIpt-Based Semi-Structured Content extract at Web-Scale) を紹介する。 各ページを個別に処理するのではなく、SCRIBESは構造的に類似したWebページのグループに適用可能な再利用可能な抽出スクリプトを生成する。 実験の結果,本手法はスクリプト品質が13%以上向上し,GPT-4oでは4%以上向上することがわかった。
  論文  参考訳（メタデータ） (2025-10-02T09:27:15Z)
• Recycling the Web: A Method to Enhance Pre-training Data Quality and Quantity for Language Models [92.85086256871027]
  我々は,低品質な文書を学習に役立てるために, guIded Rewrite で Web をリサイクルする REWIRE を提案する。 混在するテキストの約82%が、そうでなければ破棄されるであろう、低品質なドキュメントを変換することによるものであることを実証しています。
  論文  参考訳（メタデータ） (2025-06-05T07:12:12Z)
• Cleaner Pretraining Corpus Curation with Neural Web Scraping [39.97459187762505]
  本稿では,Webページから一次的かつクリーンなテキストコンテンツを抽出するための,シンプルで高速かつ効果的なNeuScraper(NeuScraper)を提案する。 実験結果から,NeuScraperは20%以上の改善を達成し,ベースラインスクラップラーを上回ることがわかった。
  論文  参考訳（メタデータ） (2024-02-22T16:04:03Z)
• CodeGen2: Lessons for Training LLMs on Programming and Natural Languages [116.74407069443895]
  我々はエンコーダとデコーダベースのモデルを単一のプレフィックスLMに統一する。 学習方法は,「フリーランチ」仮説の主張を考察する。 データ配信においては,混合分布と多言語学習がモデル性能に及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2023-05-03T17:55:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。