論文の概要: Host-Aware Web Crawling for LLM Pretraining Data

• arxiv url: http://arxiv.org/abs/2610.13321v1
• Date: Fri, 09 Oct 2026 10:03:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.516732
• Title: Host-Aware Web Crawling for LLM Pretraining Data
• Title（参考訳）: LLM事前学習データのためのホスト対応Webクローリング
• Abstract要約: 我々は、より高品質な事前学習データを集めるために、クローラがホスト内およびホスト間で予算を配分する方法について検討する。 我々は、クロール毎に、何千万もの高品質なページが既知のURLの中に残っていると見積もっている。
• 参考スコア（独自算出の注目度）: 2.714704829206689
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Web crawling is a major source of large language model (LLM) pretraining data, yet data-selection pipelines discard a large share of crawled pages. We investigate how a crawler should allocate its budget across and within hosts to collect more high-quality pretraining data. Combining document-level quality classifier scores, web-graph centrality metrics, and Common Crawl's per-host crawl coverage, we find that roughly half of the variation in classifier scores occurs between hosts. In the crawls we analyze, a few pages from a host also provide a useful estimate of the quality of its remaining pages. Common Crawl uses harmonic centrality, a graph centrality metric, to guide its crawl allocation. In our simulations, using centrality to choose which hosts to crawl yields limited gains over random ordering and performs worse for some classifiers. For deciding how deeply to crawl each host, sampling a few pages and then fetching more from hosts with higher-scoring samples collects several times more high-quality pages per fetch than uniform depth or centrality-based allocation. Finally, Common Crawl's observed per-host coverage has little correlation with the evaluated quality signals. We estimate that tens of millions of high-quality pages remain among known but uncrawled URLs in each crawl examined, with most concentrated on a small share of hosts.
• Abstract（参考訳）: Webクローリングは、大規模言語モデル(LLM)のトレーニング済みデータの主要なソースであるが、データ選択パイプラインはクローされたページの大部分を捨てている。 我々は、より高品質な事前学習データを集めるために、クローラがホスト内およびホスト間で予算を配分する方法について検討する。 文書レベルの品質分類器スコア、Webグラフの集中度メトリクス、ホスト毎のクローリングカバレッジを組み合わせることで、ホスト間での分類器スコアの変動のおよそ半分が発生することがわかった。 私たちが分析したクロールでは、ホストから数ページが残りのページの品質を推定するのに役立ちます。 Common Crawlは、そのクローリング割り当てをガイドするために、グラフ中央度メトリックであるハーモニック中央度を使用する。 シミュレーションでは、どのホストをクロールするかを集中的に選択すると、ランダムな順序付けよりも限られた利得が得られ、いくつかの分類器ではより悪い結果が得られます。 各ホストをどれだけ深くクロールするかを決定するために、数ページをサンプリングし、高いスコアのサンプルでホストからより多くのページをフェッチすると、一様深さや集中度に基づくアロケーションよりも、フェッチ毎に数倍の高品質なページが収集される。 最後に、Common Crawlのホストごとのカバレッジは、評価された品質信号とほとんど相関しない。 我々は、クロール毎に、何千万もの高品質なページが既知のURLの中に残っていると見積もっているが、最も多くはホストのごく一部に集中している。

関連論文リスト

• BrowserForge: Scaling Web Episode via Parallel Browser Sandboxes [54.96895469970198]
  BrowserForgeは、オープンなWeb上で多くのブラウザサンドボックスを並行して駆動することで、大規模なWebインタラクションデータを生成する。 BrowserForgeには3つのコンポーネントがある: オープンなWebソーシングステージ。 ルール+モデルクリーニングパイプラインは、失敗した実行を除去し、生き残った推論を単一の統合されたチェーン・オブ・シンクスタイルに書き換える。
  論文  参考訳（メタデータ） (2026-08-25T17:35:42Z)
• Estimating Absolute Web Crawl Coverage From Longitudinal Set Intersections [0.0]
  本稿では,アーカイブの縦データのみを用いて,クローラの絶対カバレッジを推定する手法を提案する。 安定したクロール設定システムのために、クロール可能なURL空間の約46%をカバーしている。
  論文  参考訳（メタデータ） (2026-03-16T15:28:30Z)
• Multi-Vector Index Compression in Any Modality [73.7330345057813]
  後期の相互作用は、テキスト、画像、ビジュアルドキュメント、ビデオにおける情報検索の主要なパラダイムとして現れてきた。 インデックス圧縮には,シーケンスリサイズ,メモリトークン,階層プール,新しいアテンション誘導クラスタリング(AGC)の4つのアプローチを導入する。 AGCは、ドキュメントの最もセマンティックな領域をクラスタセントロイドとして識別し、トークンの集合を重み付けするために注意誘導機構を使用する。
  論文  参考訳（メタデータ） (2026-02-24T18:57:33Z)
• Efficient Crawling for Scalable Web Data Acquisition (Extended Version) [4.64103400183613]
  SB-CLASSIFIERは、多くのターゲットにリンクするページにつながるハイパーリンクを効率的に学習するクローラーである。 クローラは極めて効率的であり,少数の部分のみをクロールしながら,サイトのターゲットを高い割合で提供できることが示される。
  論文  参考訳（メタデータ） (2026-02-12T12:23:53Z)
• Craw4LLM: Efficient Web Crawling for LLM Pretraining [45.92222494772196]
  Craw4LLMは、LLM事前学習の好みに基づいてWebグラフを探索する効率的なWebクローリング手法である。 商用検索エンジンのインデックスから9億のWebページを含むWebグラフを用いた実験により,高品質な事前学習データを得る上でのCraw4LLMの有効性が示された。
  論文  参考訳（メタデータ） (2025-02-19T00:31:43Z)
• DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
  本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。 ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
  論文  参考訳（メタデータ） (2020-05-29T09:02:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。