論文の概要: ProdCrawl: A Replayable Test Collection for Focused Crawling
- arxiv url: http://arxiv.org/abs/2610.40855v1
- Date: Thu, 29 Oct 2026 18:34:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 22:05:31.47126
- Title: ProdCrawl: A Replayable Test Collection for Focused Crawling
- Title（参考訳）: ProdCrawl: フォーカスされたクローリングのための再生可能なテストコレクション
- Abstract要約: ProdCrawlは、集中クローリングのための再生可能なテストコレクションである。
621社と組織ウェブサイトの静的ミラーで構成されている。
すべてのクローラーは、まったく同じサイト上で実行でき、同じラベルに対してスコアを付けることができる。
- 参考スコア（独自算出の注目度）: 4.540873634998776
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: A focused crawler searches for web pages on a specific topic under a constrained download budget. Since it can only fetch a limited number of pages, its success depends on choosing which links to follow. Focused crawlers are usually evaluated on live websites by harvest rate, the fraction of downloaded pages that are relevant. This has two problems: on the one hand, websites change over time, so a crawl cannot be repeated under the same conditions; on the other hand, there is no ground truth for which pages are relevant. As a result, comparisons between crawlers are unreliable. We present ProdCrawl, a replayable test collection for focused crawling. It comprises static mirrors of 621 company and organization websites, about 1.1 million pages, with each page labeled as a product page or non-product page based on a majority vote among three large language models. Any crawler can be run on exactly the same sites and scored against the same labels. We use ProdCrawl to compare simple baselines (breadth-first, depth-first and text classifiers) with an approach that scores each link by searching for similar link texts whose target pages have already been labeled. Our results show that text classifiers and keyword matching do not significantly outperform breadth-first crawling, whereas neural embeddings, which compare link texts by semantic meaning, outperform all simple strategies. Because every run evaluates over identical pages and labels, these results are exactly reproducible. The collection, codebase, and models are publicly released to support experimental replication and fair crawler comparison.
- Abstract（参考訳）: 集中クローラは、制限されたダウンロード予算の下で、特定のトピックに関するWebページを検索する。
限られた数のページしか取得できないため、その成功はどのリンクをフォローするかによって決まる。
フォーカスされたクローラーは、通常、ダウンロードされたページのごく一部である収穫率によって、ライブウェブサイトで評価される。
一方、Webサイトは時間とともに変化するため、同じ条件下でクローを繰り返すことはできない。
その結果、クローラの比較は信頼性が低い。
ProdCrawlは、集中型クローリングのための再生可能なテストコレクションです。
621社の静的ミラーと組織ウェブサイト、約1100万ページで構成され、各ページは3つの大きな言語モデルの過半数投票に基づいて製品ページまたは非製品ページとしてラベル付けされている。
すべてのクローラーは、まったく同じサイト上で実行でき、同じラベルに対してスコアを付けることができる。
ProdCrawlを使って、単純なベースライン(ブレッドスファースト、ディープファースト、テキスト分類器)と、ターゲットページがラベル付けされている類似リンクテキストを検索して各リンクをスコア付けするアプローチを比較する。
その結果、テキスト分類器とキーワードマッチングは、広義のクローリングを著しく上回っているのに対し、意味的な意味によるリンクテキストの比較を行うニューラル埋め込みは、すべての単純な戦略を上回っていることがわかった。
全ての実行は同一のページやラベルで評価されるので、これらの結果は正確に再現可能である。
コレクション、コードベース、モデルが公開され、実験的なレプリケーションと公正なクローラ比較をサポートする。
関連論文リスト
- Host-Aware Web Crawling for LLM Pretraining Data [2.714704829206689]
我々は、より高品質な事前学習データを集めるために、クローラがホスト内およびホスト間で予算を配分する方法について検討する。
我々は、クロール毎に、何千万もの高品質なページが既知のURLの中に残っていると見積もっている。
論文 参考訳（メタデータ） (2026-10-09T10:03:04Z) - BrowserForge: Scaling Web Episode via Parallel Browser Sandboxes [54.96895469970198]
BrowserForgeは、オープンなWeb上で多くのブラウザサンドボックスを並行して駆動することで、大規模なWebインタラクションデータを生成する。
BrowserForgeには3つのコンポーネントがある: オープンなWebソーシングステージ。
ルール+モデルクリーニングパイプラインは、失敗した実行を除去し、生き残った推論を単一の統合されたチェーン・オブ・シンクスタイルに書き換える。
論文 参考訳（メタデータ） (2026-08-25T17:35:42Z) - Search, Inspect, Fetch: Exploiting Structure-Aware Boolean Retrieval for Deep-Research Agents [50.35041517085015]
既存のDeep-ResearchエージェントはSearch-Visitワークフローを使用して、タイトル、見出し、セクション、メタデータを通じて公開する構造を考慮せずに、Webページ全体を検索する。
Boolean Query Language (BQL) によって駆動される検索-インスペクション-フェッチ戦略である textscSieve を導入する。
ウェブページのフィールドを検索して候補をフィルタリングし、インターチェンジ可能なランク付け器を使ってそれらを注文し、構造に富んだ結果カードを検査し、選択したセクションのみを取得する。
論文 参考訳（メタデータ） (2026-08-03T18:01:05Z) - Beyond Domains: Reusing Web Skills via Transferable Interaction Patterns [68.0603867264595]
SkillMigratorは再利用可能なWebスキルを学習し、特定の要素参照ではなくレイアウト構造にマッチしてサイト間でそれらを転送する。
WebArenaとMind2Webの両方において、成功軌道上の平均LCM-アクション数を、一致した成功速度で8-10%削減する。
論文 参考訳（メタデータ） (2026-06-16T08:04:35Z) - Efficient Crawling for Scalable Web Data Acquisition (Extended Version) [4.64103400183613]
SB-CLASSIFIERは、多くのターゲットにリンクするページにつながるハイパーリンクを効率的に学習するクローラーである。
クローラは極めて効率的であり,少数の部分のみをクロールしながら,サイトのターゲットを高い割合で提供できることが示される。
論文 参考訳（メタデータ） (2026-02-12T12:23:53Z) - Smart Bilingual Focused Crawling of Parallel Documents [2.0273853437794584]
本稿では,より並列なコンテンツを見つけるためのスマートクローリング手法を提案する。
あるモデルは言語URLを推論し、別のモデルはURLのペアが並列文書を生成するかどうかを推測する。
その結果,両モデルの有効性が示された。
論文 参考訳（メタデータ） (2024-05-23T16:45:59Z) - AutoScraper: A Progressive Understanding Web Agent for Web Scraper Generation [54.17246674188208]
Webスクレイピングは、Webサイトからデータを抽出し、自動データ収集を可能にし、データ分析機能を強化し、手動のデータ入力作業を最小化する強力なテクニックである。
既存の手法では、ラッパーベースの手法は、新しいウェブサイトで直面する場合、適応性とスケーラビリティの制限に悩まされる。
本稿では,大規模言語モデル(LLM)を用いたWebスクレイパー生成のパラダイムを紹介し,多様なWeb環境をより効率的に処理できる2段階フレームワークであるAutoScraperを提案する。
論文 参考訳（メタデータ） (2024-04-19T09:59:44Z) - A Suite of Generative Tasks for Multi-Level Multimodal Webpage
Understanding [66.6468787004067]
ウィキペディアのWebページスイート (WikiWeb2M) には, 関連画像, テキスト, 構造データを含む2Mページが含まれている。
我々は,最も関連性の高い画像とテキストをグローバルトークンとして選択し,Webページの他の部分へのコンテクストへの参加を可能にする,新しいアテンションメカニズムであるPrefix Globalを設計する。
論文 参考訳（メタデータ） (2023-05-05T16:38:05Z) - Prediction of new outlinks for focused Web crawling [0.0]
この研究は、短い履歴を用いて、新しいリンクを効果的に検出するための方法論を提供する。
リンク変更率、新しいリンクの存在、新しいリンク数という3つのターゲットに対する統計モデルを提供する。
注目すべき発見は、ターゲットページの履歴が利用できない場合、我々の新機能は、関連するページの履歴を表すもので、ターゲットページの新規リンクに対して最も予測的であることである。
論文 参考訳（メタデータ） (2021-11-09T11:36:21Z) - Match-Ignition: Plugging PageRank into Transformer for Long-form Text
Matching [66.71886789848472]
実効性と効率性に対処する新しい階層型ノイズフィルタリングモデルであるMatch-Ignitionを提案する。
基本的なアイデアは、よく知られたPageRankアルゴリズムをTransformerに接続し、文と単語レベルの騒々しい情報を識別およびフィルタリングすることです。
文が長文の基本単位であるため、ノイズの多い文はたいてい簡単に検出できるので、PageRankを直接使用してそのような情報をフィルタリングする。
論文 参考訳（メタデータ） (2021-01-16T10:34:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。