論文の概要: Co-Scraper: query-aware DOM Pruning and Reusable Scraper Synthesis for Lightweight Web Data Extraction
- arxiv url: http://arxiv.org/abs/2606.14821v1
- Date: Fri, 12 Jun 2026 12:37:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-16 16:21:32.257278
- Title: Co-Scraper: query-aware DOM Pruning and Reusable Scraper Synthesis for Lightweight Web Data Extraction
- Title（参考訳）: Co-Scraper:軽量Webデータ抽出のためのクエリ対応DOMプルーニングと再利用可能なScraper合成
- Authors: Shoupeng Wang, Jiantao Qiu, Wuyang Zhang, Conghui He,
- Abstract要約: Co-Scraperは、長いHTMLドキュメントの階層的な複雑さを扱うことができるフレームワークである。
SWDEのテストセットでは、Co-ScraperはF1スコア94.78%、再利用成功率90.39%で最先端のパフォーマンスを達成した。
- 参考スコア（独自算出の注目度）: 27.756601321209832
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The abundant and heterogeneous nature of web content necessitates automated information extraction, and generating scrapers that can be reused across similar web pages offers an effective solution for scalable data extraction. In this work, we propose Co-Scraper, a two-stage framework capable of handling the hierarchical complexity of long HTML documents. By integrating a query-aware DOM pruning mechanism with stable extraction strategy induction, Co-Scraper can effectively transforms web content into executable programmatic wrappers using a fine-tuned Qwen3-8B model. On the test set of SWDE, Co-Scraper achieves state-of-the-art performance with an F1 score of 94.78% and a reuse success rate of 90.39%. This framework significantly enhances the accuracy and resilience of data extraction, providing a highly efficient approach for web data acquisition tasks.
- Abstract（参考訳）: Webコンテンツの豊富で異質な性質は、自動化された情報抽出を必要とし、類似のWebページで再利用可能なスクレイパーを生成することは、スケーラブルなデータ抽出に効果的なソリューションを提供する。
本稿では,長いHTML文書の階層的複雑さを扱える2段階フレームワークであるCo-Scraperを提案する。
Co-Scraperは、クエリ対応DOMプルーニング機構を安定した抽出戦略誘導と統合することにより、細調整されたQwen3-8Bモデルを用いてWebコンテンツを実行可能なプログラムラッパーに変換することができる。
SWDEのテストセットでは、Co-ScraperはF1スコア94.78%、再利用成功率90.39%で最先端のパフォーマンスを達成した。
このフレームワークは、データ抽出の精度とレジリエンスを大幅に向上させ、Webデータ取得タスクに非常に効率的なアプローチを提供する。
関連論文リスト
- Beyond a Single Extractor: Re-thinking HTML-to-Text Extraction for LLM Pretraining [78.36592534300839]
表やコードブロックなどの構造化コンテンツの場合、抽出器の選択は下流のタスク性能に大きな影響を及ぼすことを示す。
これは単純な介入を示唆している: 異なる抽出器をユニオンに取り込むことで、DCLM-Baselineのトークン収率を最大71%向上させることができる。
論文 参考訳（メタデータ） (2026-02-23T06:41:57Z) - An Index-based Approach for Efficient and Effective Web Content Extraction [38.40209116782093]
索引に基づくWebコンテンツ抽出について紹介する。
我々はHTMLを構造対応のアドレス可能なセグメントに分割し、あるクエリに関連するコンテンツの位置インデックスのみを抽出する。
本手法は、コンテンツ長からの抽出遅延を分離し、高速なクエリ関連抽出を可能にする。
論文 参考訳（メタデータ） (2025-12-07T03:18:19Z) - Dripper: Token-Efficient Main HTML Extraction with a Lightweight LM [35.10225876152952]
本稿では,軽量言語モデルを利用した効率的なHTML主コンテンツ抽出フレームワークであるDriipperを紹介する。
本稿では,ロジットプロセッサによる出力空間を厳格に制約する制御復号機構を提案する。
Dripperは、すべての評価ベンチマークで最先端のパフォーマンスを達成し、すべてのベースラインメソッドを上回っます。
論文 参考訳（メタデータ） (2025-11-28T12:04:46Z) - AICC: Parse HTML Finer, Make Models Better -- A 7.3T AI-Ready Corpus Built by a Model-Based HTML Parser [54.623900859999424]
我々は、コンテンツ抽出をシーケンスラベリング問題として再構成する新しい抽出パイプラインであるMinerU-HTMLを紹介する。
MainWebBenchでは、7,887の注釈付きWebページ、MinerU-HTML 81.8%のROUGE-N F1をTrfilaturaの63.6%と比較した。
論文 参考訳（メタデータ） (2025-11-20T14:15:23Z) - Development of an Automated Web Application for Efficient Web Scraping: Design and Implementation [0.0]
本稿では,非技術ユーザを対象としたWebスクレイピングプロセスの簡素化と最適化を行う,ユーザフレンドリな自動Webアプリケーションの設計と実装について述べる。
アプリケーションは、Webスクレイピングの複雑なタスクを、フェッチ、抽出、実行の3つの主要なステージに分割します。
この自動化ツールは、Webスクレイピングの効率を向上するだけでなく、すべての技術的レベルのユーザに対して、ニーズに合ったデータの収集と管理を可能にすることによって、データ抽出へのアクセスを民主化します。
論文 参考訳（メタデータ） (2025-10-22T04:56:00Z) - Instruction-Tuning Data Synthesis from Scratch via Web Reconstruction [83.0216122783429]
Web Restruction(WebR)は、Webドキュメントから直接高品質な命令チューニング(IT)データを合成するための、完全に自動化されたフレームワークである。
WebRが生成したデータセットは、4つのインストラクションフォローベンチマークで、最先端のベースラインを最大16.65%上回ります。
論文 参考訳（メタデータ） (2025-04-22T04:07:13Z) - AutoScraper: A Progressive Understanding Web Agent for Web Scraper Generation [54.17246674188208]
Webスクレイピングは、Webサイトからデータを抽出し、自動データ収集を可能にし、データ分析機能を強化し、手動のデータ入力作業を最小化する強力なテクニックである。
既存の手法では、ラッパーベースの手法は、新しいウェブサイトで直面する場合、適応性とスケーラビリティの制限に悩まされる。
本稿では,大規模言語モデル(LLM)を用いたWebスクレイパー生成のパラダイムを紹介し,多様なWeb環境をより効率的に処理できる2段階フレームワークであるAutoScraperを提案する。
論文 参考訳（メタデータ） (2024-04-19T09:59:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。