論文の概要: Cleaner Pretraining Corpus Curation with Neural Web Scraping

• arxiv url: http://arxiv.org/abs/2402.14652v2
• Date: Mon, 3 Jun 2024 07:34:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 16:28:21.096647
• Title: Cleaner Pretraining Corpus Curation with Neural Web Scraping
• Title（参考訳）: ニューラルWebストラップによるコーパスキュレーションのクリーン化
• Authors: Zhipeng Xu, Zhenghao Liu, Yukun Yan, Zhiyuan Liu, Ge Yu, Chenyan Xiong,
• Abstract要約: 本稿では,Webページから一次的かつクリーンなテキストコンテンツを抽出するための,シンプルで高速かつ効果的なNeuScraper(NeuScraper)を提案する。 実験結果から,NeuScraperは20%以上の改善を達成し,ベースラインスクラップラーを上回ることがわかった。
• 参考スコア（独自算出の注目度）: 39.97459187762505
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The web contains large-scale, diverse, and abundant information to satisfy the information-seeking needs of humans. Through meticulous data collection, preprocessing, and curation, webpages can be used as a fundamental data resource for language model pretraining. However, when confronted with the progressively revolutionized and intricate nature of webpages, rule-based/feature-based web scrapers are becoming increasingly inadequate. This paper presents a simple, fast, and effective Neural web Scraper (NeuScraper) to help extract primary and clean text contents from webpages. Experimental results show that NeuScraper surpasses the baseline scrapers by achieving more than a 20% improvement, demonstrating its potential in extracting higher-quality data to facilitate the language model pretraining. All of the code is available at https://github.com/OpenMatch/NeuScraper.
• Abstract（参考訳）: ウェブには、人間の情報検索のニーズを満たすために、大規模で多様で豊富な情報が含まれている。 厳密なデータ収集、事前処理、キュレーションを通じて、Webページは言語モデル事前学習の基本的なデータリソースとして利用することができる。 しかし、Webページの革新的かつ複雑な性質に直面すると、ルールベース/フィーチャーベースのWebスクレイパーはますます不十分になりつつある。 本稿では,Webページから一次的かつクリーンなテキストコンテンツを抽出するための,シンプルで高速かつ効果的なNeuScraper(NeuScraper)を提案する。 実験の結果,NeuScraperは20%以上の改善を達成し,言語モデルの事前学習を促進するために高品質なデータを抽出する可能性を示した。 すべてのコードはhttps://github.com/OpenMatch/NeuScraperで入手できる。

関連論文リスト

• AutoScraper: A Progressive Understanding Web Agent for Web Scraper Generation [54.17246674188208]
  Webスクレイピングは、Webサイトからデータを抽出し、自動データ収集を可能にし、データ分析機能を強化し、手動のデータ入力作業を最小化する強力なテクニックである。 既存の手法では、ラッパーベースの手法は、新しいウェブサイトで直面する場合、適応性とスケーラビリティの制限に悩まされる。 本稿では,大規模言語モデル(LLM)を用いたWebスクレイパー生成のパラダイムを紹介し,多様なWeb環境をより効率的に処理できる2段階フレームワークであるAutoScraperを提案する。
  論文  参考訳（メタデータ） (2024-04-19T09:59:44Z)
• The Web Can Be Your Oyster for Improving Large Language Models [98.72358969495835]
  大規模言語モデル(LLM)は、大量の世界の知識を符号化する。 我々はLLMを検索エンジンを用いて大規模ウェブで拡張することを検討する。 ウェブ上に拡張されたLLM UNIWEBを提案する。これは16の知識集約的なタスクに対して、統一されたテキスト・テキスト・フォーマットで訓練される。
  論文  参考訳（メタデータ） (2023-05-18T14:20:32Z)
• PLM-GNN: A Webpage Classification Method based on Joint Pre-trained Language Model and Graph Neural Network [19.75890828376791]
  PLM-GNN という名前の事前学習言語モデルとグラフニューラルネットワークに基づく表現と分類手法を提案する。 Web ページにおけるテキストと HTML DOM ツリーの同時符号化に基づいており,KI-04 と SWDE のデータセットと,学者のホームページクローリングプロジェクトのための実用的なデータセット AHS でよく機能する。
  論文  参考訳（メタデータ） (2023-05-09T12:19:10Z)
• WebBrain: Learning to Generate Factually Correct Articles for Queries by Grounding on Large Web Corpus [61.209202634703104]
  我々は,Web から証拠をマイニングすることで,クエリを参照した短い事実記事を生成する NLP タスクを導入する。 最終的なゴールは、ウィキペディアに見当たらない事実検索のための、流動的で情報豊かで、事実的に正しい短い記事を作ることである。 我々は、英語のウィキペディア記事とそのクロール可能なウィキペディア参照を抽出し、大規模なデータセットWebBrain-Rawを構築した。
  論文  参考訳（メタデータ） (2023-04-10T02:55:48Z)
• Perplexed by Quality: A Perplexity-based Method for Adult and Harmful Content Detection in Multilingual Heterogeneous Web Data [0.0]
  我々は多言語不均一なWebデータにおいて、成人と有害なコンテンツを検出する様々な方法を探究する。 我々は、成人および有害なテキストデータのみを訓練し、与えられたしきい値以上の難易度値の文書を選択する。 このアプローチは、文書を事実上2つの異なるグループにクラスタリングし、パープレキシティのしきい値の選択を大幅に促進します。
  論文  参考訳（メタデータ） (2022-12-20T17:14:45Z)
• Pix2Struct: Screenshot Parsing as Pretraining for Visual Language Understanding [58.70423899829642]
  Pix2Structは、純粋に視覚的な言語理解のための事前訓練された画像-テキストモデルである。 4つの領域にまたがる9つのタスクのうち6つのタスクにおいて、1つの事前訓練されたモデルが最先端の結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-10-07T06:42:06Z)
• GROWN+UP: A Graph Representation Of a Webpage Network Utilizing Pre-training [0.2538209532048866]
  我々は、Webページ構造を取り込み、大量のラベル付きデータに基づいて事前訓練を行い、Webページ上の任意のタスクに効果的に微調整できる、非依存のディープグラフニューラルネットワーク特徴抽出器を導入する。 我々は,Webページボイラプレートの除去とジャンル分類という,非常に異なる2つのベンチマークで複数のデータセットを用いて,事前学習したモデルが最先端の結果を得ることを示す。
  論文  参考訳（メタデータ） (2022-08-03T13:37:27Z)
• ZeroShotCeres: Zero-Shot Relation Extraction from Semi-Structured Webpages [66.45377533562417]
  本稿では,以前は見つからなかったテンプレートを用いたWebページからの「ゼロショット」オープンドメイン関係抽出手法を提案する。 我々のモデルは、グラフニューラルネットワークに基づくアプローチを使用して、Webページ上のテキストフィールドのリッチな表現を構築します。
  論文  参考訳（メタデータ） (2020-05-14T16:15:58Z)
• Boilerplate Removal using a Neural Sequence Labeling Model [4.056234173482691]
  本稿では,手作り機能に頼らず,Webページに現れるHTMLタグや単語のみを入力として利用するニューラルシーケンスラベリングモデルを提案する。 これにより、モデルを使用して、任意のWebページのコンテンツをブラウザ内で直接ハイライトするブラウザ拡張を提示できる。
  論文  参考訳（メタデータ） (2020-04-22T08:06:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。