論文の概要: news-crawler-LM: A Small Long-Context Model For High-Quality News Crawling
- arxiv url: http://arxiv.org/abs/2607.21284v1
- Date: Thu, 23 Jul 2026 13:05:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-24 18:26:25.416593
- Title: news-crawler-LM: A Small Long-Context Model For High-Quality News Crawling
- Title（参考訳）: News-crawler-LM: 高品質ニュースクローリングのための小さなロングコンテキストモデル
- Abstract要約: ルールベースのニュースクローラは、サイト固有の構造を符号化することで、高い抽出精度を達成することができる。
大規模な言語モデルは、手作りのルールの必要性を減らすことで、より柔軟な代替手段を提供する。
我々は,Fundusニュースクローリングライブラリから,高品質で有能な抽出を微調整した小型長文モデルであるNews-crawler-LMを紹介する。
- 参考スコア（独自算出の注目度）: 9.567186622710564
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Extracting structured content from news pages remains challenging due to heterogeneous HTML layouts, inconsistent markup, and substantial boilerplate such as navigation elements and advertisements. Rule-based news crawlers can achieve high extraction accuracy by encoding site-specific structure, but require manual configuration in order to generalize to new publishers. Large language models provide a more flexible alternative by reducing the need for handcrafted rules, but their high computational cost limits practical deployment. In this paper, we introduce news-crawler-LM, a small long-context language model fine-tuned on high-quality, human-validated extractions from the Fundus news-crawling library. Our model converts raw HTML into plaintext and structured JSON, including fields such as headline, author, publication date, and article body. In our experiments, news-crawler-LM outperforms strong baselines in HTML-to-Markdown and HTML-to-JSON extraction, improving performance by +4.8 BLEU and +6.1 METEOR in the HTML-to-Markdown task, and by +2.2 BLEU and +4.1 METEOR in the HTML-to-JSON task. However, we also observe that our model only slightly better compared to other rule-based parsing libraries on the HTML-to-plaintext task in evaluations on previously unseen publishers. We release all models and artifacts to the research community.
- Abstract（参考訳）: ニュースページから構造化されたコンテンツを抽出することは、異質なHTMLレイアウト、一貫性のないマークアップ、ナビゲーション要素や広告のような相当なボイラープレートのために依然として困難である。
ルールベースのニュースクローラはサイト固有の構造を符号化することで高い抽出精度を達成できるが、新しい出版社に一般化するためには手作業による設定が必要である。
大規模な言語モデルは、手作りのルールの必要性を減らすことで、より柔軟な代替手段を提供するが、その高い計算コストは実用的なデプロイメントを制限する。
本稿では,Fundusニュースクローリングライブラリから,高品質で有能な抽出を微調整した小型長文言語モデルであるNews-crawler-LMを紹介する。
我々のモデルは、生のHTMLを、見出し、著者、出版日、記事本体などのフィールドを含む、プレーンテキストと構造化されたJSONに変換する。
実験では,HTML-to-Markdownタスクでは+4.8 BLEU,+6.1 METEOR,HTML-to-JSONタスクでは+2.2 BLEU,+4.1 METEORのパフォーマンスが向上した。
しかし,従来は見つからなかったパブリッシャーの評価において,HTML-to-plaintextタスクの他のルールベースの構文解析ライブラリに比べて,モデルの方がわずかによいことがわかった。
すべてのモデルとアーティファクトを研究コミュニティにリリースします。
関連論文リスト
- Beyond a Single Extractor: Re-thinking HTML-to-Text Extraction for LLM Pretraining [78.36592534300839]
表やコードブロックなどの構造化コンテンツの場合、抽出器の選択は下流のタスク性能に大きな影響を及ぼすことを示す。
これは単純な介入を示唆している: 異なる抽出器をユニオンに取り込むことで、DCLM-Baselineのトークン収率を最大71%向上させることができる。
論文 参考訳（メタデータ） (2026-02-23T06:41:57Z) - Dripper: Token-Efficient Main HTML Extraction with a Lightweight LM [35.10225876152952]
本稿では,軽量言語モデルを利用した効率的なHTML主コンテンツ抽出フレームワークであるDriipperを紹介する。
本稿では,ロジットプロセッサによる出力空間を厳格に制約する制御復号機構を提案する。
Dripperは、すべての評価ベンチマークで最先端のパフォーマンスを達成し、すべてのベースラインメソッドを上回っます。
論文 参考訳（メタデータ） (2025-11-28T12:04:46Z) - AICC: Parse HTML Finer, Make Models Better -- A 7.3T AI-Ready Corpus Built by a Model-Based HTML Parser [54.623900859999424]
我々は、コンテンツ抽出をシーケンスラベリング問題として再構成する新しい抽出パイプラインであるMinerU-HTMLを紹介する。
MainWebBenchでは、7,887の注釈付きWebページ、MinerU-HTML 81.8%のROUGE-N F1をTrfilaturaの63.6%と比較した。
論文 参考訳（メタデータ） (2025-11-20T14:15:23Z) - Multilingual Attribute Extraction from News Web Pages [44.99833362998488]
本稿では,複数の言語にまたがるニュース記事ページから属性を自動的に抽出するという課題に対処する。
我々は6言語(英語、ドイツ語、ロシア語、中国語、韓国語、アラビア語)にわたる3,172のマークアップニュースページからなる多言語データセットを作成した。
学習済みの最先端モデルであるMarkupLMを微調整し、これらのページからニュース属性を抽出し、ページを英語に翻訳することが抽出品質に与える影響を評価した。
論文 参考訳（メタデータ） (2025-02-04T09:43:40Z) - HtmlRAG: HTML is Better Than Plain Text for Modeling Retrieved Knowledge in RAG Systems [62.36019283532854]
Retrieval-Augmented Generation (RAG) は知識能力の向上とLLMの幻覚の軽減を目的としている。
本稿では,RAGにおける検索された知識の形式として,平易なテキストの代わりにHTMLを使用するRAGを提案する。
論文 参考訳（メタデータ） (2024-11-05T09:58:36Z) - AutoScraper: A Progressive Understanding Web Agent for Web Scraper Generation [54.17246674188208]
Webスクレイピングは、Webサイトからデータを抽出し、自動データ収集を可能にし、データ分析機能を強化し、手動のデータ入力作業を最小化する強力なテクニックである。
既存の手法では、ラッパーベースの手法は、新しいウェブサイトで直面する場合、適応性とスケーラビリティの制限に悩まされる。
本稿では,大規模言語モデル(LLM)を用いたWebスクレイパー生成のパラダイムを紹介し,多様なWeb環境をより効率的に処理できる2段階フレームワークであるAutoScraperを提案する。
論文 参考訳（メタデータ） (2024-04-19T09:59:44Z) - Fundus: A Simple-to-Use News Scraper Optimized for High Quality Extractions [2.2863439039616127]
Fundusはユーザーフレンドリーなニューススクレイパーで、ユーザーはほんの数行のコードで何百万もの高品質なニュース記事を入手できる。
既存のニューススクレイパーとは異なり、手作業で作り上げたコンテンツ抽出機を使っています。
私たちのフレームワークは、クローリング(Webや大規模なWebアーカイブからHTMLを取得する)とコンテンツ抽出を1つのパイプラインに組み合わせています。
論文 参考訳（メタデータ） (2024-03-22T15:22:06Z) - Understanding HTML with Large Language Models [73.92747433749271]
大規模言語モデル(LLM)は、様々な自然言語タスクにおいて例外的な性能を示している。
我々は,HTML 理解モデル (微調整 LLM ) と,その機能に関する3つのタスクの詳細な分析に貢献する。
本稿では,標準自然言語コーパスで事前訓練されたLLMが,HTML理解タスクに極めて適していることを示す。
論文 参考訳（メタデータ） (2022-10-08T07:27:17Z) - HTLM: Hyper-Text Pre-Training and Prompting of Language Models [52.32659647159799]
大規模なWebクローリングで訓練されたハイパーテキスト言語モデルであるHTLMを紹介する。
単純化したHTML上でのBARTスタイルのデノベーション損失による事前訓練は、広範囲のタスクや監督レベルに対して非常に効果的な転送を可能にすることを示す。
我々は,HTLMに対して,テキストプロンプトが既存のLMに対して行うことよりも,データ効率の面で高い価値を提供することを発見した。
論文 参考訳（メタデータ） (2021-07-14T19:39:31Z) - Boilerplate Removal using a Neural Sequence Labeling Model [4.056234173482691]
本稿では,手作り機能に頼らず,Webページに現れるHTMLタグや単語のみを入力として利用するニューラルシーケンスラベリングモデルを提案する。
これにより、モデルを使用して、任意のWebページのコンテンツをブラウザ内で直接ハイライトするブラウザ拡張を提示できる。
論文 参考訳（メタデータ） (2020-04-22T08:06:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。