論文の概要: Institutional Newspapers Pipeline: Deriving billions of high quality tokens from historical newspapers
- arxiv url: http://arxiv.org/abs/2608.18972v1
- Date: Wed, 19 Aug 2026 14:41:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-20 20:13:55.428786
- Title: Institutional Newspapers Pipeline: Deriving billions of high quality tokens from historical newspapers
- Title（参考訳）: 機関新聞パイプライン:歴史新聞から何十億もの高品質のトークンを抽出する
- Abstract要約: 本報告では、プロセスの各ステップ、トレーニングした小さなモデル、評価結果、プロセスで収集したデータセットスケールの測定方法について述べる。
私たちはこの研究を、何千万もの新聞スキャンから高品質なデータをアンロックするための重要なステップと位置づけています。
- 参考スコア（独自算出の注目度）: 4.958928833328447
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Historical newspapers are an abundant record of public life, but their dense, irregular and sometimes noisy layouts make computational access to these materials both challenging and limited. We present the Institutional Newspapers Pipeline, a modular system we jointly designed with Boston Public Library to extract high-quality, structured datasets from historical newspaper scans. It was architected so that each step remains interpretable and customizable, and so that the pipeline as a whole remains computationally frugal enough to run on workstation-level hardware. The pipeline runs each scan through a multi-step process: it segments scans into individual type-agnostic crops and performs OCR on each resulting segment before then performing text analysis, type classification, reading order detection, named entities recognition, subject classification, language detection, and pre-computed embeddings generation on every crop. We ran this pipeline against a portion of Boston Public Library's holdings and released the results as an open dataset. The optical character recognition (OCR) output represents 16.3 billion o200k_base tokens across 83.1 million individual crops, extracted from 1,473,635 public domain newspaper scans published between 1795 and 1930. This report describes our methods for each processing step, the small models we trained, as well as the evaluation results and dataset-scale measurements we collected in the process. It accompanies the release of the pipeline, models, and dataset. We position this work as a substantial step towards unlocking high-quality data from tens of millions of newspaper scans.
- Abstract（参考訳）: 歴史新聞は公共生活の豊富な記録であるが、その密度が高く、不規則で、時にはノイズの多いレイアウトは、これらの資料への計算アクセスを困難かつ限定的なものにしている。
Institutional Newspapers Pipelineは、ボストン公共図書館と共同で設計し、歴史新聞スキャンから高品質で構造化されたデータセットを抽出するモジュールシステムである。
それぞれのステップが解釈可能でカスタマイズ可能であり、パイプライン全体がワークステーションレベルのハードウェアで動作するのに十分な計算力を持つように設計されている。
パイプラインはスキャンを個別のタイプに依存しない作物に分割し、結果の各セグメントでOCRを実行し、テキスト分析、型分類、読み取り順序検出、名前付きエンティティ認識、主題分類、言語検出、およびすべての作物に事前に計算された埋め込み生成を実行する。
私たちはこのパイプラインを、Boston Public Libraryの保有する部分に対して実行し、その結果をオープンデータセットとしてリリースしました。
光学式文字認識(OCR)出力は、1795年から1930年にかけて発行された1,473,635のパブリックドメイン新聞スキャンから抽出された8310万の作物の163億o200k_baseトークンを表す。
本報告では、プロセスの各ステップ、トレーニングした小さなモデル、評価結果、プロセスで収集したデータセットスケールの測定方法について述べる。
パイプライン、モデル、データセットのリリースに対応する。
私たちはこの研究を、何千万もの新聞スキャンから高品質なデータをアンロックするための重要なステップと位置づけています。
関連論文リスト
- Paper Circle: An Open-source Multi-agent Research Discovery and Analysis Framework [82.66443886385125]
ペーパーサークル(Paper Circle)は、学術文献の発見、評価、整理、理解に必要な労力を減らすために設計された発見・分析システムである。
1)複数のソースからのオフラインおよびオンライン検索を統合するディスカバリパイプライン,多エージェントスコアリング,多様性対応ランキング,構造化アウトプット,2)個々の論文を概念,メソッド,数値などの型付きノードで構造化された知識グラフに変換する分析パイプライン,の2つの補完パイプラインで構成されている。
論文 参考訳（メタデータ） (2026-04-07T17:59:58Z) - Overview of the TREC 2021 deep learning track [68.66107744993546]
TRECディープラーニングトラックの3年目です。
私たちはMS MARCOデータセットを活用し、数十万の人間が注釈付きトレーニングラベルをパスと文書ランキングの両方で利用できるようにした。
大規模プレトレインニグを用いたディープニューラルランキングモデルは、今年も従来の検索方法より優れています。
論文 参考訳（メタデータ） (2025-07-10T21:58:41Z) - Institutional Books 1.0: A 242B token dataset from Harvard Library's collections, refined for accuracy and usability [1.3281177137699656]
Institutional Books 1.0は、2006年からHarvard LibraryのGoogle Booksプロジェクトへの参加を通じてデジタル化されたパブリックドメインブックのコレクションである。
ハーバード図書館で作業し、これらの論文を抽出し、分析し、処理し、歴史文書の広範囲に記録されたデータセットにしました。
この分析は、当初250以上の異なる言語で書かれた1,075,899巻に及ぶ、約250億個のトークンをスキャンしたハーバード図書館のコレクション全体をカバーしている。
論文 参考訳（メタデータ） (2025-06-10T00:11:30Z) - Triplètoile: Extraction of Knowledge from Microblogging Text [7.848242781280095]
ソーシャルメディアプラットフォーム上でのマイクロブログ投稿からオープンドメインエンティティを含む知識グラフの抽出に適した情報抽出パイプラインを提案する。
我々のパイプラインは、単語の埋め込みに対する階層的クラスタリングを通じて、依存関係解析を活用し、教師なしの方法でエンティティ関係を分類する。
本稿では,デジタルトランスフォーメーションに関する1万ツイートのコーパスからセマンティック・トリプルを抽出し,生成した知識グラフを公開するユースケースを提案する。
論文 参考訳（メタデータ） (2024-08-27T09:35:13Z) - Improving Text Embeddings with Large Language Models [59.930513259982725]
合成データと1k以下のトレーニングステップのみを用いて,高品質なテキスト埋め込みを実現するための,新しい簡易な手法を提案する。
我々は、93言語にまたがる数十万のテキスト埋め込みタスクのための多様な合成データを生成するために、プロプライエタリなLLMを活用している。
実験により,ラベル付きデータを使わずに,高度に競争力のあるテキスト埋め込みベンチマークにおいて高い性能が得られることが示された。
論文 参考訳（メタデータ） (2023-12-31T02:13:18Z) - American Stories: A Large-Scale Structured Text Dataset of Historical
U.S. Newspapers [7.161822501147275]
本研究では,新聞画像から記事の全文を抽出する,新しい深層学習パイプラインを開発した。
これは、議会図書館の公共ドメインであるCentralling Americaコレクションの2000万件近いスキャンに適用される。
パイプラインには、レイアウト検出、可視性分類、カスタムOCR、複数のバウンディングボックスにまたがる記事テキストの関連が含まれている。
論文 参考訳（メタデータ） (2023-08-24T00:24:42Z) - OBELICS: An Open Web-Scale Filtered Dataset of Interleaved Image-Text
Documents [122.55393759474181]
我々は、インターリーブされた画像テキスト文書のオープンなWebスケールフィルタリングデータセットであるOBELICSを紹介する。
データセット作成プロセスを説明し、包括的なフィルタリングルールを示し、データセットの内容を分析する。
IDEFICSという名前の9～800億のパラメータのビジョンと言語モデルをトレーニングし、異なるマルチモーダルベンチマークで競合性能を得る。
論文 参考訳（メタデータ） (2023-06-21T14:01:01Z) - DocBed: A Multi-Stage OCR Solution for Documents with Complex Layouts [2.885058600042882]
この研究は、21の異なる州から3000の完全な注釈付き現実世界の新聞画像のデータセットを公開している。
既存の光学式文字認識(OCR)エンジンの先駆けとしてレイアウトセグメンテーションを提案する。
独立したレイアウトセグメンテーションとエンドツーエンドのOCRのための、徹底的で構造化された評価プロトコルを提供する。
論文 参考訳（メタデータ） (2022-02-03T05:21:31Z) - Combining Morphological and Histogram based Text Line Segmentation in
the OCR Context [0.0]
本論文で提案するアルゴリズム的アプローチはこの目的のために設計されている。
本手法は, 品質問題に特有な歴史的データ収集に適用するために開発された。
計算コストの低さが組み合わさった有望なセグメンテーション結果のため、このアルゴリズムはルクセンブルク国立図書館のocrパイプラインに組み込まれた。
論文 参考訳（メタデータ） (2021-03-16T09:06:25Z) - Scaling Systematic Literature Reviews with Machine Learning Pipelines [57.82662094602138]
体系的なレビューは、科学的文書からデータを抽出する。
これらの側面をそれぞれ自動化するパイプラインを構築し、多くの人間時間対システム品質トレードオフを実験します。
人間の専門的アノテーションの2週間だけで、パイプラインシステム全体の驚くほどの精度と一般性が得られることが分かりました。
論文 参考訳（メタデータ） (2020-10-09T16:19:42Z) - Learning to Summarize Passages: Mining Passage-Summary Pairs from
Wikipedia Revision Histories [110.54963847339775]
ウィキペディアページのリビジョン履歴をマイニングすることで,パス・トゥ・サマリーデータセットを自動構築する手法を提案する。
特に、本手法では、ページに追加される本体の通路と導入文を同時にマイニングする。
構築されたデータセットは、100万以上のパス・サマー・ペアを含む。
論文 参考訳（メタデータ） (2020-04-06T12:11:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。