論文の概要: RefinedGAW: A Refined German Academic Web Dataset

• arxiv url: http://arxiv.org/abs/2610.34572v1
• Date: Sun, 25 Oct 2026 21:14:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.637676
• Title: RefinedGAW: A Refined German Academic Web Dataset
• Title（参考訳）: RefinedGAW: Refined German Academic Web Dataset
• Abstract要約: RefinedGAWは、ドイツの学術Webの26の半年的クロールから派生したリソースである。 合計12億2200万のドキュメントと3億4400億のトークンがあり、すべてのテキストのフルクロールとキャプチャーの歴史がある。 876億のトークンで、ドイツのファインウェブ2およびファインPDFのサブセットの649億トークンを超えている。
• 参考スコア（独自算出の注目度）: 4.797649278837576
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The largest open German text datasets are built from broad web crawls, which provide scale but limited coverage of specific domains. We introduce RefinedGAW, a processed and annotated resource derived from 26 semi-annual crawls of the German Academic Web, totaling 122 million documents and 314 billion tokens, with full crawl and capture history of every text. Documents labeled as academic research account for 84% of German RefinedGAW tokens across HTML and PDF. At 87.6 billion tokens, this exceeds the 64.9 billion tokens in the German subsets of FineWeb2 and FinePDFs, despite their almost five-times-larger combined size. RefinedGAW also contains substantial amounts of educational, math-heavy, and expert-oriented content with minimal commercial bias. Across HTML and PDF, 88% of German RefinedGAW documents have no near-duplicate candidate match in the three evaluated reference datasets, supporting complementary coverage. We release a queryable metadata index for fine-grained data selection and a rehydration tool for retrieving and processing source documents.
• Abstract（参考訳）: 最大のオープンなドイツのテキストデータセットは、幅広いWebクローラーで構築されており、特定のドメインの規模はあるが限定的なカバレッジを提供する。 RefinedGAWは、ドイツの学術ウェブの26の半年次クロールから作成され、合計12200万の文書と314億のトークンを収集し、すべてのテキストの完全なクロールとキャプチャー履歴を収集する。 学術研究としてラベル付けされた文書は、HTMLとPDFにまたがるドイツのRefinedGAWトークンの84%を占めている。 876億のトークンでは、ドイツのファインウェブ2とファインPDFのサブセットの649億トークンを超えている。 RefinedGAWには、商業バイアスを最小限に抑えた教育、数学、専門家指向のコンテンツもかなりの量含まれている。 HTMLとPDF全体で、ドイツのRefinedGAW文書の88%は、3つの評価された参照データセットにほぼ重複した候補マッチングがなく、補完的なカバレッジをサポートしている。 我々は、詳細なデータ選択のためのクエリ可能なメタデータインデックスと、ソース文書の検索と処理のためのリハイドレーションツールをリリースする。

関連論文リスト

• AGORA: An Archive-Grounded Benchmark for Agentic Workplace Document Reasoning [52.23991730630292]
  大規模言語モデルは、パラメトリックな知識から答えるのではなく、文書を推論するエージェントとして、ますます多くデプロイされている。 大規模な、散らかった職場ファイルの集合にスパース証拠を配置し、一貫性のない用語、単位、時間規則を調整し、答えを計算する。 私たちは、362の質問と9,664の認証ドキュメントと372Mのトークンの8つのドメインコレクションをペアリングするベンチマークであるAgoraを紹介します。
  論文  参考訳（メタデータ） (2026-06-23T12:57:18Z)
• The German Commons - 154 Billion Tokens of Openly Licensed Text for German Language Models [41.865590656976316]
  ドイツ・コモンズ(ドイツ語: German Commons)は、ドイツで公にライセンスされたテキストのコレクションである。 41のソースから7つのドメインにまたがるデータをコンパイルし、法律、科学、文化、政治、ニュース、経済、ウェブテキストを含む。
  論文  参考訳（メタデータ） (2025-10-15T18:24:26Z)
• InfiMM-WebMath-40B: Advancing Multimodal Pre-Training for Enhanced Mathematical Reasoning [58.7966588457529]
  InfiMM-WebMath-40Bは、インターリーブされた画像テキスト文書の高品質なデータセットである。 ウェブページは2400万、画像URLは8500万、テキストトークンは400億だ。 テキストのみのベンチマークでは,400億トークンしか利用していないにもかかわらず,データセットは1.3Bモデルの性能を大幅に向上させることが示された。 私たちのモデルは、MathVerseやWe-Mathといったマルチモーダルな数学ベンチマーク上で、オープンソースモデルの中で新しい最先端のモデルを設定しました。
  論文  参考訳（メタデータ） (2024-09-19T08:41:21Z)
• Harvesting Textual and Structured Data from the HAL Publication Repository [2.2811655242978444]
  HAL(textitHyper Articles en Ligne)は、フランスの出版社。 本稿では、引用ネットワークとHAL送信記事の全文とのギャップを埋めるユニークなデータセットであるHALvestを紹介する。
  論文  参考訳（メタデータ） (2024-07-30T07:14:04Z)
• MegaWika: Millions of reports and their sources across 50 diverse languages [74.3909725023673]
  MegaWikaは、50の言語で1300万のWikipedia記事と、7100万の参考資料で構成されている。 我々は、このデータセットを無数のアプリケーションに処理し、非英語の記事を言語間アプリケーションに翻訳する。 MegaWikaは、文レベルのレポート生成のための最大のリソースであり、マルチランガルである唯一のレポート生成データセットである。
  論文  参考訳（メタデータ） (2023-07-13T20:04:02Z)
• Document Layout Annotation: Database and Benchmark in the Domain of Public Affairs [62.38140271294419]
  レイアウトラベルの異なるデジタル文書を半自動アノテートする手法を提案する。 スペイン政府から24データソースの集合を用いて,行政領域におけるDLAの新しいデータベースを収集する。 実験の結果,提案したテキストラベリング手順を99%の精度で検証した。
  論文  参考訳（メタデータ） (2023-06-12T08:21:50Z)
• MexPub: Deep Transfer Learning for Metadata Extraction from German Publications [1.1549572298362785]
  本稿では,PDF文書を画像として見ることにより,異なるレイアウトやスタイルでメタデータを抽出する手法を提案する。 提案手法は, 各種PDF文書からメタデータを正確に抽出する能力を検証し, 平均90%の精度を達成した。
  論文  参考訳（メタデータ） (2021-06-04T09:43:48Z)
• A High-Quality Multilingual Dataset for Structured Documentation Translation [101.41835967142521]
  本稿では,文書領域を対象とした高品質な多言語データセットを提案する。 エンタープライズソフトウェアプラットフォームのオンラインドキュメントからXML構造化の並列テキストセグメントを収集します。
  論文  参考訳（メタデータ） (2020-06-24T02:08:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。