論文の概要: Documenting the English Colossal Clean Crawled Corpus
- arxiv url: http://arxiv.org/abs/2104.08758v1
- Date: Sun, 18 Apr 2021 07:42:52 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-22 10:10:44.290080
- Title: Documenting the English Colossal Clean Crawled Corpus
- Title（参考訳）: 英語colossal clean crawledコーパスの文書化
- Authors: Jesse Dodge, Maarten Sap, Ana Marasovic, William Agnew, Gabriel
Ilharco, Dirk Groeneveld, Matt Gardner
- Abstract要約: この作業は、Common Crawlの単一のスナップショットにフィルターのセットを適用することによって作成されたデータセットであるColossal Clean Crawled Corpus(C4; Raffel et al., 2020)の最初のドキュメントを提供します。
まず、テキストがどこから来ていつ書き込まれたかの分布を含む、データのハイレベルな要約から始めます。
次に、最も頻繁なテキストソースを含む、このデータの突出した部分に関するより詳細な分析を行う。
- 参考スコア（独自算出の注目度）: 28.008953329187648
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As language models are trained on ever more text, researchers are turning to
some of the largest corpora available. Unlike most other types of datasets in
NLP, large unlabeled text corpora are often presented with minimal
documentation, and best practices for documenting them have not been
established. In this work we provide the first documentation for the Colossal
Clean Crawled Corpus (C4; Raffel et al., 2020), a dataset created by applying a
set of filters to a single snapshot of Common Crawl. We begin with a high-level
summary of the data, including distributions of where the text came from and
when it was written. We then give more detailed analysis on salient parts of
this data, including the most frequent sources of text (e.g.,
patents.google.com, which contains a significant percentage of machine
translated and/or OCR'd text), the effect that the filters had on the data
(they disproportionately remove text in AAE), and evidence that some other
benchmark NLP dataset examples are contained in the text. We release a web
interface to an interactive, indexed copy of this dataset, encouraging the
community to continuously explore and report additional findings.
- Abstract（参考訳）: 言語モデルはもっと多くのテキストで訓練されているので、研究者は利用可能な最大規模のコーパスに目を向けている。
NLPの他のタイプのデータセットとは異なり、大きなラベルのないテキストコーパスは最小限のドキュメントで示されることが多く、文書化のベストプラクティスは確立されていない。
この作業では、Colossal Clean Crawled Corpus (C4; Raffel et al., 2020)の最初のドキュメントを提供しています。
まず、テキストの出所といつ書かれたかの分布を含む、データのハイレベルな要約から始める。
次に、最も頻繁なテキストソース(例えば、機械翻訳やOCRのテキストのかなりの割合を含む特許.google.com)、フィルタがデータに与える影響(AAEでテキストを不均等に削除している)、その他のベンチマークNLPデータセットサンプルがテキストに含まれる証拠など、このデータの健全な部分についてより詳細な分析を行う。
我々は、このデータセットのインタラクティブでインデックス化されたコピーにWebインターフェースをリリースし、コミュニティが継続的に調査し、さらなる発見を報告することを奨励します。
関連論文リスト
- LexMatcher: Dictionary-centric Data Collection for LLM-based Machine Translation [67.24113079928668]
本稿では、バイリンガル辞書に見られる感覚のカバレッジによって駆動されるデータキュレーション手法であるLexMatcherを提案する。
我々の手法は、WMT2022テストセットの確立されたベースラインよりも優れています。
論文 参考訳（メタデータ） (2024-06-03T15:30:36Z) - DELINE8K: A Synthetic Data Pipeline for the Semantic Segmentation of Historical Documents [0.0]
文書セマンティックセグメンテーションは、OCR、フォーム分類、文書編集などの文書解析作業を容易にする。
いくつかの合成データセットは、印刷されたテキストと手書きを区別するために開発されたが、それらはクラス多様性と文書の多様性に欠ける。
現在までに最も包括的な文書セマンティックセマンティクスパイプラインを提案し、10以上のソースからプレプリントされたテキスト、手書き、文書背景を組み込んだ。
我々のカスタマイズされたデータセットはNAFSSベンチマークで優れたパフォーマンスを示し、さらなる研究において有望なツールであることを示した。
論文 参考訳（メタデータ） (2024-04-30T04:53:10Z) - UFineBench: Towards Text-based Person Retrieval with Ultra-fine Granularity [50.91030850662369]
既存のテキストベースの人物検索データセットは、しばしば比較的粗い粒度のテキストアノテーションを持つ。
これにより、実際のシナリオにおけるクエリテキストのきめ細かいセマンティクスを理解するモデルが妨げられます。
我々は,超微細な人物検索のためにtextbfUFineBench という新しいベンチマークを作成した。
論文 参考訳（メタデータ） (2023-12-06T11:50:14Z) - What's In My Big Data? [67.04525616289949]
大規模なテキストコーパスの内容を明らかにするためのプラットフォームと16の分析セットであるWIMBD(What's In My Big Data?)を提案する。
WIMBDは2つの基本的な機能 – カウントとサーチ – を大規模に構築することで,標準的な計算ノード上で35テラバイト以上を解析することが可能になります。
これらのコーパスについて, 重複, 合成, 品質の低下など, 意外かつ未発表の発見がいくつか見出された。
論文 参考訳（メタデータ） (2023-10-31T17:59:38Z) - Not Just Plain Text! Fuel Document-Level Relation Extraction with
Explicit Syntax Refinement and Subsentence Modeling [3.9436257406798925]
expLicit syntAx Refinement and Subsentence mOdeliNg based framework (LARSON)を提案する。
余分な構文情報を導入することで、LARSONは任意の粒度のサブ文をモデル化し、効果的なインストラクティブを表示できる。
3つのベンチマークデータセット(DocRED、CDR、GDA)の実験結果から、LARSONは既存の手法よりも大幅に優れていることが示された。
論文 参考訳（メタデータ） (2022-11-10T05:06:37Z) - Towards End-to-End Unified Scene Text Detection and Layout Analysis [60.68100769639923]
本稿では,シーンテキストの検出とレイアウト解析を統合化するタスクについて紹介する。
この新たな研究課題を実現するために、最初の階層的なシーンテキストデータセットが導入された。
また,シーンテキストを同時に検出し,テキストクラスタを統一的に形成する手法を提案する。
論文 参考訳（メタデータ） (2022-03-28T23:35:45Z) - SCROLLS: Standardized CompaRison Over Long Language Sequences [62.574959194373264]
SCROLLSは長いテキストに対する推論を必要とするタスクのスイートである。
SCROLLSには要約、質問応答、自然言語推論タスクが含まれる。
すべてのデータセットを統一されたテキスト・ツー・テキスト形式で利用可能にし、モデルアーキテクチャと事前学習方法の研究を容易にするために、ライブのリーダーボードをホストします。
論文 参考訳（メタデータ） (2022-01-10T18:47:15Z) - Topic Modeling Based Extractive Text Summarization [0.0]
本稿では,潜在トピックに基づいて内容をクラスタリングすることで,テキストを要約する新しい手法を提案する。
我々は、テキスト要約へのアプローチにおいて、より使用量が少なく挑戦的なWikiHowデータセットを活用している。
論文 参考訳（メタデータ） (2021-06-29T12:28:19Z) - Rethinking Text Segmentation: A Novel Dataset and A Text-Specific
Refinement Approach [34.63444886780274]
テキストセグメンテーションは、現実世界のテキスト関連タスクの前提条件である。
本稿では,テキスト分割手法であるText Refinement Network (TexRNet)を紹介する。
TexRNetは、他の最先端セグメンテーション手法と比較して、テキストセグメンテーションのパフォーマンスを2%近く改善している。
論文 参考訳（メタデータ） (2020-11-27T22:50:09Z) - GLEAKE: Global and Local Embedding Automatic Keyphrase Extraction [1.0681288493631977]
本稿では,自動キーフレーズ抽出作業のためのグローバルおよびローカル埋め込み自動キーフレーズエクストラクタ(GLEAKE)について紹介する。
GLEAKEは単一の単語と複数単語の埋め込み技術を用いて、候補句の構文的・意味的な側面を探索する。
キーフレーズの最終セットとして最も重要なフレーズを洗練させる。
論文 参考訳（メタデータ） (2020-05-19T20:24:02Z) - Learning to Select Bi-Aspect Information for Document-Scale Text Content
Manipulation [50.01708049531156]
我々は、テキストスタイルの転送とは逆の文書スケールのテキストコンテンツ操作という、新しい実践的なタスクに焦点を当てる。
詳細は、入力は構造化されたレコードと、別のレコードセットを記述するための参照テキストのセットである。
出力は、ソースレコードセットの部分的内容と参照の書き込みスタイルを正確に記述した要約である。
論文 参考訳（メタデータ） (2020-02-24T12:52:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。