論文の概要: ChineseWebText 2.0: Large-Scale High-quality Chinese Web Text with Multi-dimensional and fine-grained information

• arxiv url: http://arxiv.org/abs/2411.19668v1
• Date: Fri, 29 Nov 2024 12:48:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:22:29.325922
• Title: ChineseWebText 2.0: Large-Scale High-quality Chinese Web Text with Multi-dimensional and fine-grained information
• Title（参考訳）: ChineseWebText 2.0:多次元およびきめ細かい情報を持つ大規模高品質な中国語Webテキスト
• Authors: Wanyue Zhang, Ziyong Li, Wen Yang, Chunlin Leng, Yinan Bai, Qianlong Du, Chengqing Zong, Jiajun Zhang,
• Abstract要約: 大規模かつ高品質な中国語データセットを多次元かつきめ細かい情報で構築するための新しいツールチェーン MDFG-tool を提案する。 我々は,3.8TBの漢文テキスト2.0を公開し,各テキストは品質スコア,ドメインラベル,毒性ラベル,毒性スコアに関連付けられている。
• 参考スコア（独自算出の注目度）: 29.57708536491853
• License:
• Abstract: During the development of large language models (LLMs), pre-training data play a critical role in shaping LLMs' capabilities. In recent years several large-scale and high-quality pre-training datasets have been released to accelerate the research of LLMs, including ChineseWebText1.0, C4, Pile, WanJuan, MAPCC and others. However, as LLMs continue to evolve, focus has increasingly shifted to domain-specific capabilities and safety concerns, making those previous coarse-grained texts insufficient for meeting training requirements. Furthermore, fine-grained information, such as quality, domain and toxicity, is becoming increasingly important in building powerful and reliable LLMs for various scenarios. To address these challenges, in this paper we propose a new tool-chain called MDFG-tool for constructing large-scale and high-quality Chinese datasets with multi-dimensional and fine-grained information. First, we employ manually crafted rules to discard explicit noisy texts from raw contents. Second, the quality evaluation model, domain classifier, and toxicity evaluation model are well-designed to assess the remaining cleaned data respectively. Finally, we integrate these three types of fine-grained information for each text. With this approach, we release the largest, high-quality and fine-grained Chinese text ChineseWebText2.0, which consists of 3.8TB and each text is associated with a quality score, domain labels, a toxicity label and a toxicity score, facilitating the LLM researchers to select data based on various types of fine-grained information. The data, codes and the tool-chain are available on this website https://github.com/CASIA-LM/ChineseWebText-2.0
• Abstract（参考訳）: 大規模言語モデル(LLM)の開発において、事前学習したデータはLLMの能力を形作る上で重要な役割を果たす。 近年、中国WebText1.0、C4、Pile、WanJuan、MAPCCなど、LLMの研究を加速するために、大規模で高品質な事前トレーニングデータセットがいくつかリリースされている。 しかし、LLMが進化を続けるにつれ、ドメイン固有の機能や安全性の問題に焦点が移り、トレーニング要件を満たすのに十分な粗粒のテキストが不足している。 さらに、様々なシナリオにおいて強力で信頼性の高いLCMを構築する上で、品質、ドメイン、毒性などのきめ細かい情報の重要性が増している。 これらの課題に対処するために,多次元および微細な情報を用いた大規模かつ高品質な中国語データセット構築のための新しいツールチェーン MDFG-tool を提案する。 まず、手作業によるルールを用いて、明示的なノイズのあるテキストを生のコンテンツから取り除きます。 次に, 品質評価モデル, ドメイン分類器, 毒性評価モデルを適切に設計し, 残余のクリーン化データをそれぞれ評価する。 最後に,これら3種類の微細な情報をテキスト毎に統合する。 そこで本研究では,3.8TBの漢文テキスト2.0を,品質スコア,ドメインラベル,毒性ラベル,毒性スコアに関連付けることで,LLM研究者が各種のきめ細かい情報に基づいてデータを選択することを容易にする。 データ、コード、ツールチェーンは、このWebサイト(https://github.com/CASIA-LM/ ChineseWebText-2.0)で入手できる。

関連論文リスト

• RedPajama: an Open Dataset for Training Large Language Models [80.74772646989423]
  我々は、オープンソースの言語モデルを前進させるために対処しなければならない3つの中核的なデータ関連課題を特定します。 例えば、(1)データキュレーションプロセス、(2)大量の高品質データへのアクセス、(3)データセットキュレーションと分析のためのアーティファクトとメタデータの可用性などである。 LLaMAトレーニングデータセットのオープンレプリケーションであるRedPajama-V1と、生の未フィルタリングテキストデータと品質信号とメタデータからなる巨大なWeb専用データセットであるRedPajama-V2をリリースする。
  論文  参考訳（メタデータ） (2024-11-19T09:35:28Z)
• Integrating Planning into Single-Turn Long-Form Text Generation [66.08871753377055]
  長文コンテンツを生成するための計画案を提案する。 私たちの主な新規性は、複数のプロンプトや計画のラウンドを必要としない単一の補助的なタスクにあります。 実験では,LLMを補助タスクで微調整し,高品質な文書を生成する,異なる領域からの2つのデータセットを実証した。
  論文  参考訳（メタデータ） (2024-10-08T17:02:40Z)
• Open Artificial Knowledge [3.187724439601991]
  我々は5億以上のトークンからなる大規模リソースであるOpen Artificial Knowledge (OAK)データセットを紹介した。 OAKデータセットは、より有能で整合した言語モデルの開発を促進することを目的としている。
  論文  参考訳（メタデータ） (2024-07-19T15:01:24Z)
• CT-Eval: Benchmarking Chinese Text-to-Table Performance in Large Language Models [36.82189550072201]
  既存のテキスト・ツー・テーブルのデータセットは典型的には英語を指向する。 大規模言語モデル(LLM)は、多言語設定における一般的なタスクソルバとして大きな成功を収めている。 本研究は,中国語のテキスト・ツー・テーブル・データセットであるCT-Evalを用いてLCMのベンチマークを行う。
  論文  参考訳（メタデータ） (2024-05-20T16:58:02Z)
• LongWanjuan: Towards Systematic Measurement for Long Text Quality [102.46517202896521]
  LongWanjuanは160B以上のトークンを持つ長文タスクのための言語モデルのトレーニングを強化するために特別に設計されたデータセットである。 LongWanjuanでは、長文を全体的、集約的、カオス的なタイプに分類し、長文品質の詳細な分析を可能にする。 我々は,LongWanjuan内で異なるタイプの長文を戦略的にバランスさせるデータ混合レシピを考案し,長文タスクにおけるモデル性能を大幅に改善した。
  論文  参考訳（メタデータ） (2024-02-21T07:27:18Z)
• Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
  我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。 このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
  論文  参考訳（メタデータ） (2024-02-16T13:53:26Z)
• ChineseWebText: Large-scale High-quality Chinese Web Text Extracted with Effective Evaluation Model [40.23569361268597]
  ノイズの多いWebデータから中国語のクリーンテキストを抽出するツールチェーンEvalWebを提案する。 我々は,最大かつ最新の高品質な中国語Webテキストである ChineseWebText をリリースし,その内容は1.42TB で,各テキストは品質スコアに関連付けられている。
  論文  参考訳（メタデータ） (2023-11-02T11:13:51Z)
• CulturaX: A Cleaned, Enormous, and Multilingual Dataset for Large Language Models in 167 Languages [86.90220551111096]
  大規模言語モデル(LLM)のトレーニングデータセットは、完全には公開されないことが多い。 我々は167言語で6.3兆のトークンを持つ相当な多言語データセットであるCulturaXを紹介する。
  論文  参考訳（メタデータ） (2023-09-17T23:49:10Z)
• AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
  GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。 本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。 我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
  論文  参考訳（メタデータ） (2023-03-29T17:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。