論文の概要: ChineseWebText: Large-scale High-quality Chinese Web Text Extracted with
Effective Evaluation Model
- arxiv url: http://arxiv.org/abs/2311.01149v2
- Date: Fri, 10 Nov 2023 06:28:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-13 17:13:03.578745
- Title: ChineseWebText: Large-scale High-quality Chinese Web Text Extracted with
Effective Evaluation Model
- Title（参考訳）: ChineseWebText: 効果的な評価モデルによる大規模高品質な中国語Webテキスト抽出
- Authors: Jianghao Chen, Pu Jian, Tengxiao Xi, Dongyi Yi, Qianlong Du, Chenglin
Ding, Guibo Zhu, Chengqing Zong, Jinqiao Wang, Jiajun Zhang
- Abstract要約: ノイズの多いWebデータから中国語のクリーンテキストを抽出するツールチェーンEvalWebを提案する。
我々は,最大かつ最新の高品質な中国語Webテキストである ChineseWebText をリリースし,その内容は1.42TB で,各テキストは品質スコアに関連付けられている。
- 参考スコア（独自算出の注目度）: 40.23569361268597
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: During the development of large language models (LLMs), the scale and quality
of the pre-training data play a crucial role in shaping LLMs' capabilities. To
accelerate the research of LLMs, several large-scale datasets, such as C4 [1],
Pile [2], RefinedWeb [3] and WanJuan [4], have been released to the public.
However, most of the released corpus focus mainly on English, and there is
still lack of complete tool-chain for extracting clean texts from web data.
Furthermore, fine-grained information of the corpus, e.g. the quality of each
text, is missing. To address these challenges, we propose in this paper a new
complete tool-chain EvalWeb to extract Chinese clean texts from noisy web data.
First, similar to previous work, manually crafted rules are employed to discard
explicit noisy texts from the raw crawled web contents. Second, a well-designed
evaluation model is leveraged to assess the remaining relatively clean data,
and each text is assigned a specific quality score. Finally, we can easily
utilize an appropriate threshold to select the high-quality pre-training data
for Chinese. Using our proposed approach, we release the largest and latest
large-scale high-quality Chinese web text ChineseWebText, which consists of
1.42 TB and each text is associated with a quality score, facilitating the LLM
researchers to choose the data according to the desired quality thresholds. We
also release a much cleaner subset of 600 GB Chinese data with the quality
exceeding 90%.
- Abstract（参考訳）: 大規模言語モデル(LLM)の開発において、事前学習データのスケールと品質はLLMの能力を形成する上で重要な役割を果たす。
llmsの研究を加速するために、c4 [1]、pill [2]、refineweb [3]、wanjuan [4]のようないくつかの大規模データセットが公開された。
しかし、リリースされているコーパスの大部分は英語に焦点を当てており、webデータからクリーンテキストを抽出するための完全なツールチェーンが不足している。
さらに、コーパスの細かな情報(例えば、各テキストの品質)が欠落している。
これらの課題に対処するため,我々は,ノイズの多いWebデータから中国語のクリーンテキストを抽出するツールチェーンEvalWebを提案する。
まず、以前の作業と同様、手作業によるルールを使用して、生のクロールされたWebコンテンツから明確なノイズのあるテキストを破棄する。
第二に、十分に設計された評価モデルを用いて、残りの比較的クリーンなデータを評価し、各テキストに特定の品質スコアを割り当てる。
最後に、適切なしきい値を利用して、中国語の高品質な事前学習データを選択する。
提案手法を用いて,最大かつ最新の大規模高品質中国語 web テキスト chinesewebtext をリリースし,各テキストに品質スコアが関連付けられ,llm 研究者が所望の品質閾値に応じてデータを選択することができるようにした。
また、品質が90%を超える600GBの中国データのよりクリーンなサブセットもリリースしています。
関連論文リスト
- OmniCorpus: A Unified Multimodal Corpus of 10 Billion-Level Images Interleaved with Text [112.60163342249682]
我々は100億規模の画像テキストインターリーブデータセットであるOmniCorpusを紹介する。
私たちのデータセットは、優れたデータ品質を維持しながら、15倍のスケールを持っています。
これが将来のマルチモーダルモデル研究に確かなデータ基盤を提供することを期待しています。
論文 参考訳（メタデータ） (2024-06-12T17:01:04Z) - CT-Eval: Benchmarking Chinese Text-to-Table Performance in Large Language Models [36.82189550072201]
既存のテキスト・ツー・テーブルのデータセットは典型的には英語を指向する。
大規模言語モデル(LLM)は、多言語設定における一般的なタスクソルバとして大きな成功を収めている。
本研究は,中国語のテキスト・ツー・テーブル・データセットであるCT-Evalを用いてLCMのベンチマークを行う。
論文 参考訳（メタデータ） (2024-05-20T16:58:02Z) - WanJuan-CC: A Safe and High-Quality Open-sourced English Webtext Dataset [30.73307556909938]
本稿では,Common Crawlデータから得られた安全で高品質なウェブテキストデータセットであるWanJuan-CCを提案する。
包括的なプロセスは、抽出、ルールフィルタリング、ファジィ重複、コンテントセーフティフィルタリング、データ品質フィルタリングを含むCommon Crawlデータを扱うように設計されている。
論文 参考訳（メタデータ） (2024-02-29T15:49:15Z) - LongWanjuan: Towards Systematic Measurement for Long Text Quality [102.46517202896521]
LongWanjuanは160B以上のトークンを持つ長文タスクのための言語モデルのトレーニングを強化するために特別に設計されたデータセットである。
LongWanjuanでは、長文を全体的、集約的、カオス的なタイプに分類し、長文品質の詳細な分析を可能にする。
我々は,LongWanjuan内で異なるタイプの長文を戦略的にバランスさせるデータ混合レシピを考案し,長文タスクにおけるモデル性能を大幅に改善した。
論文 参考訳（メタデータ） (2024-02-21T07:27:18Z) - Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。
このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
論文 参考訳（メタデータ） (2024-02-16T13:53:26Z) - Improving Text Embeddings with Large Language Models [59.930513259982725]
合成データと1k以下のトレーニングステップのみを用いて,高品質なテキスト埋め込みを実現するための,新しい簡易な手法を提案する。
我々は、93言語にまたがる数十万のテキスト埋め込みタスクのための多様な合成データを生成するために、プロプライエタリなLLMを活用している。
実験により,ラベル付きデータを使わずに,高度に競争力のあるテキスト埋め込みベンチマークにおいて高い性能が得られることが示された。
論文 参考訳（メタデータ） (2023-12-31T02:13:18Z) - Whose Language Counts as High Quality? Measuring Language Ideologies in
Text Data Selection [83.3580786484122]
より富裕で、教育され、都会のZIPコードにある大きな学校の新聞は、質の高いものとして分類される傾向にある。
高品質なコーパスを特権化するには言語イデオロギーが必要です。
論文 参考訳（メタデータ） (2022-01-25T17:20:04Z) - HintedBT: Augmenting Back-Translation with Quality and Transliteration
Hints [7.452359972117693]
標的単言語コーパスのバックトランスレーションは、ニューラルマシン翻訳(NMT)に広く用いられているデータ拡張戦略である
私たちは、エンコーダとデコーダにヒント(タグを通して)を提供するテクニックのファミリーであるHintedBTを紹介します。
これらのヒントを別々に使用することで翻訳品質が大幅に向上することを示す。
論文 参考訳（メタデータ） (2021-09-09T17:43:20Z) - Documenting the English Colossal Clean Crawled Corpus [28.008953329187648]
この作業は、Common Crawlの単一のスナップショットにフィルターのセットを適用することによって作成されたデータセットであるColossal Clean Crawled Corpus(C4; Raffel et al., 2020)の最初のドキュメントを提供します。
まず、テキストがどこから来ていつ書き込まれたかの分布を含む、データのハイレベルな要約から始めます。
次に、最も頻繁なテキストソースを含む、このデータの突出した部分に関するより詳細な分析を行う。
論文 参考訳（メタデータ） (2021-04-18T07:42:52Z) - Quality at a Glance: An Audit of Web-Crawled Multilingual Datasets [21.375943264243144]
5つの主要な公開データセットでリリースした205言語固有のコーパスの品質を手作業で監査する。
以上の結果から,少なくとも15コーパスは完全に誤用され,50%未満の品質の文を含むことが明らかとなった。
これらの問題は,対象言語の非話者でも容易に検出でき,自動解析による人間の判断を補うことができることを示す。
論文 参考訳（メタデータ） (2021-03-22T17:30:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。