論文の概要: Common Corpus: The Largest Collection of Ethical Data for LLM Pre-Training

• arxiv url: http://arxiv.org/abs/2506.01732v1
• Date: Mon, 02 Jun 2025 14:43:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 04:22:50.764611
• Title: Common Corpus: The Largest Collection of Ethical Data for LLM Pre-Training
• Title（参考訳）: Common Corpus: LLM事前学習のための倫理的データの最大コレクション
• Authors: Pierre-Carl Langlais, Carlos Rosas Hinostroza, Mattia Nee, Catherine Arnett, Pavel Chizhov, Eliot Krzystof Jones, Irène Girard, David Mach, Anastasia Stasenko, Ivan P. Yamshchikov,
• Abstract要約: 言語モデル事前学習のための最大のオープンデータセットであるCommon Corpusを紹介する。 データセットには、ヨーロッパの主要言語から、事前トレーニングデータセットにはほとんど存在しない低リソース言語まで、さまざまな言語が含まれている。
• 参考スコア（独自算出の注目度）: 6.00143998001152
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are pre-trained on large amounts of data from different sources and domains. These data most often contain trillions of tokens with large portions of copyrighted or proprietary content, which hinders the usage of such models under AI legislation. This raises the need for truly open pre-training data that is compliant with the data security regulations. In this paper, we introduce Common Corpus, the largest open dataset for language model pre-training. The data assembled in Common Corpus are either uncopyrighted or under permissible licenses and amount to about two trillion tokens. The dataset contains a wide variety of languages, ranging from the main European languages to low-resource ones rarely present in pre-training datasets; in addition, it includes a large portion of code data. The diversity of data sources in terms of covered domains and time periods opens up the paths for both research and entrepreneurial needs in diverse areas of knowledge. In this technical report, we present the detailed provenance of data assembling and the details of dataset filtering and curation. Being already used by such industry leaders as Anthropic and multiple LLM training projects, we believe that Common Corpus will become a critical infrastructure for open science research in LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、異なるソースやドメインからの大量のデータに基づいて事前訓練される。 これらのデータには、著作権のあるコンテンツやプロプライエタリなコンテンツが多数含まれている数兆単位のトークンが含まれており、AI法の下ではそのようなモデルの使用を妨げることがほとんどである。 これにより、データセキュリティ規則に準拠した、真にオープンな事前トレーニングデータの必要性が高まる。 本稿では,言語モデル事前学習のための最大規模のオープンデータセットであるCommon Corpusを紹介する。 Common Corpusで収集されたデータは、コピーライトされていないか許可されていないライセンスで、約2兆のトークンに等しい。 データセットには、ヨーロッパの主要言語から、事前トレーニングデータセットにはほとんど存在しない低リソース言語まで、さまざまな言語が含まれている。 ドメインや期間をカバーしたデータソースの多様性は、さまざまな分野の知識における研究と起業家的ニーズの両方の道を開く。 本稿では,データ集合の詳細な証明と,データセットのフィルタリングとキュレーションの詳細について述べる。 Anthropic や複数の LLM トレーニングプロジェクトなどの業界リーダがすでに使用していることから,私たちは Common Corpus が LLM におけるオープンサイエンス研究の重要な基盤になると考えています。

関連論文リスト

• Logos as a Well-Tempered Pre-train for Sign Language Recognition [75.42794328290088]
  本稿では,ロシア語 Sign Language (RSL) データセットであるLogosについて述べる。 Logosデータセットに事前トレーニングされたモデルが,他の言語SLRタスクのユニバーサルエンコーダとして使用できることを示す。 視覚的に類似した標識を明示的にラベル付けすることで、下流タスクのためのビジュアルエンコーダとして訓練されたモデル品質が向上することを示す。
  論文  参考訳（メタデータ） (2025-05-15T16:31:49Z)
• OpenCoder: The Open Cookbook for Top-Tier Code Large Language Models [76.59316249991657]
  コードのための大規模言語モデル(LLM)は、コード生成、推論タスク、エージェントシステムなど、さまざまな領域で必須になっている。 オープンアクセスのコード LLM はプロプライエタリなモデルの性能レベルに近づきつつあるが、高品質なコード LLM は依然として限られている。 トップクラスのコードLLMであるOpenCoderは、主要なモデルに匹敵するパフォーマンスを達成するだけでなく、研究コミュニティの"オープンクックブック"としても機能します。
  論文  参考訳（メタデータ） (2024-11-07T17:47:25Z)
• DataAgent: Evaluating Large Language Models' Ability to Answer Zero-Shot, Natural Language Queries [0.0]
  OpenAIのGPT-3.5をLanguage Data Scientist(LDS)として評価する このモデルは、さまざまなベンチマークデータセットでテストされ、そのパフォーマンスを複数の標準で評価した。
  論文  参考訳（メタデータ） (2024-03-29T22:59:34Z)
• IndicLLMSuite: A Blueprint for Creating Pre-training and Fine-Tuning Datasets for Indian Languages [36.80949728259958]
  本研究は、Indic LLMの開発に特化して設計された、拡張性のあるリソーススイートを紹介する。 このアプローチでは、高度にキュレートされた手作業による検証データ、検証されていないが価値のあるデータ、合成データを組み合わせています。 命令ファインチューニングでは、既存のIndicデータセットをアマルガメートし、英語データセットをインド語に翻訳・翻訳し、LLaMa2とMixtralモデルを利用する。
  論文  参考訳（メタデータ） (2024-03-11T00:46:56Z)
• Unearthing Large Scale Domain-Specific Knowledge from Public Corpora [103.0865116794534]
  データ収集パイプラインに大規模なモデルを導入し、ドメイン固有の情報の生成をガイドします。 このアプローチをRetrieve-from-CCと呼ぶ。 ドメイン固有の知識に関するデータを収集するだけでなく、パブリックコーパスから潜在的推論手順を含むデータをマイニングする。
  論文  参考訳（メタデータ） (2024-01-26T03:38:23Z)
• CulturaX: A Cleaned, Enormous, and Multilingual Dataset for Large Language Models in 167 Languages [86.90220551111096]
  大規模言語モデル(LLM)のトレーニングデータセットは、完全には公開されないことが多い。 我々は167言語で6.3兆のトークンを持つ相当な多言語データセットであるCulturaXを紹介する。
  論文  参考訳（メタデータ） (2023-09-17T23:49:10Z)
• Documenting the English Colossal Clean Crawled Corpus [28.008953329187648]
  この作業は、Common Crawlの単一のスナップショットにフィルターのセットを適用することによって作成されたデータセットであるColossal Clean Crawled Corpus(C4; Raffel et al., 2020)の最初のドキュメントを提供します。 まず、テキストがどこから来ていつ書き込まれたかの分布を含む、データのハイレベルな要約から始めます。 次に、最も頻繁なテキストソースを含む、このデータの突出した部分に関するより詳細な分析を行う。
  論文  参考訳（メタデータ） (2021-04-18T07:42:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。