論文の概要: RedPajama: an Open Dataset for Training Large Language Models

• arxiv url: http://arxiv.org/abs/2411.12372v1
• Date: Tue, 19 Nov 2024 09:35:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:38:06.575529
• Title: RedPajama: an Open Dataset for Training Large Language Models
• Title（参考訳）: RedPajama: 大規模言語モデルをトレーニングするためのオープンデータセット
• Authors: Maurice Weber, Daniel Fu, Quentin Anthony, Yonatan Oren, Shane Adams, Anton Alexandrov, Xiaozhong Lyu, Huu Nguyen, Xiaozhe Yao, Virginia Adams, Ben Athiwaratkun, Rahul Chalamala, Kezhen Chen, Max Ryabinin, Tri Dao, Percy Liang, Christopher Ré, Irina Rish, Ce Zhang,
• Abstract要約: 我々は、オープンソースの言語モデルを前進させるために対処しなければならない3つの中核的なデータ関連課題を特定します。 例えば、(1)データキュレーションプロセス、(2)大量の高品質データへのアクセス、(3)データセットキュレーションと分析のためのアーティファクトとメタデータの可用性などである。 LLaMAトレーニングデータセットのオープンレプリケーションであるRedPajama-V1と、生の未フィルタリングテキストデータと品質信号とメタデータからなる巨大なWeb専用データセットであるRedPajama-V2をリリースする。
• 参考スコア（独自算出の注目度）: 80.74772646989423
• License:
• Abstract: Large language models are increasingly becoming a cornerstone technology in artificial intelligence, the sciences, and society as a whole, yet the optimal strategies for dataset composition and filtering remain largely elusive. Many of the top-performing models lack transparency in their dataset curation and model development processes, posing an obstacle to the development of fully open language models. In this paper, we identify three core data-related challenges that must be addressed to advance open-source language models. These include (1) transparency in model development, including the data curation process, (2) access to large quantities of high-quality data, and (3) availability of artifacts and metadata for dataset curation and analysis. To address these challenges, we release RedPajama-V1, an open reproduction of the LLaMA training dataset. In addition, we release RedPajama-V2, a massive web-only dataset consisting of raw, unfiltered text data together with quality signals and metadata. Together, the RedPajama datasets comprise over 100 trillion tokens spanning multiple domains and with their quality signals facilitate the filtering of data, aiming to inspire the development of numerous new datasets. To date, these datasets have already been used in the training of strong language models used in production, such as Snowflake Arctic, Salesforce's XGen and AI2's OLMo. To provide insight into the quality of RedPajama, we present a series of analyses and ablation studies with decoder-only language models with up to 1.6B parameters. Our findings demonstrate how quality signals for web data can be effectively leveraged to curate high-quality subsets of the dataset, underscoring the potential of RedPajama to advance the development of transparent and high-performing language models at scale.
• Abstract（参考訳）: 大規模な言語モデルは、人工知能、科学、社会全体の基盤となる技術になりつつあるが、データセット合成とフィルタリングの最適な戦略は、いまだほとんど解明されていない。 最高のパフォーマンスのモデルの多くは、データセットのキュレーションとモデル開発プロセスの透明性に欠けており、完全にオープンな言語モデルの開発に障害を生じさせている。 本稿では,オープンソース言語モデルの進歩に対処しなければならない3つの中核的データ関連課題を特定する。 例えば、(1)データキュレーションプロセス、(2)大量の高品質データへのアクセス、(3)データセットキュレーションと分析のためのアーティファクトとメタデータの可用性などである。 これらの課題に対処するため、LLaMAトレーニングデータセットをオープンに再現したRedPajama-V1をリリースしました。 さらに、生の未フィルタリングテキストデータと品質信号とメタデータからなるWeb専用データセットであるRedPajama-V2をリリースする。 RedPajamaデータセットは、複数のドメインにまたがる100兆以上のトークンで構成され、その品質信号によってデータのフィルタリングが促進され、多数の新しいデータセットの開発を促すことを目的としている。 これまでこれらのデータセットは、Snowflake ArcticやSalesforceのXGen、AI2のOLMoといった、プロダクションで使用される強力な言語モデルのトレーニングに使用されてきた。 レッドパジャマの品質に関する知見を提供するため,最大1.6Bパラメータを持つデコーダのみの言語モデルを用いて,一連の分析およびアブレーション研究を行った。 この結果から,Webデータの品質信号がデータセットの高品質なサブセットのキュレートに有効に活用できることが示され,RedPajamaが大規模かつ透明かつ高性能な言語モデルの開発を進展させる可能性を示している。

関連論文リスト

• Training Data for Large Language Model [2.1178416840822027]
  ChatGPTは、事前学習コーパスのパラメータとスケールの点で、以前のモデルを上回った。 ChatGPTは、大量の高品質な人間注釈付きデータを微調整することで、革命的なパフォーマンス向上を実現した。 本稿では,大規模言語モデルの事前学習と微調整の現状を概説する。
  論文  参考訳（メタデータ） (2024-11-12T11:09:58Z)
• Generating Realistic Tabular Data with Large Language Models [49.03536886067729]
  大規模言語モデル(LLM)は多様なタスクに使われてきたが、特徴と対象変数の正確な相関は捉えていない。 そこで本研究では,LLMに基づく3つの重要な改良を加えて,実データの特徴クラス相関を正しく把握する手法を提案する。 実験の結果,本手法は下流タスクにおいて,20個のデータセット上で10個のSOTAベースラインを著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-10-29T04:14:32Z)
• Data Processing for the OpenGPT-X Model Family [32.8178473342263]
  本稿では,OpenGPT-Xプロジェクトで開発されたデータ準備パイプラインの概要について述べる。 プロジェクトの目的は、オープンで高性能な多言語大言語モデル(LLM)を作ることである。 データ選択と要件定義からモデルトレーニングの最終データセットの準備まで、すべてのデータ処理手順を説明します。
  論文  参考訳（メタデータ） (2024-10-11T13:34:24Z)
• POINTS: Improving Your Vision-language Model with Affordable Strategies [28.611705477757454]
  視覚言語モデルの最新の進歩を利用して、ロバストなベースラインモデルを訓練する。 我々は、パープレキシティーを用いて事前学習データをフィルタリングし、トレーニングのための最も低いパープレキシティーデータを選択する。 視覚的なインストラクションチューニングでは、さまざまなデータセットでモデルスープを使用して、より多くのデータセットを追加することで、限界的な改善を実現しました。
  論文  参考訳（メタデータ） (2024-09-07T13:41:37Z)
• Zyda: A 1.3T Dataset for Open Language Modeling [10.973515151563427]
  Zydaは1.3兆のトークンからなる寛容なライセンス下でのデータセットで、主要なオープンソースのデータセットを単一の高品質なコーパスに統合することによって組み立てられる。 我々の評価によると、ZydaはDolma、FinalWeb、RefinedWebといった他のオープンデータセットと競合するだけでなく、Pythiaスイートの同等モデルの性能を大幅に改善している。
  論文  参考訳（メタデータ） (2024-06-04T05:47:17Z)
• TextSquare: Scaling up Text-Centric Visual Instruction Tuning [64.55339431760727]
  大規模かつ高品質な命令チューニングデータセットSquare-10Mを作成するための新しいアプローチを提案する。 われわれのモデルであるTextSquareは、最先端のText中心のMLLMをはるかに上回っている。 さらに、GPT4VやGeminiといったトップクラスのモデルでは、テキスト中心のベンチマークを10つ中6つで上回っている。
  論文  参考訳（メタデータ） (2024-04-19T11:38:08Z)
• CulturaX: A Cleaned, Enormous, and Multilingual Dataset for Large Language Models in 167 Languages [86.90220551111096]
  大規模言語モデル(LLM)のトレーニングデータセットは、完全には公開されないことが多い。 我々は167言語で6.3兆のトークンを持つ相当な多言語データセットであるCulturaXを紹介する。
  論文  参考訳（メタデータ） (2023-09-17T23:49:10Z)
• WanJuan: A Comprehensive Multimodal Dataset for Advancing English and Chinese Large Models [69.96148259273065]
  ワンフアン(Wan Juan)は、中国語と英語のデータからなる大規模なマルチモーダルデータセットであり、幅広いWebソースから収集されている。 同様のスケールのモデルと比較して,多次元評価において有意な優位性を示すモデルであるInternLMのトレーニングに利用された。
  論文  参考訳（メタデータ） (2023-08-21T14:40:48Z)
• AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
  GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。 本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。 我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
  論文  参考訳（メタデータ） (2023-03-29T17:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。