論文の概要: CulturaX: A Cleaned, Enormous, and Multilingual Dataset for Large
Language Models in 167 Languages
- arxiv url: http://arxiv.org/abs/2309.09400v1
- Date: Sun, 17 Sep 2023 23:49:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-19 15:42:11.295286
- Title: CulturaX: A Cleaned, Enormous, and Multilingual Dataset for Large
Language Models in 167 Languages
- Title(参考訳): culturax: 167言語における大規模言語モデルのためのクリーンで巨大な多言語データセット
- Authors: Thuat Nguyen, Chien Van Nguyen, Viet Dac Lai, Hieu Man, Nghia Trung
Ngo, Franck Dernoncourt, Ryan A. Rossi and Thien Huu Nguyen
- Abstract要約: 大規模言語モデル(LLM)のトレーニングデータセットは、完全には公開されないことが多い。
我々は167言語で6.3兆のトークンを持つ相当な多言語データセットであるCulturaXを紹介する。
- 参考スコア(独自算出の注目度): 86.90220551111096
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The driving factors behind the development of large language models (LLMs)
with impressive learning capabilities are their colossal model sizes and
extensive training datasets. Along with the progress in natural language
processing, LLMs have been frequently made accessible to the public to foster
deeper investigation and applications. However, when it comes to training
datasets for these LLMs, especially the recent state-of-the-art models, they
are often not fully disclosed. Creating training data for high-performing LLMs
involves extensive cleaning and deduplication to ensure the necessary level of
quality. The lack of transparency for training data has thus hampered research
on attributing and addressing hallucination and bias issues in LLMs, hindering
replication efforts and further advancements in the community. These challenges
become even more pronounced in multilingual learning scenarios, where the
available multilingual text datasets are often inadequately collected and
cleaned. Consequently, there is a lack of open-source and readily usable
dataset to effectively train LLMs in multiple languages. To overcome this
issue, we present CulturaX, a substantial multilingual dataset with 6.3
trillion tokens in 167 languages, tailored for LLM development. Our dataset
undergoes meticulous cleaning and deduplication through a rigorous pipeline of
multiple stages to accomplish the best quality for model training, including
language identification, URL-based filtering, metric-based cleaning, document
refinement, and data deduplication. CulturaX is fully released to the public in
HuggingFace to facilitate research and advancements in multilingual LLMs:
https://huggingface.co/datasets/uonlp/CulturaX.
- Abstract(参考訳): 印象的な学習能力を持つ大規模言語モデル(llm)の開発を支える要因は、そのコロッサルモデルのサイズと広範なトレーニングデータセットである。
自然言語処理の進歩とともに、llmはより深い調査と応用を促進するために、しばしば一般に公開されている。
しかしながら、これらのLLM、特に最近の最先端モデルのデータセットのトレーニングに関しては、完全には公開されていないことが多い。
高性能LLMのためのトレーニングデータを作成するには、必要な品質レベルを確保するために、広範囲なクリーニングと重複が伴う。
トレーニングデータの透明性の欠如は、llmにおける幻覚とバイアスの問題の帰属と対処に関する研究の妨げとなり、レプリケーションの努力とコミュニティのさらなる進歩を妨げている。
これらの課題は、利用可能な多言語テキストデータセットが不十分に収集され、クリーン化される、多言語学習シナリオにおいてさらに顕著になる。
その結果、複数の言語でLLMを効果的にトレーニングするために、オープンソースで容易に利用できるデータセットが不足している。
この問題を解決するために,167言語で6.3兆のトークンを持つ多言語データセットであるCulturaXを提案する。
我々のデータセットは、言語識別、URLベースのフィルタリング、メトリックベースのクリーニング、文書の洗練、データ重複といったモデルトレーニングの最高の品質を達成するために、複数のステージからなる厳密なパイプラインを通して、綿密なクリーニングとデデューズを行う。
culturaxは、多言語llmの研究と進歩を促進するために、hughingfaceで完全に一般公開されている。
関連論文リスト
- Amharic LLaMA and LLaVA: Multimodal LLMs for Low Resource Languages [0.0]
大規模言語モデル(LLM)は、自然言語処理タスクにおいて驚くほどの習熟度を示している。
LLMは、トレーニングデータが少ないため、低リソースの言語でよく機能するのに苦労することが多い。
本研究では,世界5000万人以上の人々が話す言語であるAmharicを話すためのLLaMA-2の訓練について検討する。
論文 参考訳(メタデータ) (2024-03-11T01:04:36Z) - Can LLM Generate Culturally Relevant Commonsense QA Data? Case Study in
Indonesian and Sundanese [15.799909199467342]
大規模言語モデル(LLM)は、モデルを訓練し、評価するために合成データを生成するために、ますます使われている。
インドネシア語とスンダ語における文化関連コモンセンスQAデータセット作成におけるLLMの使用の有効性について検討した。
論文 参考訳(メタデータ) (2024-02-27T08:24:32Z) - Enhancing Multilingual Capabilities of Large Language Models through
Self-Distillation from Resource-Rich Languages [60.162717568496355]
大規模言語モデル(LLM)は多言語コーパスで事前訓練されている。
彼らのパフォーマンスは、いくつかのリソース豊富な言語と比較して、ほとんどの言語でまだ遅れています。
論文 参考訳(メタデータ) (2024-02-19T15:07:32Z) - UltraLink: An Open-Source Knowledge-Enhanced Multilingual Supervised
Fine-tuning Dataset [69.33424532827608]
オープンソースの大規模言語モデル(LLM)は、様々な分野において大きな強みを持っている。
本研究では,オープンソースの多言語教師付き微調整データセットを構築する。
結果として得られたUltraLinkデータセットは、5つの言語にわたる約100万のサンプルで構成されている。
論文 参考訳(メタデータ) (2024-02-07T05:05:53Z) - Cross-lingual Editing in Multilingual Language Models [1.3062731746155414]
本稿では,言語間モデル編集(textbfXME)パラダイムを紹介し,事実を一つの言語で編集し,その後の更新伝搬を他の言語で観察する。
その結果,言語が2つの異なるスクリプトファミリーに属している場合を中心に,XME設定下での最先端のMETの性能制限が顕著に示された。
論文 参考訳(メタデータ) (2024-01-19T06:54:39Z) - Leveraging LLMs for Synthesizing Training Data Across Many Languages in
Multilingual Dense Retrieval [55.926286265584565]
SWIM-IRは, 人間の監督を必要とせずに多言語密集検索モデルを訓練するための33言語を含む合成検索訓練データセットである。
XOR-Retrieve (cross-lingual)、XTREME-UP (cross-lingual)、MIRACL (monolingual)の3つの検索ベンチマークを用いて、多言語高密度検索モデルの合成微調整について検討する。
論文 参考訳(メタデータ) (2023-11-10T00:17:10Z) - Okapi: Instruction-tuned Large Language Models in Multiple Languages
with Reinforcement Learning from Human Feedback [61.83548032416181]
複数の言語を対象としたRLHFに基づく命令調整型LLMシステムであるOkapiを提案する。
オカピは26の多言語言語でインストラクションと応答ランクデータを導入し、将来の多言語LLM研究の促進と開発に役立てている。
論文 参考訳(メタデータ) (2023-07-29T18:01:46Z) - PolyLM: An Open Source Polyglot Large Language Model [57.64420154135178]
我々は6400億(B)トークンでトレーニングされた多言語大言語モデル(LLM)であるPolyLMについて述べる。
その多言語的能力を高めるために,1) バイリンガルデータをトレーニングデータに統合し,2) 事前学習中に英語以外のデータの比率を30%から60%に引き上げるカリキュラム学習戦略を採用する。
さらに,モデル微調整のために,132.7Kの多言語命令を自動的に生成する多言語自己指示手法を提案する。
論文 参考訳(メタデータ) (2023-07-12T09:00:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。