論文の概要: RedStone: Curating General, Code, Math, and QA Data for Large Language Models

• arxiv url: http://arxiv.org/abs/2412.03398v1
• Date: Wed, 04 Dec 2024 15:27:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-05 15:08:51.321386
• Title: RedStone: Curating General, Code, Math, and QA Data for Large Language Models
• Title（参考訳）: RedStone: 大規模言語モデルのための一般、コード、数学、QAデータをキュレートする
• Authors: Yaoyao Chang, Lei Cui, Li Dong, Shaohan Huang, Yangyu Huang, Yupan Huang, Scarlett Li, Tengchao Lv, Shuming Ma, Qinzheng Sun, Wenhui Wang, Furu Wei, Ying Xin, Mao Yang, Qiufeng Yin, Xingxing Zhang,
• Abstract要約: 本研究では,大規模言語モデルを事前学習するための包括的かつ柔軟なリソースとして,Common Crawlの未完成の可能性を探る。 私たちは、Common Crawlからデータを抽出し、処理するために設計された、革新的でスケーラブルなパイプラインであるRedStoneを紹介します。
• 参考スコア（独自算出の注目度）: 134.49774529790693
• License:
• Abstract: Pre-training Large Language Models (LLMs) on high-quality, meticulously curated datasets is widely recognized as critical for enhancing their performance and generalization capabilities. This study explores the untapped potential of Common Crawl as a comprehensive and flexible resource for pre-training LLMs, addressing both general-purpose language understanding and specialized domain knowledge. We introduce RedStone, an innovative and scalable pipeline engineered to extract and process data from Common Crawl, facilitating the creation of extensive and varied pre-training datasets. Unlike traditional datasets, which often require expensive curation and domain-specific expertise, RedStone leverages the breadth of Common Crawl to deliver datasets tailored to a wide array of domains. In this work, we exemplify its capability by constructing pre-training datasets across multiple fields, including general language understanding, code, mathematics, and question-answering tasks. The flexibility of RedStone allows for easy adaptation to other specialized domains, significantly lowering the barrier to creating valuable domain-specific datasets. Our findings demonstrate that Common Crawl, when harnessed through effective pipelines like RedStone, can serve as a rich, renewable source of pre-training data, unlocking new avenues for domain adaptation and knowledge discovery in LLMs. This work also underscores the importance of innovative data acquisition strategies and highlights the role of web-scale data as a powerful resource in the continued evolution of LLMs. RedStone code and data samples will be publicly available at \url{https://aka.ms/redstone}.
• Abstract（参考訳）: 高品質で精巧にキュレートされたデータセット上でのLLM(Large Language Models)の事前学習は、その性能と一般化能力を向上するために重要であると広く認識されている。 本研究は、汎用言語理解と専門ドメイン知識の両方に対処し、LLMを事前学習するための包括的で柔軟なリソースとしてCommon Crawlの未完成の可能性を探る。 私たちは、Common Crawlからデータを抽出し、処理するために設計された革新的でスケーラブルなパイプラインであるRedStoneを紹介します。 高価なキュレーションやドメイン固有の専門知識を必要とする従来のデータセットとは異なり、RedStoneはCommon Crawlの広さを活用して、幅広いドメインに適したデータセットを提供する。 本研究では,言語理解,コード,数学,質問応答タスクなど,複数の分野にまたがる事前学習データセットを構築することで,その能力を実証する。 RedStoneの柔軟性により、他の特殊なドメインへの容易に適応でき、価値あるドメイン固有のデータセットを作成するための障壁を大幅に減らすことができる。 以上の結果から,Common CrawlはRedStoneのような効果的なパイプラインを利用すれば,学習前データのリッチで再生可能なソースとして機能し,LLMにおけるドメイン適応と知識発見のための新たな道を開くことができることがわかった。 この研究は、革新的なデータ取得戦略の重要性を強調し、LLMの継続的な進化における強力なリソースとしてのWebスケールデータの役割を強調している。 RedStoneのコードとデータサンプルは、 \url{https://aka.ms/redstone} で公開される。

関連論文リスト

• Towards Enhancing Linked Data Retrieval in Conversational UIs using Large Language Models [1.3980986259786221]
  本稿では,既存のシステムにおけるLarge Language Models(LLM)の統合について検討する。 LLMの高度な自然言語理解機能を活用することで、Webシステム内のRDFエンティティ抽出を改善する。 本手法の評価は,ユーザクエリに対するシステム表現性と応答精度の顕著な向上を示す。
  論文  参考訳（メタデータ） (2024-09-24T16:31:33Z)
• A New Pipeline For Generating Instruction Dataset via RAG and Self Fine-Tuning [0.0]
  本研究では,特定のドメインを微調整するための高品質な命令データセットを構築するパイプラインを提案する。 ドメイン固有の文書を取り込み、パイプラインは関連性のある適切な命令を生成する。 ケーススタディでは、専門知識と患者情報の繊細な取り扱いを必要とする領域である精神医学の領域にこのアプローチを適用した。
  論文  参考訳（メタデータ） (2024-08-12T03:52:11Z)
• Beyond Finite Data: Towards Data-free Out-of-distribution Generalization via Extrapolation [19.944946262284123]
  ニューラルネットワークが人間のように外挿し、OODの一般化を実現するにはどうすればよいのか? 本稿では,大言語モデル(LLM)にカプセル化されている推論能力と広範な知識を活用して,完全に新しいドメインを合成する領域外挿手法を提案する。 提案手法は, VLCSなどのデータセットにおいて, 教師付き設定を約1～2%超え, 評価可能な性能を示す。
  論文  参考訳（メタデータ） (2024-03-08T18:44:23Z)
• IEPile: Unearthing Large-Scale Schema-Based Information Extraction Corpus [38.27122981449957]
  IEPileは、約0.32Bのトークンを含む包括的バイリンガル(英語と中国語)IE命令コーパスである。 我々は,既存のIEデータセット33件の収集とクリーニングによってIEPileを構築し,大規模なコーパスを探索するためにスキーマベースの命令生成を導入する。 IEPileはIE向けのLLMの性能を向上し、ゼロショットの一般化を顕著に改善した。
  論文  参考訳（メタデータ） (2024-02-22T17:11:38Z)
• Query of CC: Unearthing Large Scale Domain-Specific Knowledge from Public Corpora [104.16648246740543]
  大規模言語モデルに基づく効率的なデータ収集手法を提案する。 この方法は、大きな言語モデルを通してシード情報をブートストラップし、公開コーパスから関連データを検索する。 特定のドメインに関する知識関連のデータを収集するだけでなく、潜在的な推論手順でデータを抽出する。
  論文  参考訳（メタデータ） (2024-01-26T03:38:23Z)
• Knowledge Plugins: Enhancing Large Language Models for Domain-Specific Recommendations [50.81844184210381]
  本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。 このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
  論文  参考訳（メタデータ） (2023-11-16T07:09:38Z)
• A Multi-Format Transfer Learning Model for Event Argument Extraction via Variational Information Bottleneck [68.61583160269664]
  イベント引数抽出(EAE)は、テキストから所定の役割を持つ引数を抽出することを目的としている。 変動情報のボトルネックを考慮したマルチフォーマット変換学習モデルを提案する。 3つのベンチマークデータセットに対して広範な実験を行い、EAE上での新たな最先端性能を得る。
  論文  参考訳（メタデータ） (2022-08-27T13:52:01Z)
• Deep Transfer Learning for Multi-source Entity Linkage via Domain Adaptation [63.24594955429465]
  マルチソースエンティティリンクは、データのクリーニングやユーザ縫合といった、高インパクトなアプリケーションにおいて重要である。 AdaMELは、多ソースエンティティリンクを実行するための一般的なハイレベルな知識を学ぶディープトランスファー学習フレームワークである。 本フレームワークは,教師付き学習に基づく平均的手法よりも8.21%向上した最先端の学習結果を実現する。
  論文  参考訳（メタデータ） (2021-10-27T15:20:41Z)
• Reinforced Iterative Knowledge Distillation for Cross-Lingual Named Entity Recognition [54.92161571089808]
  言語間NERは、知識をリッチリソース言語から低リソース言語に転送する。 既存の言語間NERメソッドは、ターゲット言語でリッチなラベル付けされていないデータをうまく利用しない。 半教師付き学習と強化学習のアイデアに基づく新しいアプローチを開発する。
  論文  参考訳（メタデータ） (2021-06-01T05:46:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。