論文の概要: Data, Data Everywhere: A Guide for Pretraining Dataset Construction
- arxiv url: http://arxiv.org/abs/2407.06380v2
- Date: Sat, 19 Oct 2024 16:51:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-08 23:13:33.207712
- Title: Data, Data Everywhere: A Guide for Pretraining Dataset Construction
- Title（参考訳）: Data, Data Everywhere: データセット構築の事前トレーニングガイド
- Authors: Jupinder Parmar, Shrimai Prabhumoye, Joseph Jennings, Bo Liu, Aastha Jhunjhunwala, Zhilin Wang, Mostofa Patwary, Mohammad Shoeybi, Bryan Catanzaro,
- Abstract要約: プレトレーニングセット構築のパイプライン全体にわたる最初の体系的な研究を示す。
最も広く使われているデータソースであるWebクロールスナップショットを、毒性、品質、音声の種類、ドメインの属性に分類する。
これらの知見は、実践者が高品質な事前訓練セットを開発するために使用できる、実行可能なステップのセットである。
- 参考スコア（独自算出の注目度）: 32.163209188618566
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The impressive capabilities of recent language models can be largely attributed to the multi-trillion token pretraining datasets that they are trained on. However, model developers fail to disclose their construction methodology which has lead to a lack of open information on how to develop effective pretraining sets. To address this issue, we perform the first systematic study across the entire pipeline of pretraining set construction. First, we run ablations on existing techniques for pretraining set development to identify which methods translate to the largest gains in model accuracy on downstream evaluations. Then, we categorize the most widely used data source, web crawl snapshots, across the attributes of toxicity, quality, type of speech, and domain. Finally, we show how such attribute information can be used to further refine and improve the quality of a pretraining set. These findings constitute an actionable set of steps that practitioners can use to develop high quality pretraining sets.
- Abstract（参考訳）: 最近の言語モデルの印象的な機能は、トレーニング中のデータセットをトレーニングするマルチトリリオントークンに大きく影響する可能性がある。
しかし、モデル開発者は、効率的な事前学習セットの開発方法に関するオープンな情報が欠如している建設方法論を開示することができない。
この問題に対処するため、我々は事前学習セット構築のパイプライン全体にわたって、最初の系統的研究を行う。
まず,既存の事前学習手法を改良して,下流評価におけるモデル精度の最大値に変換する手法を特定する。
そして、最も広く使われているデータソースであるWebクローススナップショットを、毒性、品質、音声の種類、ドメインの属性に分類する。
最後に,そのような属性情報を用いて事前学習セットの品質をさらに向上し,改善する方法について述べる。
これらの知見は、実践者が高品質な事前訓練セットを開発するために使用できる、実行可能なステップのセットである。
関連論文リスト
- Training Data for Large Language Model [2.1178416840822027]
ChatGPTは、事前学習コーパスのパラメータとスケールの点で、以前のモデルを上回った。
ChatGPTは、大量の高品質な人間注釈付きデータを微調整することで、革命的なパフォーマンス向上を実現した。
本稿では,大規模言語モデルの事前学習と微調整の現状を概説する。
論文 参考訳（メタデータ） (2024-11-12T11:09:58Z) - Task-Oriented Pre-Training for Drivable Area Detection [5.57325257338134]
本稿では,冗長なセグメンテーションの提案から始まるタスク指向の事前学習手法を提案する。
次に、コントラスト言語画像事前学習(CLIP)モデルを微調整するための特定カテゴリー強化微調整(SCEF)戦略を導入する。
このアプローチは、手動のアノテートデータを使用してさらに微調整された事前学習モデルの粗いトレーニングデータを生成することができる。
論文 参考訳（メタデータ） (2024-09-30T10:25:47Z) - Reuse, Don't Retrain: A Recipe for Continued Pretraining of Language Models [29.367678364485794]
本稿では,言語モデルの事前学習を継続する上で,効率的なデータ分布と学習率スケジュールを設計する方法を示す。
プレトレーニングセットにおける継続トレーニングのベースラインと比較すると,平均モデル精度は9%向上した。
論文 参考訳（メタデータ） (2024-07-09T22:37:59Z) - Data Shapley in One Training Run [88.59484417202454]
Data Shapleyは、機械学習コンテキストにおけるデータのコントリビューションに寄与するための、原則化されたフレームワークを提供する。
既存のアプローチでは、計算集約的な異なるデータサブセット上の再学習モデルが必要である。
本稿では、対象とするデータモデルに対するスケーラブルなデータ属性を提供することにより、これらの制限に対処するIn-Run Data Shapleyを紹介する。
論文 参考訳（メタデータ） (2024-06-16T17:09:24Z) - Strategies for Pretraining Neural Operators [5.812284760539713]
偏微分方程式(PDE)モデリングの事前トレーニングは、一般化性と性能を改善するために、データセットをまたいだニューラルネットワークのスケーリングを約束している。
我々は,事前学習のダイナミクスを特徴付けるために,アーキテクチャ選択を最適化することなく,事前学習手法を比較した。
プレトレーニングはモデルとデータセットの選択に大きく依存するが、一般的な転送学習や物理ベースのプレトレーニング戦略が最も有効である。
論文 参考訳（メタデータ） (2024-06-12T17:56:46Z) - Learning with Noisy Foundation Models [95.50968225050012]
本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。
雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
論文 参考訳（メタデータ） (2024-03-11T16:22:41Z) - When Less is More: Investigating Data Pruning for Pretraining LLMs at
Scale [12.94829977468838]
大量のテキストデータが大きな言語モデルの開発に大きく貢献している。
これまで、データセットを高品質なサブセットまで掘り下げる努力は、ルールベースのフィルタとしてエンコードされた手作りのものに依存してきた。
より広い視点で、事前学習データの品質を測定するために使用できる、スケーラブルなデータ品質の推定を探求します。
論文 参考訳（メタデータ） (2023-09-08T19:34:05Z) - Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。
画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
論文 参考訳（メタデータ） (2022-09-30T02:25:12Z) - Knowledge Distillation as Efficient Pre-training: Faster Convergence,
Higher Data-efficiency, and Better Transferability [53.27240222619834]
効率的な事前学習としての知識蒸留は、学習した特徴表現を学習済みモデルから将来の下流タスクのための新しい学生モデルに効率的に転送することを目的としている。
提案手法は,3つの下流タスクにおける教師付き事前学習タスクと,10倍少ないデータと5倍少ない事前学習時間を必要とする9つの下流データセットとを比較検討する。
論文 参考訳（メタデータ） (2022-03-10T06:23:41Z) - Improved Fine-tuning by Leveraging Pre-training Data: Theory and
Practice [52.11183787786718]
対象データに事前学習されたモデルを微調整することは、多くのディープラーニングアプリケーションで広く利用されている。
近年の研究では、スクラッチからのトレーニングが、この事前トレーニング戦略に比較して、最終的なパフォーマンスを示すことが実証されている。
本稿では,対象タスクの一般化を改善するために,事前学習データからサブセットを選択する新しい選択戦略を提案する。
論文 参考訳（メタデータ） (2021-11-24T06:18:32Z) - Don't Stop Pretraining: Adapt Language Models to Domains and Tasks [81.99843216550306]
バイオメディカルおよびコンピュータサイエンスの出版物、ニュース、レビュー)と8つの分類タスクについて調査する。
ドメイン内の事前トレーニング(ドメイン適応型事前トレーニング)の第2フェーズでは、パフォーマンスが向上する。
タスクの未ラベルデータ(タスク適応事前トレーニング)に適応することで、ドメイン適応事前トレーニング後のパフォーマンスが向上する。
論文 参考訳（メタデータ） (2020-04-23T04:21:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。