論文の概要: Scaling Laws for Data Filtering -- Data Curation cannot be Compute Agnostic

• arxiv url: http://arxiv.org/abs/2404.07177v1
• Date: Wed, 10 Apr 2024 17:27:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-11 13:42:08.038555
• Title: Scaling Laws for Data Filtering -- Data Curation cannot be Compute Agnostic
• Title（参考訳）: データフィルタリングのスケーリング法則 -- データキュレーションは計算に依存しない
• Authors: Sachin Goyal, Pratyush Maini, Zachary C. Lipton, Aditi Raghunathan, J. Zico Kolter,
• Abstract要約: ビジョン言語モデル(VLM)は、慎重にキュレートされたWebデータセット上で数千のGPU時間でトレーニングされる。 データキュレーション戦略は通常、トレーニングに利用可能な計算を知らないように開発されている。 ウェブデータの非均一性を考慮したニューラルスケーリング法則を導入する。
• 参考スコア（独自算出の注目度）: 99.3682210827572
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models (VLMs) are trained for thousands of GPU hours on carefully curated web datasets. In recent times, data curation has gained prominence with several works developing strategies to retain 'high-quality' subsets of 'raw' scraped data. For instance, the LAION public dataset retained only 10% of the total crawled data. However, these strategies are typically developed agnostic of the available compute for training. In this paper, we first demonstrate that making filtering decisions independent of training compute is often suboptimal: the limited high-quality data rapidly loses its utility when repeated, eventually requiring the inclusion of 'unseen' but 'lower-quality' data. To address this quality-quantity tradeoff ($\texttt{QQT}$), we introduce neural scaling laws that account for the non-homogeneous nature of web data, an angle ignored in existing literature. Our scaling laws (i) characterize the $\textit{differing}$ 'utility' of various quality subsets of web data; (ii) account for how utility diminishes for a data point at its 'nth' repetition; and (iii) formulate the mutual interaction of various data pools when combined, enabling the estimation of model performance on a combination of multiple data pools without ever jointly training on them. Our key message is that data curation $\textit{cannot}$ be agnostic of the total compute that a model will be trained for. Our scaling laws allow us to curate the best possible pool for achieving top performance on Datacomp at various compute budgets, carving out a pareto-frontier for data curation. Code is available at https://github.com/locuslab/scaling_laws_data_filtering.
• Abstract（参考訳）: ビジョン言語モデル(VLM)は、慎重にキュレートされたWebデータセット上で数千のGPU時間でトレーニングされる。 近年、データキュレーションは、「生」スクラップデータの「高品質」なサブセットを維持するための戦略を開発するいくつかの研究で注目されている。 例えば、LAIONのパブリックデータセットは、全クロールデータの10%しか保持していない。 しかし、これらの戦略は通常、トレーニングに利用可能な計算を知らないように開発されている。 本稿では,訓練計算とは無関係にフィルタ決定を行うことが,しばしば準最適であることを示す。 この品質-量子トレードオフ($\texttt{QQT}$)に対処するため、既存の文献では無視されているウェブデータの非均一性を考慮したニューラルスケーリング法則を導入する。 スケーリング法則 i) Webデータの様々な品質サブセットの$\textit{differing}$ 'utility'を特徴付ける。 二 効用がその「n番目の」繰り返しでデータポイントの効用が低下する理由を記載すること。 三 各種データプールの相互相互作用を定式化することにより、複数のデータプールの組み合わせにおけるモデル性能を、共同でトレーニングすることなく推定することができる。 私たちのキーとなるメッセージは、データキュレーション$\textit{cannot}$は、モデルがトレーニングされるであろう合計計算を知らないことです。 我々のスケーリング法則は、さまざまな計算予算でDatacompで最高のパフォーマンスを達成するための最高のプールをキュレートし、データキュレーションのためのパレトフロンティアを彫刻します。 コードはhttps://github.com/locuslab/scaling_laws_data_filteringで公開されている。

関連論文リスト

• Automatic Data Curation for Self-Supervised Learning: A Clustering-Based Approach [36.47860223750303]
  自己教師付き事前学習のための高品質データセットの自動キュレーションの問題点を考察する。 これらの基準をすべて満たしたクラスタリングに基づく手法を提案する。 我々の方法は、大規模で多様なデータリポジトリ上で、$k$-meansの連続的かつ階層的なアプリケーションを含む。
  論文  参考訳（メタデータ） (2024-05-24T14:58:51Z)
• From Data Deluge to Data Curation: A Filtering-WoRA Paradigm for Efficient Text-based Person Search [19.070305201045954]
  テキストベースの人物検索では、プライバシ保護と手動アノテーションの困難なタスクに対する懸念に対処するため、データ生成が主流となっている。 構築されたデータセット内のデータのサブセットのみが決定的な役割を果たすことを観察する。 我々は、この重要なデータサブセットを識別するためのフィルタリングアルゴリズムと、光微細チューニングのためのWoRA学習戦略を含む新しいフィルタリング-WoRAパラダイムを導入する。
  論文  参考訳（メタデータ） (2024-04-16T05:29:14Z)
• Data Filtering Networks [67.827994353269]
  本研究では、大規模な未処理データセットをフィルタリングする第2ステップにおいて、データフィルタリングネットワーク(DFN)を学習する問題について検討する。 我々の重要な発見は、フィルタリングのためのネットワークの品質が下流タスクのパフォーマンスと異なることである。 我々の知見に基づいて、最先端の画像テキストデータセットを誘導する新しいデータフィルタリングネットワークを構築した。
  論文  参考訳（メタデータ） (2023-09-29T17:37:29Z)
• Exploring Data Redundancy in Real-world Image Classification through Data Selection [20.389636181891515]
  ディープラーニングモデルはトレーニングに大量のデータを必要とすることが多く、結果としてコストが増大する。 実世界の画像データの冗長性を調べるために,シナプスインテリジェンスと勾配ノルムに基づく2つのデータ評価指標を提案する。 オンラインおよびオフラインのデータ選択アルゴリズムは、検査されたデータ値に基づいてクラスタリングとグループ化によって提案される。
  論文  参考訳（メタデータ） (2023-06-25T03:31:05Z)
• Scaling Data-Constrained Language Models [137.17302576977346]
  データ制約付きシステムにおける言語モデルのスケーリングについて検討する。 固定された計算予算に対する制約付きデータでは、反復するデータの最大4つのエポックなトレーニングは、ユニークなデータに比べて損失に対する無視可能な変化をもたらす。 本稿では,繰り返しトークンと過剰パラメータの値の減少を考慮に入れた計算最適性のスケーリング法則を提案し,実証的に検証する。
  論文  参考訳（メタデータ） (2023-05-25T17:18:55Z)
• LAVA: Data Valuation without Pre-Specified Learning Algorithms [20.578106028270607]
  我々は、下流学習アルゴリズムに不利な方法でトレーニングデータを評価できる新しいフレームワークを導入する。 本研究では,訓練と検証セット間の非伝統的なクラスワイドワッサースタイン距離に基づいて,トレーニングセットに関連する検証性能のプロキシを開発する。 距離は、特定のリプシッツ条件下での任意のモデルに対する検証性能の上限を特徴付けることを示す。
  論文  参考訳（メタデータ） (2023-04-28T19:05:16Z)
• CvS: Classification via Segmentation For Small Datasets [52.821178654631254]
  本稿では,分類ラベルをセグメントマップの予測から導出する小型データセットのコスト効率の高い分類器であるCvSを提案する。 我々は,CvSが従来の手法よりもはるかに高い分類結果が得られることを示す多種多様な問題に対して,本フレームワークの有効性を評価する。
  論文  参考訳（メタデータ） (2021-10-29T18:41:15Z)
• Low Budget Active Learning via Wasserstein Distance: An Integer Programming Approach [81.19737119343438]
  アクティブラーニング(Active Learning)とは、ラベル付きデータプールのコアサブセットをラベルに選択することで、ラベル付きデータでモデルをトレーニングするプロセスである。 本稿では,未ラベルプールからワッサーシュタイン距離を最小化するコアセットを選択するための新しい整数最適化問題を提案する。 我々の戦略は、ラベルのないプールで教師なし学習によって得られる高品質な潜伏的特徴を必要とする。
  論文  参考訳（メタデータ） (2021-06-05T21:25:03Z)
• How to distribute data across tasks for meta-learning? [59.608652082495624]
  タスクごとのデータポイントの最適な数は予算に依存しますが、それは大きな予算のためのユニークな一定の値に収束します。 この結果から,データ収集の簡便かつ効率的な手順が示唆された。
  論文  参考訳（メタデータ） (2021-03-15T15:38:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。