論文の概要: Automatic Dataset Construction (ADC): Sample Collection, Data Curation, and Beyond

• arxiv url: http://arxiv.org/abs/2408.11338v1
• Date: Wed, 21 Aug 2024 04:45:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-22 18:19:12.507916
• Title: Automatic Dataset Construction (ADC): Sample Collection, Data Curation, and Beyond
• Title（参考訳）: 自動データセット構築(ADC):サンプルコレクション、データキュレーションなど
• Authors: Minghao Liu, Zonglin Di, Jiaheng Wei, Zhongruo Wang, Hengxiang Zhang, Ruixuan Xiao, Haoyu Wang, Jinlong Pang, Hao Chen, Ankit Shah, Hongxin Wei, Xinlei He, Zhaowei Zhao, Haobo Wang, Lei Feng, Jindong Wang, James Davis, Yang Liu,
• Abstract要約: 本稿では,データセット作成をコストと高効率で自動化する革新的な手法を提案する。 我々は,ラベルの誤り検出,ノイズやバイアスのあるデータによる堅牢な学習など,既存の手法を組み込んだオープンソースソフトウェアを提供する。 ラベルノイズ検出、ラベルノイズ学習、クラス不均衡学習に焦点を当てた3つのベンチマークデータセットを設計する。
• 参考スコア（独自算出の注目度）: 38.89457061559469
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large-scale data collection is essential for developing personalized training data, mitigating the shortage of training data, and fine-tuning specialized models. However, creating high-quality datasets quickly and accurately remains a challenge due to annotation errors, the substantial time and costs associated with human labor. To address these issues, we propose Automatic Dataset Construction (ADC), an innovative methodology that automates dataset creation with negligible cost and high efficiency. Taking the image classification task as a starting point, ADC leverages LLMs for the detailed class design and code generation to collect relevant samples via search engines, significantly reducing the need for manual annotation and speeding up the data generation process. Despite these advantages, ADC also encounters real-world challenges such as label errors (label noise) and imbalanced data distributions (label bias). We provide open-source software that incorporates existing methods for label error detection, robust learning under noisy and biased data, ensuring a higher-quality training data and more robust model training procedure. Furthermore, we design three benchmark datasets focused on label noise detection, label noise learning, and class-imbalanced learning. These datasets are vital because there are few existing datasets specifically for label noise detection, despite its importance. Finally, we evaluate the performance of existing popular methods on these datasets, thereby facilitating further research in the field.
• Abstract（参考訳）: 大規模データ収集は、パーソナライズされたトレーニングデータの開発、トレーニングデータの不足の軽減、および微調整された特化モデルに不可欠である。 しかしながら、高品質なデータセットを迅速かつ正確に作成することは、アノテーションエラー、人的労働に関連するかなりの時間とコストによる課題である。 これらの問題に対処するために,データセット作成を無視できるコストと高効率で自動化する革新的な手法であるAutomatic Dataset Construction (ADC)を提案する。 画像分類タスクを出発点として、ADCはLLMを活用して詳細なクラス設計とコード生成を行い、関連するサンプルを検索エンジン経由で収集し、手動アノテーションの必要性を大幅に低減し、データ生成プロセスを高速化する。 これらの利点にもかかわらず、ADCはラベルエラー(ラベルノイズ)や不均衡なデータ分散(ラベルバイアス)といった現実的な課題にも直面する。 我々は,ラベル誤り検出,ノイズやバイアスデータによる堅牢な学習,高品質なトレーニングデータ,より堅牢なモデルトレーニング手順などの既存の手法を組み込んだオープンソースソフトウェアを提供する。 さらに、ラベルノイズ検出、ラベルノイズ学習、クラス不均衡学習に焦点を当てた3つのベンチマークデータセットを設計する。 これらのデータセットは、その重要性にもかかわらず、ラベルノイズ検出専用のデータセットがほとんど存在しないため、不可欠である。 最後に、これらのデータセット上での既存の一般的な手法の性能を評価し、この分野におけるさらなる研究を容易にする。

関連論文リスト

• Data Valuation with Gradient Similarity [1.997283751398032]
  データ評価アルゴリズムは、与えられた予測タスクへの貢献または重要性に基づいて、データセット内の各サンプルの価値を定量化する。 DVGS(Data Valuation with Gradient similarity)と呼ばれる既存の手法に代わる単純な方法を提案する。 当社のアプローチでは,低品質なデータを迅速かつ正確に識別することが可能で,データクリーニング作業における専門家の知識や手作業による介入の必要性を低減できる。
  論文  参考訳（メタデータ） (2024-05-13T22:10:00Z)
• Incremental Self-training for Semi-supervised Learning [56.57057576885672]
  ISTは単純だが有効であり、既存の自己学習に基づく半教師あり学習手法に適合する。 提案したISTを5つのデータセットと2種類のバックボーンで検証し,認識精度と学習速度を効果的に向上させる。
  論文  参考訳（メタデータ） (2024-04-14T05:02:00Z)
• Stochastic Amortization: A Unified Approach to Accelerate Feature and Data Attribution [62.71425232332837]
  雑音ラベル付きモデルを用いたトレーニングは安価で驚くほど効果的であることを示す。 このアプローチは、いくつかの特徴属性とデータ評価手法を著しく加速し、しばしば既存のアプローチよりも桁違いにスピードアップする。
  論文  参考訳（メタデータ） (2024-01-29T03:42:37Z)
• Building Manufacturing Deep Learning Models with Minimal and Imbalanced Training Data Using Domain Adaptation and Data Augmentation [15.333573151694576]
  本稿では,目標学習課題に対するラベル付き学習データ不足の問題に対処する新しいドメイン適応(DA)手法を提案する。 我々のアプローチは、ソースデータセットとターゲット学習タスクで利用可能なデータセットが同一または異なる機能空間を持つシナリオで機能する。 我々は、ウェハ欠陥予測のための画像データを用いて、組み合わせたアプローチを評価する。
  論文  参考訳（メタデータ） (2023-05-31T21:45:34Z)
• STAR: Boosting Low-Resource Information Extraction by Structure-to-Text Data Generation with Large Language Models [56.27786433792638]
  STARは大規模言語モデル(LLM)を利用してデータインスタンスを合成するデータ生成手法である。 我々は、初期データインスタンスを取得するための詳細なステップバイステップ命令を設計する。 実験の結果,STARが生成したデータは,低リソースイベント抽出および関係抽出タスクの性能を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T12:15:19Z)
• A Benchmark Generative Probabilistic Model for Weak Supervised Learning [2.0257616108612373]
  アノテーションの負担を軽減するために、弱監視学習アプローチが開発されている。 遅延変数モデル(PLVM)が4つのデータセット間で最先端のパフォーマンスを実現することを示す。
  論文  参考訳（メタデータ） (2023-03-31T07:06:24Z)
• Representation Learning for the Automatic Indexing of Sound Effects Libraries [79.68916470119743]
  タスク固有のがデータセットに依存しない表現は、クラス不均衡、一貫性のないクラスラベル、不十分なデータセットサイズなどのデータ問題にうまく対処できることを示す。 詳細な実験結果は、メトリック学習アプローチと異なるデータセット間の学習方法が表現効率に与える影響を示している。
  論文  参考訳（メタデータ） (2022-08-18T23:46:13Z)
• Fix your Models by Fixing your Datasets [0.6058427379240697]
  現在の機械学習ツールは、データ品質を改善するための合理化されたプロセスを欠いている。 そこで,本研究では,データセットにノイズや誤認のあるサンプルを見つけるための体系的枠組みを提案する。 2つのFortune 500企業のプライベートエンタープライズデータセットと同様に、当社のフレームワークの有効性を公開してみます。
  論文  参考訳（メタデータ） (2021-12-15T02:41:50Z)
• Self-Tuning for Data-Efficient Deep Learning [75.34320911480008]
  セルフチューニングは、データ効率のよいディープラーニングを可能にする新しいアプローチである。 ラベル付きおよびラベルなしデータの探索と事前訓練されたモデルの転送を統一する。 SSLとTLの5つのタスクをシャープなマージンで上回ります。
  論文  参考訳（メタデータ） (2021-02-25T14:56:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。