論文の概要: Fix your Models by Fixing your Datasets
- arxiv url: http://arxiv.org/abs/2112.07844v1
- Date: Wed, 15 Dec 2021 02:41:50 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-17 02:12:52.261165
- Title: Fix your Models by Fixing your Datasets
- Title(参考訳): データセットを修正してモデルを修正する
- Authors: Atindriyo Sanyal, Vikram Chatterji, Nidhi Vyas, Ben Epstein, Nikita
Demir, Anthony Corletti
- Abstract要約: 現在の機械学習ツールは、データ品質を改善するための合理化されたプロセスを欠いている。
そこで,本研究では,データセットにノイズや誤認のあるサンプルを見つけるための体系的枠組みを提案する。
2つのFortune 500企業のプライベートエンタープライズデータセットと同様に、当社のフレームワークの有効性を公開してみます。
- 参考スコア(独自算出の注目度): 0.6058427379240697
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The quality of underlying training data is very crucial for building
performant machine learning models with wider generalizabilty. However, current
machine learning (ML) tools lack streamlined processes for improving the data
quality. So, getting data quality insights and iteratively pruning the errors
to obtain a dataset which is most representative of downstream use cases is
still an ad-hoc manual process. Our work addresses this data tooling gap,
required to build improved ML workflows purely through data-centric techniques.
More specifically, we introduce a systematic framework for (1) finding noisy or
mislabelled samples in the dataset and, (2) identifying the most informative
samples, which when included in training would provide maximal model
performance lift. We demonstrate the efficacy of our framework on public as
well as private enterprise datasets of two Fortune 500 companies, and are
confident this work will form the basis for ML teams to perform more
intelligent data discovery and pruning.
- Abstract(参考訳): 基礎となるトレーニングデータの品質は、より一般化した高性能な機械学習モデルを構築する上で非常に重要です。
しかし、現在の機械学習(ML)ツールは、データ品質を改善するための合理化されたプロセスを欠いている。
したがって、データ品質の洞察を得て、エラーを反復的に抽出して、ダウンストリームのユースケースを最も代表するデータセットを取得することは、いまだにアドホックな手作業です。
このデータツーリングのギャップに対処するためには、データ中心のテクニックによって純粋に改善されたMLワークフローを構築する必要があります。
より具体的には,(1)データセットにノイズや誤りのあるサンプルを見つけるための体系的枠組みを導入し,(2)トレーニングに含まれる場合,最大モデルの性能向上をもたらす最も有益なサンプルを特定する。
当社のフレームワークが2つのFortune 500企業のプライベートエンタープライズデータセットとパブリックで有効であることを示し、この作業が、よりインテリジェントなデータディスカバリとプルーニングを行うためのMLチームの基盤となると確信しています。
関連論文リスト
- An Integrated Data Processing Framework for Pretraining Foundation
Models [61.66552412677197]
研究者や実践者は、しばしば異なるソースからデータセットを手動でキュレートする必要がある。
本稿では,処理モジュールと解析モジュールを統合したデータ処理フレームワークを提案する。
提案されたフレームワークは使いやすく、柔軟です。
論文 参考訳(メタデータ) (2024-02-26T07:22:51Z) - Have Seen Me Before? Automating Dataset Updates Towards Reliable and
Timely Evaluation [59.91488389687633]
大きな言語モデル(LLM)は、ますます深刻な評価課題に直面しています。
本稿では,信頼性とタイムリーな評価のために,データセットの更新を自動化することを提案する。
論文 参考訳(メタデータ) (2024-02-19T07:15:59Z) - How to Train Data-Efficient LLMs [56.41105687693619]
事前学習言語モデル(LLM)に対するデータ効率のアプローチについて検討する。
Ask-LLMと密度サンプリングがそれぞれのカテゴリで最適であることがわかった。
何百もの評価タスクと事前学習作業を含む19個のサンプルを比較したところ,Ask-LLMと密度がそれぞれのカテゴリで最適な方法であることが判明した。
論文 参考訳(メタデータ) (2024-02-15T02:27:57Z) - LESS: Selecting Influential Data for Targeted Instruction Tuning [69.50855460630105]
本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。
LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。
我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
論文 参考訳(メタデータ) (2024-02-06T19:18:04Z) - STAR: Boosting Low-Resource Information Extraction by Structure-to-Text
Data Generation with Large Language Models [56.27786433792638]
STARは大規模言語モデル(LLM)を利用してデータインスタンスを合成するデータ生成手法である。
我々は、初期データインスタンスを取得するための詳細なステップバイステップ命令を設計する。
実験の結果,STARが生成したデータは,低リソースイベント抽出および関係抽出タスクの性能を著しく向上させることがわかった。
論文 参考訳(メタデータ) (2023-05-24T12:15:19Z) - Optimizing the AI Development Process by Providing the Best Support
Environment [0.756282840161499]
機械学習の主なステージは、問題理解、データ管理、モデル構築、モデル展開、メンテナンスである。
このフレームワークは、ディープラーニングの進歩を使ってデータ拡張を実行するために、python言語を使用して構築された。
論文 参考訳(メタデータ) (2023-04-29T00:44:50Z) - CLIP: Train Faster with Less Data [3.2575001434344286]
ディープラーニングモデルは、トレーニングに膨大な量のデータを必要とします。
近年、機械学習はモデル中心のアプローチからデータ中心のアプローチへとシフトしている。
CLIP(CLIP, Curriculum Learning with Iterative data Pruning)を提案する。
論文 参考訳(メタデータ) (2022-12-02T21:29:48Z) - Evaluating and Crafting Datasets Effective for Deep Learning With Data
Maps [0.0]
大規模なデータセットのトレーニングには、過剰なシステムリソースと実現不可能な時間を要することが多い。
教師付き学習では、大規模なデータセットはサンプルを手動でラベル付けするのにより多くの時間を必要とする。
そこで本研究では,初期のトレーニングセッションの後に,分散モデルの精度に匹敵する精度で,より小さなデータセットをキュレートする手法を提案する。
論文 参考訳(メタデータ) (2022-08-22T03:30:18Z) - Data Excellence for AI: Why Should You Care [9.421161233914251]
ベンチマークデータセットは、モデルが存在し、運用される世界全体を定義する。
もし「データが新しい石油である」ならば、データ自体がより効率的な使用のために最適化されるような精製工場の作業は依然として欠落しています。
論文 参考訳(メタデータ) (2021-11-19T19:06:03Z) - Improving the Performance of Fine-Grain Image Classifiers via Generative
Data Augmentation [0.5161531917413706]
我々は、ロバスト生成アドリアルネットワーク(DAPPER GAN)の熟練した事前学習からデータ拡張を開発する。
DAPPER GANは、トレーニングイメージの新しいビューを自動的に生成するML分析支援ツールである。
本手法をStanford Carsデータセット上で実験的に評価し,車体形状とモデル分類精度の向上を実証した。
論文 参考訳(メタデータ) (2020-08-12T15:29:11Z) - DeGAN : Data-Enriching GAN for Retrieving Representative Samples from a
Trained Classifier [58.979104709647295]
我々は、トレーニングされたネットワークの将来の学習タスクのために、利用可能なデータの豊富さと関連するデータの欠如の間のギャップを埋める。
利用可能なデータは、元のトレーニングデータセットまたは関連するドメインデータセットの不均衡なサブセットである可能性があるため、代表サンプルを検索するために使用します。
関連ドメインからのデータを活用して最先端のパフォーマンスを実現することを実証する。
論文 参考訳(メタデータ) (2019-12-27T02:05:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。