論文の概要: Data Collection and Quality Challenges in Deep Learning: A Data-Centric
AI Perspective
- arxiv url: http://arxiv.org/abs/2112.06409v1
- Date: Mon, 13 Dec 2021 03:57:36 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-15 05:33:02.578616
- Title: Data Collection and Quality Challenges in Deep Learning: A Data-Centric
AI Perspective
- Title（参考訳）: ディープラーニングにおけるデータ収集と品質問題 - データ中心AIの視点から
- Authors: Steven Euijong Whang, Yuji Roh, Hwanjun Song, Jae-Gil Lee
- Abstract要約: データ中心のAIプラクティスが主流になりつつある。
現実世界の多くのデータセットは小さく、汚く、偏りがあり、毒まみれである。
データ品質については、データ検証とデータクリーニング技術について研究する。
- 参考スコア（独自算出の注目度）: 16.480530590466472
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Software 2.0 is a fundamental shift in software engineering where machine
learning becomes the new software, powered by big data and computing
infrastructure. As a result, software engineering needs to be re-thought where
data becomes a first-class citizen on par with code. One striking observation
is that 80-90% of the machine learning process is spent on data preparation.
Without good data, even the best machine learning algorithms cannot perform
well. As a result, data-centric AI practices are now becoming mainstream.
Unfortunately, many datasets in the real world are small, dirty, biased, and
even poisoned. In this survey, we study the research landscape for data
collection and data quality primarily for deep learning applications. Data
collection is important because there is lesser need for feature engineering
for recent deep learning approaches, but instead more need for large amounts of
data. For data quality, we study data validation and data cleaning techniques.
Even if the data cannot be fully cleaned, we can still cope with imperfect data
during model training where using robust model training techniques. In
addition, while bias and fairness have been less studied in traditional data
management research, these issues become essential topics in modern machine
learning applications. We thus study fairness measures and unfairness
mitigation techniques that can be applied before, during, or after model
training. We believe that the data management community is well poised to solve
problems in these directions.
- Abstract（参考訳）: Software 2.0は、機械学習がビッグデータとコンピューティングインフラストラクチャを基盤とする新しいソフトウェアになるソフトウェアエンジニアリングの根本的な変化である。
結果として、ソフトウェアエンジニアリングは、データがコードと同等の第一級市民になるよう再検討する必要があります。
注目すべき観察のひとつは、機械学習プロセスの80～90%がデータ準備に費やされていることだ。
優れたデータがなければ、最高の機械学習アルゴリズムでさえうまく機能しない。
その結果、データ中心のaiプラクティスが主流になりつつある。
残念ながら、現実世界の多くのデータセットは小さく、汚れ、偏り、さらには毒まみれだ。
本研究では,主にディープラーニングアプリケーションを対象としたデータ収集とデータ品質の研究環境について検討する。
データ収集は、最近のディープラーニングアプローチでは機能エンジニアリングの必要性が少なく、むしろ大量のデータを必要とするため重要である。
データ品質については、データ検証とデータクリーニング技術について研究する。
たとえデータが完全にクリーニングできないとしても、堅牢なモデルトレーニング技術を使用するモデルトレーニング中に不完全なデータを扱うことができます。
さらに、従来のデータ管理研究ではバイアスや公平性があまり研究されていないが、これらの問題は現代の機械学習アプリケーションにおいて重要なトピックとなっている。
そこで本研究では,モデルトレーニング前後に適用可能な公平度対策と不公平度軽減技術について検討する。
データ管理コミュニティは、これらの方向の問題を解決するのに十分適していると考えています。
関連論文リスト
- How to Do Machine Learning with Small Data? -- A Review from an
Industrial Perspective [1.443696537295348]
著者らは、"小さなデータ"の一般的な用語とそのエンジニアリングと産業アプリケーションの役割を解釈することに重点を置いている。
小さなデータはビッグデータと比較して様々な特性で定義され、機械学習形式が導入された。
産業アプリケーションにおける小さなデータによる機械学習の5つの重要な課題を提示する。
論文 参考訳（メタデータ） (2023-11-13T07:39:13Z) - On Responsible Machine Learning Datasets with Fairness, Privacy, and
Regulatory Norms [58.93352076927003]
AI技術の信頼性に関する深刻な懸念があった。
機械学習とディープラーニングのアルゴリズムは、開発に使用されるデータに大きく依存する。
本稿では,責任あるルーブリックを用いてデータセットを評価するフレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-24T14:01:53Z) - AI Model Disgorgement: Methods and Choices [127.54319351058167]
本稿では,現代の機械学習システムに適用可能な分類法を紹介する。
学習モデルにおけるデータ「効果の除去」の意味を,スクラッチからリトレーニングする必要のない方法で検討する。
論文 参考訳（メタデータ） (2023-04-07T08:50:18Z) - Don't Waste Data: Transfer Learning to Leverage All Data for
Machine-Learnt Climate Model Emulation [0.0]
我々は、すべての高解像度データを活用するために、転送学習アプローチを使用します。
トレーニングを安定化し、一般化性能を向上し、その結果予測スキルが向上することを示す。
論文 参考訳（メタデータ） (2022-10-08T11:51:12Z) - Learnware: Small Models Do Big [69.88234743773113]
自然言語処理やコンピュータビジョンの応用で目覚ましい成果を上げてきた、一般的なビッグモデルパラダイムは、これらの問題にまだ対応していないが、炭素排出量の深刻な源となっている。
この記事では、マシンラーニングモデルをスクラッチから構築する必要がないようにするための学習ソフトウェアパラダイムの概要を紹介します。
論文 参考訳（メタデータ） (2022-10-07T15:55:52Z) - Data Budgeting for Machine Learning [17.524791147624086]
データ予算問題を研究し,それを2つのサブプロブレムとして定式化する。
本稿では,データ予算問題の解法を提案する。
私たちの経験的評価は、50ドル以下のデータポイントを持つ小さなパイロットスタディデータセットを前提として、データ予算の実行が可能であることを示しています。
論文 参考訳（メタデータ） (2022-10-03T14:53:17Z) - Kubric: A scalable dataset generator [73.78485189435729]
KubricはPythonフレームワークで、PyBulletやBlenderとインターフェースして写真リアリスティックなシーンを生成する。
本研究では,3次元NeRFモデルの研究から光フロー推定まで,13種類の異なるデータセットを提示することで,Kubricの有効性を実証する。
論文 参考訳（メタデータ） (2022-03-07T18:13:59Z) - Fix your Models by Fixing your Datasets [0.6058427379240697]
現在の機械学習ツールは、データ品質を改善するための合理化されたプロセスを欠いている。
そこで,本研究では,データセットにノイズや誤認のあるサンプルを見つけるための体系的枠組みを提案する。
2つのFortune 500企業のプライベートエンタープライズデータセットと同様に、当社のフレームワークの有効性を公開してみます。
論文 参考訳（メタデータ） (2021-12-15T02:41:50Z) - Understanding the World Through Action [91.3755431537592]
ラベルのないデータを利用するための汎用的で原則的で強力なフレームワークは、強化学習から導き出すことができると私は主張する。
このような手順が、下流の潜在的なタスクとどのように密接に一致しているかについて論じます。
論文 参考訳（メタデータ） (2021-10-24T22:33:52Z) - Data science on industrial data -- Today's challenges in brown field
applications [0.0]
本論文は,ストックマシンの現場での作業における技術の現状と今後の展望について述べる。
この論文の主な焦点はデータ収集であり、ほとんどの人が予想するよりも扱いにくい。
機械学習アプリケーションのデータ品質は、実験室を去ると問題になる。
論文 参考訳（メタデータ） (2020-06-10T10:05:16Z) - DeGAN : Data-Enriching GAN for Retrieving Representative Samples from a
Trained Classifier [58.979104709647295]
我々は、トレーニングされたネットワークの将来の学習タスクのために、利用可能なデータの豊富さと関連するデータの欠如の間のギャップを埋める。
利用可能なデータは、元のトレーニングデータセットまたは関連するドメインデータセットの不均衡なサブセットである可能性があるため、代表サンプルを検索するために使用します。
関連ドメインからのデータを活用して最先端のパフォーマンスを実現することを実証する。
論文 参考訳（メタデータ） (2019-12-27T02:05:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。