論文の概要: Automatic Feasibility Study via Data Quality Analysis for ML: A
Case-Study on Label Noise
- arxiv url: http://arxiv.org/abs/2010.08410v4
- Date: Tue, 30 Aug 2022 12:14:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-06 21:31:34.219387
- Title: Automatic Feasibility Study via Data Quality Analysis for ML: A
Case-Study on Label Noise
- Title(参考訳): MLのデータ品質分析による自動フィージビリティスタディ:ラベルノイズを事例として
- Authors: Cedric Renggli, Luka Rimanic, Luka Kolar, Wentao Wu, Ce Zhang
- Abstract要約: 我々はSnoopyを紹介し、データサイエンティストと機械学習エンジニアが体系的で理論的に確立された実現可能性研究を行うのを支援することを目的としている。
我々は、基礎となるタスクの既約誤差を推定し、この問題にアプローチする。
エンド・ツー・エンドの実験では、ユーザーがかなりのラベリング時間と金銭的努力を節約できることを示す。
- 参考スコア(独自算出の注目度): 21.491392581672198
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In our experience of working with domain experts who are using today's AutoML
systems, a common problem we encountered is what we call "unrealistic
expectations" -- when users are facing a very challenging task with a noisy
data acquisition process, while being expected to achieve startlingly high
accuracy with machine learning (ML). Many of these are predestined to fail from
the beginning. In traditional software engineering, this problem is addressed
via a feasibility study, an indispensable step before developing any software
system. In this paper, we present Snoopy, with the goal of supporting data
scientists and machine learning engineers performing a systematic and
theoretically founded feasibility study before building ML applications. We
approach this problem by estimating the irreducible error of the underlying
task, also known as the Bayes error rate (BER), which stems from data quality
issues in datasets used to train or evaluate ML model artifacts. We design a
practical Bayes error estimator that is compared against baseline feasibility
study candidates on 6 datasets (with additional real and synthetic noise of
different levels) in computer vision and natural language processing.
Furthermore, by including our systematic feasibility study with additional
signals into the iterative label cleaning process, we demonstrate in end-to-end
experiments how users are able to save substantial labeling time and monetary
efforts.
- Abstract(参考訳): 今日のAutoMLシステムを使用しているドメインエキスパートとの作業経験では、私たちが遭遇した一般的な問題は、"非現実的な期待"(unrealistic expect)と呼ばれるもの — ユーザがノイズの多いデータ取得プロセスで非常に困難なタスクに直面している場合、マシンラーニング(ML)で驚くほど高い精度を達成することが期待されます。
これらの多くは、最初から失敗する運命にある。
従来のソフトウェアエンジニアリングでは、この問題は、ソフトウェアシステムを開発する前に必須のステップであるフィージビリティスタディによって解決される。
本稿では、機械学習アプリケーションを構築する前に、体系的で理論的に確立された実現可能性研究を行うデータサイエンティストと機械学習エンジニアを支援することを目的としてSnoopyを提案する。
本稿では,MLモデルのアーティファクトのトレーニングや評価に使用されるデータセットにおけるデータ品質の問題から,基礎となるタスクの既約誤差(Bayes error rate,BER)を推定することで,この問題に対処する。
コンピュータビジョンと自然言語処理における6つのデータセット(異なるレベルの実・合成ノイズを含む)のベースライン実現可能性研究候補と比較した実用的なベイズ誤差推定器を設計する。
さらに, 反復ラベルの洗浄プロセスに付加的なシグナルを付加した系統的実現可能性研究を取り入れることで, ユーザが実質的なラベル作成時間と金銭的労力を節約できることを示す。
関連論文リスト
- Characterization of Large Language Model Development in the Datacenter [57.49531095113406]
大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。
しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。
我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
論文 参考訳(メタデータ) (2024-03-12T13:31:14Z) - Have Seen Me Before? Automating Dataset Updates Towards Reliable and
Timely Evaluation [59.91488389687633]
大きな言語モデル(LLM)は、ますます深刻な評価課題に直面しています。
本稿では,信頼性とタイムリーな評価のために,データセットの更新を自動化することを提案する。
論文 参考訳(メタデータ) (2024-02-19T07:15:59Z) - Zero-knowledge Proof Meets Machine Learning in Verifiability: A Survey [19.70499936572449]
高品質なモデルは、効率的な最適化アルゴリズムだけでなく、膨大なデータと計算能力に基づいて構築されたトレーニングと学習プロセスにも依存する。
計算リソースの制限やデータプライバシの懸念など,さまざまな課題があるため,モデルを必要とするユーザは,マシンラーニングモデルをローカルにトレーニングすることはできないことが多い。
本稿では,ゼロ知識証明に基づく検証可能な機械学習(ZKP-VML)技術について包括的に調査する。
論文 参考訳(メタデータ) (2023-10-23T12:15:23Z) - Benchmarking Large Language Models As AI Research Agents [105.65277755304277]
我々は,AI研究エージェントをベンチマークするMLタスクスイートであるMLAgentBenchを提案する。
我々は, GPT-4をベースとした研究エージェントが, MLAgentBenchの多くのタスクにおいて, 魅力的なMLモデルを構築できることを発見した。
長期計画や幻覚など,LSMをベースとした研究エージェントにとって重要な課題をいくつか挙げる。
論文 参考訳(メタデータ) (2023-10-05T04:06:12Z) - Deep Transfer Learning for Automatic Speech Recognition: Towards Better
Generalization [3.6393183544320236]
深層学習(DL)における音声認識の課題
大規模なトレーニングデータセットと高い計算とストレージリソースが必要です。
ディープトランスファーラーニング(DTL)はこれらの問題を克服するために導入された。
論文 参考訳(メタデータ) (2023-04-27T21:08:05Z) - Privacy Adhering Machine Un-learning in NLP [66.17039929803933]
現実の業界では、機械学習を使ってユーザデータに基づくモデルを構築します。
このような委任事項には、データだけでなく、モデルの再トレーニングにも労力が要る。
データの継続的な削除と モデル再訓練のステップはスケールしません
この課題に対処するために、textitMachine Unlearningを提案する。
論文 参考訳(メタデータ) (2022-12-19T16:06:45Z) - Challenges and Solutions to Build a Data Pipeline to Identify Anomalies
in Enterprise System Performance [3.037408957267527]
MLに基づく異常検出システムにおけるデータ活用の課題について論じる。
これらの課題に対処することで、パフォーマンス異常検出モデルの精度を30%向上するだけでなく、モデルの性能が経時的に劣化しないことを確実にする。
論文 参考訳(メタデータ) (2021-12-13T22:30:07Z) - Detecting Requirements Smells With Deep Learning: Experiences,
Challenges and Future Work [9.44316959798363]
本研究の目的は,手動でラベル付きデータセットを作成し,アンサンブル学習,深層学習(DL),単語埋め込みや伝達学習といった手法を用いて一般化問題を克服することで,従来の作業を改善することである。
現在の調査結果は、データセットが不均衡であり、どのクラスをもっと追加すべきかを示している。
論文 参考訳(メタデータ) (2021-08-06T12:45:15Z) - Towards Model-informed Precision Dosing with Expert-in-the-loop Machine
Learning [0.0]
モデル学習ループに人的専門家を取り入れることで、モデル学習を加速し、解釈可能性を向上させるMLフレームワークを検討する。
本稿では,データアノテーションのコストが高い学習問題に対処することを目的とした,新たなヒューマン・イン・ザ・ループMLフレームワークを提案する。
精度測定への応用により,本手法はデータから解釈可能なルールを学習し,専門家の作業負荷を低減できる可能性が示唆された。
論文 参考訳(メタデータ) (2021-06-28T03:45:09Z) - Technology Readiness Levels for Machine Learning Systems [107.56979560568232]
機械学習システムの開発とデプロイは、現代のツールで簡単に実行できますが、プロセスは一般的に急ぎ、エンドツーエンドです。
私たちは、機械学習の開発と展開のための実証済みのシステムエンジニアリングアプローチを開発しました。
当社の「機械学習技術準備レベル」フレームワークは、堅牢で信頼性が高く、責任あるシステムを確保するための原則的なプロセスを定義します。
論文 参考訳(メタデータ) (2021-01-11T15:54:48Z) - Towards CRISP-ML(Q): A Machine Learning Process Model with Quality
Assurance Methodology [53.063411515511056]
本稿では,機械学習アプリケーション開発のためのプロセスモデルを提案する。
第1フェーズでは、データの可用性がプロジェクトの実現可能性に影響を与えることが多いため、ビジネスとデータの理解が結合されます。
第6フェーズでは、機械学習アプリケーションの監視とメンテナンスに関する最先端のアプローチがカバーされている。
論文 参考訳(メタデータ) (2020-03-11T08:25:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。