Fugu-MT 論文翻訳(概要): Data Smells in Public Datasets

論文の概要: Data Smells in Public Datasets

arxiv url: http://arxiv.org/abs/2203.08007v1
Date: Tue, 15 Mar 2022 15:44:20 GMT
ステータス: 処理完了
システム内更新日: 2022-03-16 16:17:42.565466
Title: Data Smells in Public Datasets
Title（参考訳）: パブリックデータセット内のデータ臭い
Authors: Arumoy Shome and Luis Cruz and Arie van Deursen
Abstract要約: 我々は、機械学習システムにおける問題の早期兆候を示すために使用できる、新しいデータ臭いのカタログを紹介する。データセットにおけるデータ品質の問題の頻度を理解するために、25の公開データセットを分析し、14のデータ臭いを特定します。
参考スコア（独自算出の注目度）: 7.1460275491017144
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The adoption of Artificial Intelligence (AI) in high-stakes domains such as healthcare, wildlife preservation, autonomous driving and criminal justice system calls for a data-centric approach to AI. Data scientists spend the majority of their time studying and wrangling the data, yet tools to aid them with data analysis are lacking. This study identifies the recurrent data quality issues in public datasets. Analogous to code smells, we introduce a novel catalogue of data smells that can be used to indicate early signs of problems or technical debt in machine learning systems. To understand the prevalence of data quality issues in datasets, we analyse 25 public datasets and identify 14 data smells.
Abstract（参考訳）: 医療、野生生物保護、自律運転、刑事司法システムといった高度な分野における人工知能(AI)の採用は、AIに対するデータ中心のアプローチを要求する。データサイエンティストは、データの研究と整理に多くの時間を費やしているが、データ分析を支援するツールは不足している。本研究では,公開データセットの繰り返しデータ品質問題を明らかにする。コードの臭いと同様に、機械学習システムにおける問題や技術的負債の早期の兆候を示すために使用できる新しいデータ臭いカタログを導入する。データセットにおけるデータ品質問題の発生状況を理解するため、25の公開データセットを分析し、14のデータ臭いを識別する。

関連論文リスト

Data Issues in Industrial AI System: A Meta-Review and Research Strategy [10.540603300770885]
人工知能(AI)は、産業システムにおいてますます重要な役割を担っている。近年、さまざまな業界でAIを採用する傾向にあるが、実際のAIの採用は認識されるほど発展していない。これらのデータ問題にどのように対処するかは、業界と学術の両方に直面する重要な懸念事項である。
論文参考訳（メタデータ） (2024-06-22T08:36:59Z)
Data Acquisition: A New Frontier in Data-centric AI [65.90972015426274]
まず、現在のデータマーケットプレースを調査し、データセットに関する詳細な情報を提供するプラットフォームが不足していることを明らかにする。次に、データプロバイダと取得者間のインタラクションをモデル化するベンチマークであるDAMチャレンジを紹介します。提案手法の評価は,機械学習における効果的なデータ取得戦略の必要性を浮き彫りにしている。
論文参考訳（メタデータ） (2023-11-22T22:15:17Z)
On Responsible Machine Learning Datasets with Fairness, Privacy, and Regulatory Norms [56.119374302685934]
AI技術の信頼性に関する深刻な懸念があった。機械学習とディープラーニングのアルゴリズムは、開発に使用されるデータに大きく依存する。本稿では,責任あるルーブリックを用いてデータセットを評価するフレームワークを提案する。
論文参考訳（メタデータ） (2023-10-24T14:01:53Z)
Predicting Seriousness of Injury in a Traffic Accident: A New Imbalanced Dataset and Benchmark [62.997667081978825]
本稿では,交通事故における傷害の重大性を予測するために,機械学習アルゴリズムの性能を評価する新しいデータセットを提案する。データセットは、英国運輸省から公開されているデータセットを集約することで作成される。
論文参考訳（メタデータ） (2022-05-20T21:15:26Z)
Enabling Synthetic Data adoption in regulated domains [1.9512796489908306]
Model-CentricからData-Centricへの転換は、アルゴリズムよりもデータとその品質に重点を置いている。特に、高度に規制されたシナリオにおける情報のセンシティブな性質を考慮する必要がある。このようなコンウンドラムをバイパスする巧妙な方法は、生成プロセスから得られたデータであるSynthetic Dataに依存し、実際のデータプロパティを学習する。
論文参考訳（メタデータ） (2022-04-13T10:53:54Z)
Data Smells: Categories, Causes and Consequences, and Detection of Suspicious Data in AI-based Systems [3.793596705511303]
記事では、AIベースのシステムのコンテキストにおいて、その原因、結果、検出、使用に関するデータの臭いと精巧さを概念化している。さらに、36のデータの臭いのカタログを3つのカテゴリ(可読性スメル、可視性スメル、一貫性スメル)に分けて提示する。
論文参考訳（メタデータ） (2022-03-19T19:21:52Z)
Unsupervised Domain Adaptive Learning via Synthetic Data for Person Re-identification [101.1886788396803]
人物再識別(re-ID)は、ビデオ監視に広く応用されているため、ますます注目を集めている。残念なことに、主流のディープラーニング手法では、モデルをトレーニングするために大量のラベル付きデータが必要です。本稿では,コンピュータゲーム内で合成されたre-IDサンプルを自動的に生成するデータコレクタを開発し,同時にアノテートするデータラベラを構築した。
論文参考訳（メタデータ） (2021-09-12T15:51:41Z)
Representative & Fair Synthetic Data [68.8204255655161]
公平性制約を自己監督学習プロセスに組み込むためのフレームワークを提示する。私たちはuci成人国勢調査データセットの代表者および公正版を作成します。我々は、代表的かつ公正な合成データを将来有望なビルディングブロックとみなし、歴史的世界ではなく、私たちが生きようとしている世界についてアルゴリズムを教える。
論文参考訳（メタデータ） (2021-04-07T09:19:46Z)
Occams Razor for Big Data? On Detecting Quality in Large Unstructured Datasets [0.0]
分析複雑性への新たな傾向は、科学におけるパシモニーやオッカム・ラザーの原理にとって深刻な課題である。データクラスタリングのための計算的ビルディングブロックアプローチは、最小の計算時間で大規模な非構造化データセットを扱うのに役立つ。このレビューは、東西の文化的な違いがビッグデータ分析の過程にどのように影響するかを結論付けている。
論文参考訳（メタデータ） (2020-11-12T16:06:01Z)
DeGAN : Data-Enriching GAN for Retrieving Representative Samples from a Trained Classifier [58.979104709647295]
我々は、トレーニングされたネットワークの将来の学習タスクのために、利用可能なデータの豊富さと関連するデータの欠如の間のギャップを埋める。利用可能なデータは、元のトレーニングデータセットまたは関連するドメインデータセットの不均衡なサブセットである可能性があるため、代表サンプルを検索するために使用します。関連ドメインからのデータを活用して最先端のパフォーマンスを実現することを実証する。
論文参考訳（メタデータ） (2019-12-27T02:05:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。