論文の概要: BClean: A Bayesian Data Cleaning System

• arxiv url: http://arxiv.org/abs/2311.06517v1
• Date: Sat, 11 Nov 2023 09:22:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-14 18:06:58.869951
• Title: BClean: A Bayesian Data Cleaning System
• Title（参考訳）: BClean:ベイジアンのデータクリーニングシステム
• Authors: Jianbin Qin, Sifan Huang, Yaoshu Wang, Jing Zhu, Yifan Zhang, Yukai Miao, Rui Mao, Makoto Onizuka, Chuan Xiao
• Abstract要約: BCleanは自動ベイズネットワーク構築とユーザインタラクションを備えたベイズクリーニングシステムである。 実世界のデータセットと合成データセットの両方で評価することにより、B BCleanはデータのクリーニングにおいて最大0.9のF測定を達成できることを示した。
• 参考スコア（独自算出の注目度）: 17.525913626374503
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: There is a considerable body of work on data cleaning which employs various principles to rectify erroneous data and transform a dirty dataset into a cleaner one. One of prevalent approaches is probabilistic methods, including Bayesian methods. However, existing probabilistic methods often assume a simplistic distribution (e.g., Gaussian distribution), which is frequently underfitted in practice, or they necessitate experts to provide a complex prior distribution (e.g., via a programming language). This requirement is both labor-intensive and costly, rendering these methods less suitable for real-world applications. In this paper, we propose BClean, a Bayesian Cleaning system that features automatic Bayesian network construction and user interaction. We recast the data cleaning problem as a Bayesian inference that fully exploits the relationships between attributes in the observed dataset and any prior information provided by users. To this end, we present an automatic Bayesian network construction method that extends a structure learning-based functional dependency discovery method with similarity functions to capture the relationships between attributes. Furthermore, our system allows users to modify the generated Bayesian network in order to specify prior information or correct inaccuracies identified by the automatic generation process. We also design an effective scoring model (called the compensative scoring model) necessary for the Bayesian inference. To enhance the efficiency of data cleaning, we propose several approximation strategies for the Bayesian inference, including graph partitioning, domain pruning, and pre-detection. By evaluating on both real-world and synthetic datasets, we demonstrate that BClean is capable of achieving an F-measure of up to 0.9 in data cleaning, outperforming existing Bayesian methods by 2% and other data cleaning methods by 15%.
• Abstract（参考訳）: データクリーニングには、誤ったデータを修正し、汚いデータセットをよりクリーンなものに変換する、さまざまな原則を用いる、かなりの量の作業がある。 一般的なアプローチの1つは、ベイズ法を含む確率的手法である。 しかし、既存の確率的手法は、しばしば単純分布(例えばガウス分布)を仮定し、それらは実際には不適合であり、専門家が複雑な事前分布(例えば、プログラミング言語を介して)を提供する必要がある。 この要件は労働集約的かつ費用がかかるため、実際のアプリケーションには適さない。 本稿では,ベイズネットワークの自動構築とユーザインタラクションを特徴とするベイズ清掃システムbcleanを提案する。 我々は、データクリーニング問題をベイズ推定として再キャストし、観測されたデータセットの属性とユーザが提供する事前情報の関係を完全に活用する。 そこで本研究では,類似度関数を用いた構造学習に基づく関数依存発見法を拡張し,属性間の関係を捉えるベイズネットワーク構築手法を提案する。 さらに,本システムでは,生成したベイズネットワークを修正して,自動生成プロセスで特定された事前情報や正確な不正確性を特定する。 また,ベイズ推定に必要な効果的なスコアリングモデル(補償スコアリングモデル)を設計する。 データクリーニングの効率を高めるために,グラフ分割,ドメインプルーニング,事前検出などベイズ推定のための近似手法を提案する。 実世界のデータセットと合成データセットの両方について評価することで、bcleanはデータクリーニングにおいて最大0.9のf-測定を達成でき、既存のベイズ法を2%、その他のデータクリーニング法を15%上回る。

関連論文リスト

• A Federated Distributionally Robust Support Vector Machine with Mixture of Wasserstein Balls Ambiguity Set for Distributed Fault Diagnosis [3.662364375995991]
  本研究では、中央サーバとG$クライアントで構成されるネットワーク上で、データを共有せずに、分散ロバストな(DR)サポートベクタマシン(SVM)をフェデレーション方式でトレーニングする問題について検討する。 グローバルFDR-SVMをトレーニングするための2つの分散最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-04T19:21:45Z)
• Improvement and generalization of ABCD method with Bayesian inference [36.136619420474766]
  我々は、利用可能な情報を活用することに集中し、通常のデータ駆動型ABCD法を再考する努力を注いでいる。 ABCD法とは対照的に,異なる背景の性質の理解をいかに活用できるかを示す。 この単純化されたモデルにおいて、ベイズフレームワークは信号分数を得る際のABCD法感度よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-12T19:05:27Z)
• Gaussian Mixture Models for Affordance Learning using Bayesian Networks [50.18477618198277]
  Affordancesはアクション、オブジェクト、エフェクト間の関係の基本的な記述である。 本稿では,世界を探究し,その感覚経験から自律的にこれらの余裕を学習するエンボディエージェントの問題にアプローチする。
  論文  参考訳（メタデータ） (2024-02-08T22:05:45Z)
• VertiBayes: Learning Bayesian network parameters from vertically partitioned data with missing values [2.9707233220536313]
  フェデレーション学習は、分散データに基づいて機械学習モデルをトレーニングすることを可能にする。 本稿では,垂直分割データ上でベイズネットワークを学習するためのVertiBayesという新しい手法を提案する。 提案手法は,従来のアルゴリズムを用いて学習したモデルに匹敵するモデルを生成する。
  論文  参考訳（メタデータ） (2022-10-31T11:13:35Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Transformers Can Do Bayesian Inference [56.99390658880008]
  我々はPFN(Presideed Data Fitted Networks)を提案する。 PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。 我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
  論文  参考訳（メタデータ） (2021-12-20T13:07:39Z)
• Evaluating State-of-the-Art Classification Models Against Bayes Optimality [106.50867011164584]
  正規化フローを用いて学習した生成モデルのベイズ誤差を正確に計算できることを示す。 われわれの手法を用いて、最先端の分類モデルについて徹底的な調査を行う。
  論文  参考訳（メタデータ） (2021-06-07T06:21:20Z)
• Probabilistic Case-based Reasoning for Open-World Knowledge Graph Completion [59.549664231655726]
  ケースベース推論(CBR)システムは,与えられた問題に類似した事例を検索することで,新たな問題を解決する。 本稿では,知識ベース(KB)の推論において,そのようなシステムが実現可能であることを示す。 提案手法は,KB内の類似エンティティからの推論パスを収集することにより,エンティティの属性を予測する。
  論文  参考訳（メタデータ） (2020-10-07T17:48:12Z)
• PClean: Bayesian Data Cleaning at Scale with Domain-Specific Probabilistic Programming [65.88506015656951]
  我々は、データセット固有の知識を活用して汚いデータのクリーン化と正規化を行う確率的プログラミング言語であるPCleanを提案する。 PCleanは、(1)確率的プログラムでカスタマイズ可能なリレーショナルデータベースインスタンスの非パラメトリックモデル、(2)モデルの構造を利用するシーケンシャルなモンテカルロ推論アルゴリズム、(3)ほぼ最適のSMC提案とブロックされたギブス再構成の3つのモデルと推論コントリビューションを利用している。
  論文  参考訳（メタデータ） (2020-07-23T08:01:47Z)
• A Tutorial on Learning With Bayesian Networks [8.98526174345299]
  ベイズネットワークは、興味のある変数間の確率的関係を符号化するグラフィカルモデルである。 ベイズネットワークは因果関係の学習に利用できる。 また、問題領域の理解を得、介入の結果を予測するためにも使用できる。
  論文  参考訳（メタデータ） (2020-02-01T20:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。