論文の概要: Data Quality Profiling at Scale with Progressive Sampling: A Benchmark for Data-Centric AI Pipelines

• arxiv url: http://arxiv.org/abs/2607.25356v1
• Date: Tue, 28 Jul 2026 07:03:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-29 20:50:42.73944
• Title: Data Quality Profiling at Scale with Progressive Sampling: A Benchmark for Data-Centric AI Pipelines
• Title（参考訳）: プログレッシブサンプリングによる大規模データ品質プロファイリング - データ中心AIパイプラインのベンチマーク
• Abstract要約: データ品質プロファイリングは、データ中心のAIパイプラインの基礎である。 プログレッシブサンプリングは標準的な方法であり、オープンな疑問は、どの戦略が大規模なプロファイルの忠実さを最もよく保存するかである。 スケールでは、ランダムなユニフォームはニアリニア(O(N0.964))、DAGはスーパーリニア(O(N1.272))である。 根本原因は、IQRプロキシのミスマッチである。プロキシ誘導のサンプルラがオーバープルの数値アウトレイラをオーバープルするのに対して、品質欠陥はプロキシに見えないカテゴリ列に集中する。
• 参考スコア（独自算出の注目度）: 0.261072980439312
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Data quality profiling -- computing missing-value rates, duplicate fractions, outlier densities, and functional-dependency violations -- is foundational for data-centric AI pipelines, yet exhaustive scans over millions of rows are prohibitively slow for near-real-time monitoring. Progressive sampling is the standard alternative; the open question is which strategy best preserves profile fidelity at scale. We benchmark nine sampling strategies -- blind (random uniform, geometric, Yamane, cluster) and proxy-guided (Metropolis-Hastings, DAG, stratified by column type or quality score, importance-weighted) -- on three real-world datasets (NYC 311, NYPD arrests, UCI Adult; up to 500K rows), an IoT sensor stream (2.3M rows), two ultra-large real datasets including Ultra-Marathon Running (up to 7.4M rows), and synthetic data scaled to 5x10^6 rows. Contrary to the assumption sharpens estimates, blind representative samplers dominate uniformly. At a 5% budget, random uniform achieves 0.49% mean relative error on NYC 311; DAG-guided MCMC yields 19.5% (approx. 40x worse), and across all real datasets DAG is 11-49x worse (Wilcoxon W=0, p=0.002, n=9 pairs). Cluster sampling matches random uniform (MRE 0.110 vs. 0.111); proxy-guided methods share DAG's failure mode (MRE 0.20-0.35). At scale, random uniform is near-linear (O(N^{0.964})) while DAG is super-linear (O(N^{1.272})), running 28--47x slower on ultra-large data with 6x worse accuracy. The root cause is an IQR proxy mismatch: proxy-guided samplers over-pursue numeric outliers, while quality defects concentrate in categorical columns invisible to the proxy. The actionable finding: representativeness, not domain knowledge, determines sampler quality -- schema-free random uniform or cluster sampling suffices for production-grade quality profiling at scale.
• Abstract（参考訳）: データ品質プロファイリング -- 不足値率、重複分数、外れ値密度、関数依存度違反 -- は、データ中心のAIパイプラインに基礎を置いているが、数百万行にわたる徹底的なスキャンは、ほぼリアルタイムな監視には明らかに遅い。 プログレッシブサンプリングは標準的な方法であり、オープンな疑問は、どの戦略が大規模なプロファイルの忠実さを最もよく保存するかである。 盲目(ランダム、幾何学、ヤマネ、クラスタ)とプロキシ誘導(メトロポリス・ハスティング、カラムタイプまたは品質スコアによる階層化、重要度重み付け)の9つのサンプリング戦略を、実世界の3つのデータセット(NYC 311、NYPD逮捕、UCIアダルト、最大500K行)、IoTセンサーストリーム(2.3M行)、ウルトラマラソンランニング(最大7.4M行)を含む2つの超大型リアルデータセット(最大7.4M行)、合成データ(最大5x10^6行)でベンチマークします。 仮定が見積もりを鋭くするのとは対照的に、ブラインド代表のサンプルが一様である。 5%の予算で、ランダムなユニフォームはニューヨーク市311で0.49%の平均相対誤差を達成し、DAG誘導MCMCは19.5%(約40倍)、DAGは11-49倍悪い(Wilcoxon W=0, p=0.002, n=9ペア)。 クラスタサンプリングはランダムな均一性(MRE 0.110 vs. 0.111)と一致し、プロキシ誘導法はDAGの障害モード(MRE 0.20-0.35)を共有する。 スケールでは、ランダムな均一性はニアリニア(O(N^{0.964})であり、DAGはスーパーリニア(O(N^{1.272})であり、超大データの28-47倍の速度で6倍の精度で走る。 根本原因は、IQRプロキシのミスマッチである。プロキシ誘導のサンプルラがオーバープルの数値アウトレイラをオーバープルするのに対して、品質欠陥はプロキシに見えないカテゴリ列に集中する。 実行可能な発見: ドメイン知識ではなく代表性は、サンプル品質を決定する -- スキーマなしのランダムな制服や、大規模にプロダクショングレードのクオリティプロファイリングに適したクラスタサンプリングである。

関連論文リスト

• TriCalRAG: A Three-Strategy, Retrieval-Augmented Benchmark for On-Premise LLM-Based Root Cause Analysis in AIOps [1.8136615181861766]
  クラウドホスト型大規模言語モデル(LLM)は、AIOpsパイプラインの根本原因分析(RCA)にますます使用されている。 データプライバシのリスク、ネットワークレイテンシ、および運用ログボリュームの低いクエリ単位のコストを導入している。 我々は,従来のLSTMを用いたログ異常検出器に対して,vLLMを介して局所的に提供されるオープンウェイトの評価ベンチマークであるRAGを提示する。
  論文  参考訳（メタデータ） (2026-09-13T19:52:46Z)
• Post-Hoc Trajectory-Risk Certification for Modular LLM-Based Security Agents [1.4915002678801434]
  ボンフェロニ配置は分布自由であるが,相関誤差下では保守的であることを示す。 粗いラベルの選択は、学習された依存なしにほぼ完璧な相関関係を作ることができる。 ステージ単位の証明書とペアの重なり合うバウンドを用いたモジュール証明書は、正の平均利得が0.6%となる。
  論文  参考訳（メタデータ） (2026-08-04T23:48:36Z)
• DAStatFormer: A Hybrid Multibranch Transformer with Statistical Feature Integration for DAS-Based Pattern Recognitions [0.19573380763700718]
  DAStatFormerは、コンパクトなマルチドメイン統計特徴とGated Transformer Networksを組み合わせたハイブリッドマルチブランチトランスフォーマーである。 99.4%の精度とほぼ完璧な実世界のパフォーマンスを実現している。 これらの結果は、分散リアルタイムDASベースのモニタリングに適していることを示す。
  論文  参考訳（メタデータ） (2026-05-22T13:58:37Z)
• Gleaner: A Semantically-Rich and Efficient Online Sampler for Microservice Diagnostics [14.792065799390897]
  State-of-the-the-art tail-based samplersは、グラフとしてモデリングすることで、完全な(あるいはログに富んだ)トレースを分析する。 私たちは、このトレードオフを破るオンラインのテールサンプリングフレームワークであるGleanerを提案します。 Gleaner氏は各トレースを,ログセマンティクスを付加した“最先端のバグ”として表現している。
  論文  参考訳（メタデータ） (2026-04-18T03:43:17Z)
• One-Shot Federated Ridge Regression: Exact Recovery via Sufficient Statistic Aggregation [0.7106986689736825]
  フェデレート・リッジ回帰(Federated ridge regression)は、各クライアントが局所的な十分な統計を計算し、一度送信する分散平衡問題である。 我々は、クライアント1回に1回ノイズが注入された場合の差分プライバシー保証を確立し、マルチラウンドプロトコルのプライバシを低下させる構成ペナルティを排除した。 合成ヘテロジニアス回帰の実験では、単発核融合はFedAvgの精度と一致し、通信コストは最大38時間以下であることが示されている。
  論文  参考訳（メタデータ） (2026-01-13T04:47:22Z)
• Large Language Models Are Bad Dice Players: LLMs Struggle to Generate Random Numbers from Statistical Distributions [50.1404916337174]
  大規模言語モデル(LLM)における母国語の確率的サンプリングの大規模,統計的に活用された最初の監査について述べる。 バッチ生成は, ほぼ完全に崩壊する一方, 中央値のパスレートが13%であり, 統計的妥当性はわずかであることがわかった。 現在のLCMには機能的な内部サンプルが欠如しており、統計的保証を必要とするアプリケーションに外部ツールを使う必要があると結論付けている。
  論文  参考訳（メタデータ） (2026-01-08T22:33:12Z)
• A Novel Approach for Estimating Largest Lyapunov Exponents in One-Dimensional Chaotic Time Series Using Machine Learning [0.0]
  機械学習を用いて1次元カオス時系列から最大のリアプノフ指数(LLE)を推定するためのデータ駆動手法を提案する。 予測器はサンプル外マルチ水平予測を生成するように訓練され、LLEは地平線を横切る幾何平均予測誤差(GMAE)の指数的成長から推定される。 我々は,4つの標準1次元地図-ロジスティック,正弦,立方体,チェビシェフが達成するR2pos > 0.99のアプローチを,M = 450と短い列の基準LLE曲線に対して検証した。
  論文  参考訳（メタデータ） (2025-07-07T10:53:02Z)
• Geometric Median Matching for Robust k-Subset Selection from Noisy Data [75.86423267723728]
  最適分解点1/2のロバストな推定器であるGeometric Medianを利用する新しいk-subset選択法を提案する。 提案手法は, k-subset を反復的に選択し,部分集合の平均が(潜在的に)ノイズデータセットの GM に近似し,任意の汚損の下でもロバスト性を確保する。
  論文  参考訳（メタデータ） (2025-04-01T09:22:05Z)
• Large Language Monkeys: Scaling Inference Compute with Repeated Sampling [81.34900892130929]
  モデルから候補解を繰り返しサンプリングする簡単な手法を用いて、推論計算をスケーリングのための別の軸として検討する。 複数のタスクやモデルにまたがって、カバレッジは4桁以上のサンプル数でスケールする。 コードや形式的証明のようなドメインでは、回答が自動的に検証されるので、カバレッジの増加は直接的にパフォーマンスの向上につながります。
  論文  参考訳（メタデータ） (2024-07-31T17:57:25Z)
• Stochastic Approximation Approaches to Group Distributionally Robust Optimization and Beyond [89.72693227960274]
  本稿では,グループ分散ロバスト最適化 (GDRO) を,$m$以上の異なる分布をうまく処理するモデルを学習する目的で検討する。 各ラウンドのサンプル数を$m$から1に抑えるため、GDROを2人でプレイするゲームとして、一方のプレイヤーが実行し、他方のプレイヤーが非公開のマルチアームバンディットのオンラインアルゴリズムを実行する。 第2のシナリオでは、最大リスクではなく、平均的最上位k$リスクを最適化し、分散の影響を軽減することを提案する。
  論文  参考訳（メタデータ） (2023-02-18T09:24:15Z)
• Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
  我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。 入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。 分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-14T05:39:09Z)
• The Bures Metric for Generative Adversarial Networks [10.69910379275607]
  GAN(Generative Adversarial Networks)は、高品質なサンプルを生成する高性能な生成手法である。 実バッチの多様性と偽バッチの多様性を一致させることを提案する。 多様性マッチングはモード崩壊を著しく低減し, サンプル品質に肯定的な影響を及ぼす。
  論文  参考訳（メタデータ） (2020-06-16T12:04:41Z)
• Least Squares Regression with Markovian Data: Fundamental Limits and Algorithms [69.45237691598774]
  マルコフ連鎖からデータポイントが依存しサンプリングされる最小二乗線形回帰問題について検討する。 この問題を$tau_mathsfmix$という観点から、鋭い情報理論のミニマックス下限を確立する。 本稿では,経験的リプレイに基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-16T04:26:50Z)
• SUOD: Accelerating Large-Scale Unsupervised Heterogeneous Outlier Detection [63.253850875265115]
  外乱検出(OD)は、一般的なサンプルから異常物体を識別するための機械学習(ML)タスクである。 そこで我々は,SUODと呼ばれるモジュール型加速度システムを提案する。
  論文  参考訳（メタデータ） (2020-03-11T00:22:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。