論文の概要: Beyond Marginal Monitoring: Distributed Joint-Distribution Testing for Data Concept Drift in Large Scale E-Commerce Operations
- arxiv url: http://arxiv.org/abs/2610.08132v1
- Date: Tue, 06 Oct 2026 10:47:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.943712
- Title: Beyond Marginal Monitoring: Distributed Joint-Distribution Testing for Data Concept Drift in Large Scale E-Commerce Operations
- Title（参考訳）: 大規模Eコマース運用におけるデータコンセプトドリフトのための分散連系テスト
- Abstract要約: 3つの相補的な環境における5つのマルチカラム2サンプルテストを評価した。
我々は、Apache Spark上でRandom Fourier Featuresを使用した分散最大平均離散性を示す。
- 参考スコア（独自算出の注目度）: 0.26385121748044166
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Concept drift threatens production machine learning, yet the empirical behavior of multivariate two-sample drift detectors at scale remains under-characterized. Existing benchmarks rarely address the hundreds of millions of rows and high-cardinality features typical of industrial-operational datasets. We evaluate five multi-column two-sample tests (marginal, projection-based, and kernel embedding methods) across three complementary environments: the Harvard Dataverse, a validated Failing Loudly reproduction (mean absolute error between 0.030 and 0.053), and a novel synthetic-injection benchmark on the 137.5-million-row Trendyol collection-ranking feature table. Testing four drift types across two severity-scope regimes, we demonstrate that distributed Maximum Mean Discrepancy with Random Fourier Features on Apache Spark scales robustly. Averaged over the four drift types in the strong regime and under a calibrated threshold, it achieves a Pearson correlation of r = 0.940 with expected drift magnitude, an 80.4% true positive rate, and a 3.2% false positive rate. Conversely, the per-dimension Kolmogorov-Smirnov test failed due to statistic saturation from ID-like columns under asymmetric sampling, establishing a critical constraint for large-scale sampling design. At weak configurations (realized-flip fractions of at most 0.57%), detectors struggled to reliably discriminate, highlighting the need for future intensity-grid power analyses to distinguish fundamental sensitivity bounds from scalable threshold shifts.
- Abstract（参考訳）: コンセプトドリフトは、生産機械学習を脅かすが、スケールでの多変量2サンプルドリフト検出器の実証的な挙動は、まだ未成熟のままである。
既存のベンチマークでは、数億行の行に対処することはめったにない。
我々は,3つの相補的な環境(ハーバード・データバース,検証されたFailing Loudly再生(0.030～0.053の絶対誤差),137.5万行のTrendyolコレクションレベル特徴テーブル上の新規な合成インジェクションベンチマーク,の5つのマルチカラム2サンプルテスト(マージナル,プロジェクションベース,カーネル埋め込み)を評価した。
2つの重度スコープで4つのドリフトタイプをテストし、Apache Spark上の最大平均値の分散特徴とランダムフーリエ特徴が堅牢にスケールできることを実証した。
強い状態の4つのドリフトタイプと校正しきい値の下の平均は、r = 0.940のピアソン相関と予測ドリフト等級、80.4%の真の正の速度、そして3.2%の偽の正の速度を達成している。
逆に、1次元のコルモゴロフ・スミルノフ検定は、非対称サンプリングの下でのIDのような柱からの統計的飽和により失敗し、大規模なサンプリング設計において重要な制約が確立された。
弱い構成(少なくとも0.57%の実質的なフリップ率)では、検出器は確実に識別するのに苦労し、スケーラブルな閾値シフトから基本的な感度境界を区別するための将来の強度グリッドパワー分析の必要性を強調した。
関連論文リスト
- Two-Sample Testing via Path-based Inference [54.590623065123076]
2サンプルテストは、同じ分布が2つの有限データセットを生成するかどうかを決定する問題である。
補間子を用いて、両分布を共有ガウスボトルネックに接続する。
ゼロ仮説は、集団が、または同等に、2つのハーフの速度場が、任意のノイズレベルに一致する場合にのみ成立することを示す。
論文 参考訳（メタデータ） (2026-10-05T01:56:28Z) - Improving the Sensitivity of Gravitational Wave Detection with Weighted Conformal Prediction [0.0]
我々は、確率的に厳密な信頼度推定を候補事象に対して提供するために、共形予測に基づくフレームワークを用いる。
重要な課題は、トレーニングに使用するシミュレートされたデータセットと、テストに使用される実際の、遅延のない、観察の間の分散シフトである。
論文 参考訳（メタデータ） (2026-09-10T11:33:49Z) - Neural means and kernel corrections for operator learning [0.0]
ニューラルネットワーク手段と、その残余と学習した特徴の正確なMatérnカーネル回帰を組み合わせる。
構造力学では、組み合わせは4.55%のテストエラーに達し、最も優れたアーキテクチャと一致する。
その代わりに2つのファミリーが結びついている場合、私たちが訓練する全てのアーキテクチャの残余は0.86以上と相関し、それらの共有コンポーネントは多様性とサンプルサイズにおいて平坦である。
論文 参考訳（メタデータ） (2026-07-08T17:58:52Z) - Modeling Normal Is All You Need: Joint Latent Clustering for Anomaly Detection in Multimodal Cyber-Physical Systems [47.027290803102666]
通常の行動は、多くの不均衡で、曲がりくねった、細い範囲の運営体制の結合である。
我々は正規法則を、共同学習された潜在表現と明示的なガウス混合モードクラスタリングでモデル化する。
ポイント調整のない生のポイントワイドメトリクス、自明な検出困難分割、頻度整合F1、列車正規化のみのキャリブレーションを意図的に評価する。
論文 参考訳（メタデータ） (2026-07-07T10:10:00Z) - A machine-learning-assisted progressive digit-randomness screening framework for detecting non-random patterns in raw numerical research data [0.0]
ファブリケーションリスク・ディジット・ランダムネス・スクリーニング・モデル(FDRS)は、数値的な研究データから非ランダムな桁パターンの不規則を検出するためのフレームワークである。
FDRSはシングルおよびジョイント・ディシマル・ディジット・テスト、クラマーのV、エントロピー・メトリクス、カルバック・リーブラーの発散、ディジット・プレフレクションの指標、プログレッシブ・サブサンプリング、半教師付きリスクスコアを統合している。
論文 参考訳（メタデータ） (2026-06-05T10:41:18Z) - Measuring Five-Nines Reliability: Sample-Efficient LLM Evaluation in Saturated Benchmarks [45.86413490112477]
大規模言語モデル(LLM)は信頼性に敏感なアプリケーションで使用される。
厳密な信頼境界を持つ稀な失敗確率を推定するには、違法に大きなLSM推論サイズが必要である。
そこで本研究では,クロスエントロピー手法を用いて,故障確率入力に集中したサンプリング分布を学習する。
論文 参考訳（メタデータ） (2026-05-11T20:23:44Z) - Deterministic Fuzzy Triage for Legal Compliance Classification and Evidence Retrieval [0.0]
法律チームはますます、大量の契約上の証拠をトリアージするために機械学習を使用している。
多くのモデルは不透明で非決定論的であり、HIPAAやNERC-CIPのようなフレームワークと整合するのは難しい。
決定論的双対エンコーダと透明なファジィトリアージバンドに基づく簡単な再現可能な代替法について検討する。
論文 参考訳（メタデータ） (2026-03-08T00:31:34Z) - Do Generative Metrics Predict YOLO Performance? An Evaluation Across Models, Augmentation Ratios, and Dataset Complexity [43.338311770275745]
本報告では, YOLOv11の合成増強の制御された評価法について述べる。
実際のトレーニングスプリットの10%から150%の増大率に対して, GAN, 拡散, ハイブリッドベースの6つのジェネレータをベンチマークした。
データセット生成/拡張設定毎に、マッチしたサイズのブートストラッププロトコルで事前トレーニングデータセットメトリクスを計算する。
論文 参考訳（メタデータ） (2026-02-20T03:02:36Z) - Convolutional Surrogate for 3D Discrete Fracture-Matrix Tensor Upscaling [0.0]
酸化3D領域から等価な水和伝導率テンソルKeqを予測する代理モデルを開発した。
3つのサロゲートはDFMシミュレーションによって生成されたデータに基づいて訓練され、それぞれ異なるフラクチャー-マトリクス伝導率のコントラストに対応する。
訓練されたモデルは、ほとんどのテストケースで0.22未満の正規化ルート平均二乗誤差で高い精度を達成する。
論文 参考訳（メタデータ） (2026-01-19T23:53:58Z) - Detecting Unobserved Confounders: A Kernelized Regression Approach [46.52607207396279]
Kernel Regression Confounder Detection (KRCD) は、単一環境下での非線形観測データにおける観測不能なコンバウンディングを検出する新しい方法である。
ゼロからの有意な偏差が観測不能な共起を示すテスト統計学。
合成ベンチマークとツインズデータセットの実験は、KRCDが既存のベースラインを上回るだけでなく、計算効率も優れていることを示した。
論文 参考訳（メタデータ） (2026-01-01T04:26:02Z) - Fuzzy Granule Density-Based Outlier Detection with Multi-Scale Granular Balls [65.44462297594308]
外乱検出は、正常なデータの分布から大きく逸脱する異常なサンプルの同定を指す。
ほとんどの教師なしの外れ値検出方法は、指定された外れ値を検出するために慎重に設計されている。
ファジィ粗集合に基づくマルチスケールアウトレイラ検出手法を提案し,様々な種類のアウトレイラを同定する。
論文 参考訳（メタデータ） (2025-01-06T12:35:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。