論文の概要: Stress-Testing ML Pipelines with Adversarial Data Corruption

• arxiv url: http://arxiv.org/abs/2506.01230v1
• Date: Mon, 02 Jun 2025 00:41:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:34.000018
• Title: Stress-Testing ML Pipelines with Adversarial Data Corruption
• Title（参考訳）: 逆データ破壊を伴う応力試験MLパイプライン
• Authors: Jiongli Zhu, Geyang Xu, Felipe Lorenzi, Boris Glavic, Babak Salimi,
• Abstract要約: 規制当局は現在、ハイテイクシステムは現実的で相互依存的なエラーに耐えられるという証拠を要求している。 SAVAGEは依存性グラフとフレキシブルな汚いテンプレートを通じて、データ品質の問題を正式にモデル化するフレームワークです。 Savanageは、脆弱性のあるデータサブポピュレーションと微調整による汚職の深刻度を効率的に識別するために、双方向の最適化アプローチを採用している。
• 参考スコア（独自算出の注目度）: 11.91482648083998
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Structured data-quality issues, such as missing values correlated with demographics, culturally biased labels, or systemic selection biases, routinely degrade the reliability of machine-learning pipelines. Regulators now increasingly demand evidence that high-stakes systems can withstand these realistic, interdependent errors, yet current robustness evaluations typically use random or overly simplistic corruptions, leaving worst-case scenarios unexplored. We introduce SAVAGE, a causally inspired framework that (i) formally models realistic data-quality issues through dependency graphs and flexible corruption templates, and (ii) systematically discovers corruption patterns that maximally degrade a target performance metric. SAVAGE employs a bi-level optimization approach to efficiently identify vulnerable data subpopulations and fine-tune corruption severity, treating the full ML pipeline, including preprocessing and potentially non-differentiable models, as a black box. Extensive experiments across multiple datasets and ML tasks (data cleaning, fairness-aware learning, uncertainty quantification) demonstrate that even a small fraction (around 5 %) of structured corruptions identified by SAVAGE severely impacts model performance, far exceeding random or manually crafted errors, and invalidating core assumptions of existing techniques. Thus, SAVAGE provides a practical tool for rigorous pipeline stress-testing, a benchmark for evaluating robustness methods, and actionable guidance for designing more resilient data workflows.
• Abstract（参考訳）: 人口統計と相関する値の欠如、文化的に偏りのあるラベル、体系的な選択バイアスといった構造的なデータ品質の問題は、機械学習パイプラインの信頼性を日常的に低下させる。 規制当局は、こうした現実的で相互依存的なエラーに耐えられるという証拠をますます要求していますが、現在の堅牢性評価では、通常ランダムまたは過度に単純化された汚職を使用し、最悪のシナリオは未調査のままです。 因果的にインスパイアされたフレームワークであるSAVAGEを紹介します。 i) 依存性グラフとフレキシブルな汚いテンプレートを通して、現実的なデータ品質の問題を形式的にモデル化し、 (ii)目標性能指標を最大劣化させる汚職パターンを系統的に発見する。 SAVAGEは、脆弱性のあるデータサブポピュレーションときめ細かい汚職の深刻度を効率的に識別するために、二段階最適化アプローチを採用し、前処理や潜在的に差別化不可能なモデルを含む完全なMLパイプラインをブラックボックスとして扱う。 複数のデータセットやMLタスク(データのクリーニング、公正な学習、不確実性定量化)にわたる大規模な実験では、SAVAGEによって特定された構造化汚職のごく一部(約5%)でさえ、モデルパフォーマンスに重大な影響を与え、ランダムまたは手作業によるエラーをはるかに超え、既存のテクニックの中核的な仮定を無効化している。 したがって、SAVAGEは厳格なパイプラインストレステストのための実用的なツール、堅牢性の評価方法のベンチマーク、よりレジリエントなデータワークフローを設計するための実行可能なガイダンスを提供する。

関連論文リスト

• AdvKT: An Adversarial Multi-Step Training Framework for Knowledge Tracing [64.79967583649407]
  知識追跡(KT)は、学生の知識状態を監視し、質問シーケンスに対する反応をシミュレートする。 既存のKTモデルは通常、単一ステップのトレーニングパラダイムに従っており、大きなエラーの蓄積につながる。 本稿では,多段階KTタスクに着目した新しい知識追跡のための多段階学習フレームワーク(AdvKT)を提案する。
  論文  参考訳（メタデータ） (2025-04-07T03:31:57Z)
• Corrupted but Not Broken: Understanding and Mitigating the Negative Impacts of Corrupted Data in Visual Instruction Tuning [92.16191092329765]
  マルチモーダル大言語モデル(MLLM)における劣化データの影響について検討する。 劣化したデータはモデル性能を劣化させるが、そのような悪影響は大部分が可逆的である。 破損したデータの影響を緩和する既存の戦略をはるかに上回る汚職・汚職訓練パラダイムを導入する。
  論文  参考訳（メタデータ） (2025-02-18T08:28:29Z)
• Uncertainty-based Offline Variational Bayesian Reinforcement Learning for Robustness under Diverse Data Corruptions [8.666879925570331]
  実世界のオフラインデータセットは、しばしばセンサーの故障や悪意のある攻撃によるデータ破損にさらされる。 既存の手法は、破損したデータによって引き起こされる高い不確実性の下で堅牢なエージェントを学ぶのに苦労している。 オフラインRL(TRACER)に対するロバストな変分ベイズ推定法を提案する。
  論文  参考訳（メタデータ） (2024-11-01T09:28:24Z)
• Effective and Robust Adversarial Training against Data and Label Corruptions [35.53386268796071]
  データ摂動とラベルノイズによる破損は、信頼できない情報源からのデータセットに多い。 我々は,2種類の汚職を同時に扱うための,効果的かつロバストな適応訓練フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-05-07T10:53:20Z)
• Condition Monitoring with Incomplete Data: An Integrated Variational Autoencoder and Distance Metric Framework [2.7898966850590625]
  本稿では,未確認データに対する故障検出と条件モニタリングのための新しい手法を提案する。 我々は変分オートエンコーダを用いて、以前に見られた新しい未知条件の確率分布をキャプチャする。 故障は、健康指標のしきい値を確立することで検出され、そのモデルが重大で見えない断層を高い精度で識別することができる。
  論文  参考訳（メタデータ） (2024-04-08T22:20:23Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Training Deep Normalizing Flow Models in Highly Incomplete Data Scenarios with Prior Regularization [13.985534521589257]
  ハイパウシティシナリオにおけるデータ分布の学習を容易にする新しいフレームワークを提案する。 提案手法は,不完全データから学習過程を協調最適化タスクとして行うことに由来する。
  論文  参考訳（メタデータ） (2021-04-03T20:57:57Z)
• How Training Data Impacts Performance in Learning-based Control [67.7875109298865]
  本稿では,トレーニングデータの密度と制御性能の関係を考察する。 データセットの品質尺度を定式化し、$rho$-gap と呼ぶ。 フィードバック線形化制御法に$rho$-gapを適用する方法を示す。
  論文  参考訳（メタデータ） (2020-05-25T12:13:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。