論文の概要: Unmasking Removal-Budget Confounding: A Matched Operating-Point Evaluation Framework for Adaptive Data Cleaning

• arxiv url: http://arxiv.org/abs/2608.06511v1
• Date: Thu, 06 Aug 2026 18:50:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-10 16:21:25.266015
• Title: Unmasking Removal-Budget Confounding: A Matched Operating-Point Evaluation Framework for Adaptive Data Cleaning
• Title（参考訳）: アンマスキング除去予算の相違:適応的データクリーニングのためのオペレーティングポイント評価フレームワーク
• Abstract要約: 一致した予算と一致したリコール制御を用いた手法の評価を行うオペレーティングポイント・アウェア評価フレームワークを提案する。 このフレームワークは、再重み付き学習難易度キュー、補助ユークリッド距離キュー、パーティションの粒度向上を特徴とするマルチキュー適応クリーナー設計でテストする。 偽陽性の分解は、清潔だが難易度の高いサンプルは、主に低汚職率でエラー数を減少させ、適度な汚職でしきい値に依存し、重度の汚職下では無視的に寄与することを示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adaptive data-cleaning methods replace manual filtering thresholds with data-driven partitions. However, changing the partition granularity, the number of groups used to segment samples by estimated corruption risk, can implicitly shift the decision boundary and alter the overall number of removed samples. This creates a bias known as removal-budget confounding, where apparent gains in metrics like precision or false-positive rate reflect a smaller removal budget rather than superior corruption discrimination. To address this evaluation bias, we introduce an operating-point-aware evaluation framework that evaluates methods using matched-budget and matched-recall controls alongside threshold-independent metrics (AUROC and AUPRC). We test this framework on a multi-cue adaptive cleaner redesign featuring a reweighted learning-difficulty cue, an auxiliary Euclidean-distance cue, and increased partition granularity intended to isolate clean-but-difficult samples. While naive evaluations (assessing configurations at their own induced operating points) suggest substantial performance improvements for the redesign, these gains disappear once operating points are equalized. False-positive decomposition reveals that clean-but-difficult samples primarily drive error counts at low corruption rates, become threshold-dependent at moderate corruption, and contribute negligibly under severe corruption. Experiments on CIFAR-10 and ImageNet-100 demonstrate that most performance differences observed in naive evaluation shrink or vanish at low-to-moderate corruption when operating points are matched. True ranking advantages only remain in specific low-prevalence settings and in high-recall regions under severe corruption. These findings highlight that adaptive cleaning methods must be benchmarked at matched operating points to ensure performance gains reflect genuine corruption discrimination.
• Abstract（参考訳）: 適応的なデータクリーニング手法は、手動のフィルタリングしきい値をデータ駆動のパーティションに置き換える。 しかし、分割の粒度を変えると、推定汚職リスクによってサンプルを分割するために使用されるグループの数は、決定境界を暗黙的にシフトし、除去されたサンプルの総数を変更することができる。 これは除去予算という偏見を生み出し、精度や偽陽性率といった指標の明らかな利得は、汚職差別の優位性よりも、除去予算の小さいことを反映している。 この評価バイアスに対処するため,AUROCとAUPRCと並行してマッチング予算とマッチングリコール制御を用いた手法の評価を行うオペレーティングポイント・アウェア評価フレームワークを導入する。 本手法は, 学習難易度の高い重み付きキュー, ユークリッド距離の補助キュー, クリーンだが難易度の高いサンプルの分離を目的としたパーティション粒度の増加を特徴とする, マルチキュー適応型クリーナーの設計設計について検証する。 ナイーブな評価(自己の誘導操作点における構成の評価)は再設計の大幅な性能向上を示唆するが、操作点が等しくなればこれらの改善は消える。 偽陽性の分解は、清潔だが難易度の高いサンプルは、主に低汚職率でエラー数を減少させ、適度な汚職でしきい値に依存し、重度の汚職下では無視的に寄与することを示した。 CIFAR-10 と ImageNet-100 の実験では,操作点が一致した場合の低変量汚損時に,ナイーブ評価で観測されるほとんどの性能差が縮小または消失することを示した。 真のランキングの優位性は、特定の低頻度設定と深刻な汚職下でのハイリコール領域に限られる。 これらの結果から,適応的クリーニング手法は実際の汚職差別を反映した性能向上を確実にするために,一致した操作点でベンチマークする必要があることが示唆された。

関連論文リスト

• Simplex Relaxation for Discrete Diffusion [58.33696160279345]
  Simplax(Simplax)はディリクレ(Dirichlet)のカテゴリー拡張で、それぞれが崩壊したカテゴリ状態と補助的単純度値変数を結合する。 Simplaxは生成パープレキシティーを改善する。-無条件のOpenWebText生成におけるエントロピートレードオフ。
  論文  参考訳（メタデータ） (2026-08-11T07:58:17Z)
• Lottery Tickets Are Not Deployment Tickets [4.230349220081444]
  我々は、下流決定論理を再構成することなく、精度に適合した宝くじ券または他のスパースチャレンジャーが、既存の高密度モデルを置き換えることができるかどうかを検討する。 実験全体を通して、スパース候補は繰り返し密度参照精度を回復するが、行動学的に異なるままである。 固定閾値ポリシー診断を備えた小さなギャップ設定では、宝くじの交換は受け入れレビュー決定の7%から10%に変化する。
  論文  参考訳（メタデータ） (2026-07-29T15:25:19Z)
• PerceptionRubrics: Calibrating Multimodal Evaluation to Human Perception [75.70273182182397]
  PerceptionRubricsはルーブリックベースの評価フレームワークである。 飽和ベンチマークスコアと現実世界の脆さのギャップに対処する。 1,038枚のインフォメーションセンス画像と1万個以上のインスタンス固有のルーリックをペアリングする。
  論文  参考訳（メタデータ） (2026-06-26T17:59:15Z)
• Distributionally Robust Set Representation Learning Under Inference-Time Element Corruption [43.32606112443927]
  本稿では,分布的に堅牢な最適化フレームワークSW-DRSOを提案する。 SW-DRSOは, 全体的な性能を維持しつつ, 汚損に対する堅牢性を効果的に向上することを示す。
  論文  参考訳（メタデータ） (2026-05-28T15:35:04Z)
• Disagreement-Regularized Importance Sampling for Adversarial Label Corruption [3.0416928830191066]
  Disagreement-Regularized Importance Smpling (DR-IS)は、独立したプロキシアンサンブル間での損失ランクの分類に基づくサブサンプリング手法である。 DR-ISは、ベンチマークデータセット上のError $L$-norm (EL2N)のようなマグニチュードベースのメソッドを壊すターゲットの高いノーム攻撃の下で堅牢である。
  論文  参考訳（メタデータ） (2026-05-08T10:27:51Z)
• Benchmarking Corruption Robustness of LVLMs: A Discriminative Benchmark and Robustness Alignment Metric [49.393713730706445]
  汚損の堅牢性を評価するための識別サンプルを強調したベンチマークであるBench-Cを紹介する。 本稿では,ロバストネスアライメントスコア(RAS)を提案する。
  論文  参考訳（メタデータ） (2025-11-24T12:07:56Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Soft Diffusion: Score Matching for General Corruptions [84.26037497404195]
  我々は,任意の線形汚職過程のスコア関数を確実に学習するSoft Score Matchingと呼ばれる新しい目的を提案する。 本研究の目的は, 汚職過程の家族に対して, 適正な規則性条件下での確率の勾配を学習することである。 提案手法はCelebA-64上でのFIDスコアを1.85ドルで達成し,従来の線形拡散モデルよりも優れていた。
  論文  参考訳（メタデータ） (2022-09-12T17:45:03Z)
• Binary classification with corrupted labels [7.957286882973197]
  精度の高い予測器に適合することを目標とする分類問題では、トレーニングデータセットに破損したラベルが存在することがさらなる課題となる可能性がある。 例えば、もし正と負のラベルが完全に分離可能であれば、破損したラベルのごく一部は堅牢性を確保して性能を向上させることができる。 以上の結果から, 崩壊したデータポイントの存在は, サンプルサイズの平方根でスケーリングすることで, サンプル全体のごく一部にのみ有効であることが示唆された。
  論文  参考訳（メタデータ） (2021-06-16T21:23:48Z)
• Deconfounding Scores: Feature Representations for Causal Effect Estimation with Weak Overlap [140.98628848491146]
  推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。 分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。 特に,この手法が標準正規化の魅力的な代替となることを示す。
  論文  参考訳（メタデータ） (2021-04-12T18:50:11Z)
• Diverse Gaussian Noise Consistency Regularization for Robustness and Uncertainty Calibration [7.310043452300738]
  深層ニューラルネットワークは、列車と試験分布が一致したときに高い予測精度を達成する。 この設定から逸脱し、深刻なパフォーマンス劣化を引き起こす、さまざまな種類の汚職が発生する。 本稿では,画像分類器の多種多様な汚損下での堅牢性向上のための多種多様なガウス雑音整合正則化法を提案する。
  論文  参考訳（メタデータ） (2021-04-02T20:25:53Z)
• Exploiting Sample Uncertainty for Domain Adaptive Person Re-Identification [137.9939571408506]
  各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。 不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
  論文  参考訳（メタデータ） (2020-12-16T04:09:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。