論文の概要: Like Oil and Water: Group Robustness Methods and Poisoning Defenses May Be at Odds
- arxiv url: http://arxiv.org/abs/2504.02142v1
- Date: Wed, 02 Apr 2025 21:37:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-04 12:56:55.854142
- Title: Like Oil and Water: Group Robustness Methods and Poisoning Defenses May Be at Odds
- Title（参考訳）: 石油や水のように、集団ロバストな方法と防犯策はオッドに
- Authors: Michael-Andrei Panaitescu-Liess, Yigitcan Kaya, Sicheng Zhu, Furong Huang, Tudor Dumitras,
- Abstract要約: グループロバストネスは機械学習(ML)において大きな関心事となっている
私たちの研究で、まずこれらの方法の重大な欠点を明らかにしました。
毒サンプルを増幅することにより、集団堅牢性法は必然的に敵の成功率を増加させる。
- 参考スコア（独自算出の注目度）: 34.5312052182332
- License:
- Abstract: Group robustness has become a major concern in machine learning (ML) as conventional training paradigms were found to produce high error on minority groups. Without explicit group annotations, proposed solutions rely on heuristics that aim to identify and then amplify the minority samples during training. In our work, we first uncover a critical shortcoming of these methods: an inability to distinguish legitimate minority samples from poison samples in the training set. By amplifying poison samples as well, group robustness methods inadvertently boost the success rate of an adversary -- e.g., from $0\%$ without amplification to over $97\%$ with it. Notably, we supplement our empirical evidence with an impossibility result proving this inability of a standard heuristic under some assumptions. Moreover, scrutinizing recent poisoning defenses both in centralized and federated learning, we observe that they rely on similar heuristics to identify which samples should be eliminated as poisons. In consequence, minority samples are eliminated along with poisons, which damages group robustness -- e.g., from $55\%$ without the removal of the minority samples to $41\%$ with it. Finally, as they pursue opposing goals using similar heuristics, our attempt to alleviate the trade-off by combining group robustness methods and poisoning defenses falls short. By exposing this tension, we also hope to highlight how benchmark-driven ML scholarship can obscure the trade-offs among different metrics with potentially detrimental consequences.
- Abstract（参考訳）: グループロバスト性は、従来のトレーニングパラダイムが少数集団に高い誤差をもたらすことが判明したため、機械学習(ML)において大きな関心事となっている。
明示的なグループアノテーションがなければ、提案された解決策は訓練中に少数派のサンプルを特定し、増幅することを目的としたヒューリスティックに依存している。
我々の研究で、我々はこれらの方法の重大な欠点を最初に発見しました:トレーニングセットの毒サンプルから、合法的なマイノリティサンプルを区別できないことです。
毒サンプルを増幅することにより、集団堅牢性手法は、敵の成功率を必然的に押し上げます。例えば、$0\%から$97\%以上へと引き上げます。特に、この経験的証拠を、いくつかの仮定において標準的ヒューリスティックの不可能性を証明して補足します。また、近年の集中学習と連邦学習の両方において、最近の毒の防御を精査し、どのサンプルを毒として除去すべきかという類似のヒューリスティックスに頼っています。その結果、少数サンプルは、グループ堅牢性にダメージを与える毒とともに除去されます。例えば、50\%から45\%まで、少数サンプルを除去することなく、グループ堅牢性とともに除去します。
最後に、同様のヒューリスティックスを用いて反対の目標を追求する中で、グループロバストネス法と中毒防御法を組み合わせることでトレードオフを緩和しようと試みている。
この緊張を露呈することで、ベンチマーク駆動のML奨学金が、さまざまなメトリクス間のトレードオフを曖昧にし、潜在的に有害な結果をもたらすことを強調したいと思っています。
関連論文リスト
- Robust Non-adaptive Group Testing under Errors in Group Membership Specifications [3.554868356768806]
グループテスト(GT)は、$n p$ group'でテストを実行することで欠陥状態を決定することを目的としており、$p$サンプルのサブセットを混合してグループを形成する。
しかし、既存の方法の多くは、グループメンバーシップが正確に指定されていると仮定している。
本稿では,グループメンバシップ仕様の誤りを処理できる新しいGT法であるDebiased Robust Lasso Test Method (DRLT) を提案する。
論文 参考訳（メタデータ） (2024-09-09T06:03:23Z) - Adversarial Reweighting Guided by Wasserstein Distance for Bias
Mitigation [24.160692009892088]
データ中のマイノリティの下位表現は、学習中のサブポピュレーションの異なる扱いを困難にしている。
本稿では,このような表現バイアスに対処する新たな逆方向再重み付け手法を提案する。
論文 参考訳（メタデータ） (2023-11-21T15:46:11Z) - Defending Pre-trained Language Models as Few-shot Learners against
Backdoor Attacks [72.03945355787776]
軽快でプラガブルで効果的な PLM 防御である MDP を,少人数の学習者として提唱する。
我々は,MDPが攻撃の有効性と回避性の両方を選択できる興味深いジレンマを発生させることを解析的に示す。
論文 参考訳（メタデータ） (2023-09-23T04:41:55Z) - Identifying Adversarially Attackable and Robust Samples [1.4213973379473654]
アドリアックは、入力サンプルに小さな、知覚不能な摂動を挿入し、ディープラーニングモデルの出力に大きな、望ましくない変化を引き起こす。
本研究は, 対人攻撃に最も影響を受けやすいサンプルを同定することを目的とした, サンプル攻撃可能性の概念を紹介する。
本研究では,未知のターゲットモデルに対する未知のデータセットにおいて,逆攻撃可能で頑健なサンプルを識別するディープラーニングベースの検出器を提案する。
論文 参考訳（メタデータ） (2023-01-30T13:58:14Z) - Rethinking Backdoor Data Poisoning Attacks in the Context of
Semi-Supervised Learning [5.417264344115724]
半教師付き学習法は、従来の教師付き学習に必要なラベル付きトレーニングサンプルのごく一部で、高精度な機械学習モデルを訓練することができる。
このような方法は、通常、ラベルのないトレーニングサンプルの綿密なレビューを伴わないため、データ中毒攻撃の標的を誘惑する。
本研究は, 汚染された試料の分布に影響を与える簡易な中毒攻撃が, 極めて効果的であることを示す。
論文 参考訳（メタデータ） (2022-12-05T20:21:31Z) - Holistic Approach to Measure Sample-level Adversarial Vulnerability and
its Utility in Building Trustworthy Systems [17.707594255626216]
敵対的攻撃は、知覚不能な雑音を伴うイメージを摂動させ、誤ったモデル予測をもたらす。
本稿では,異なる視点を組み合わせることで,サンプルの敵対的脆弱性を定量化するための総合的アプローチを提案する。
サンプルレベルで確実に敵の脆弱性を推定することにより、信頼できるシステムを開発できることを実証する。
論文 参考訳（メタデータ） (2022-05-05T12:36:17Z) - Few-shot Forgery Detection via Guided Adversarial Interpolation [56.59499187594308]
既存の偽造検出手法は、見知らぬ新しい偽造手法に適用した場合、大幅な性能低下に悩まされる。
本稿では,数発の偽造検出問題を克服するために,GAI(Guid Adversarial Interpolation)を提案する。
我々の手法は、多数派と少数派の偽造アプローチの選択に対して堅牢であることが検証されている。
論文 参考訳（メタデータ） (2022-04-12T16:05:10Z) - Rethinking Sampling Strategies for Unsupervised Person Re-identification [59.47536050785886]
我々は,同じフレームワーク下での各種サンプリング戦略と損失関数のパフォーマンス差の理由を解析した。
グループサンプリングを提案し、同じクラスのサンプルをグループに集める。
Market-1501、DukeMTMC-reID、MSMT17の実験は、グループサンプリングが最先端の手法に匹敵する性能を達成することを示した。
論文 参考訳（メタデータ） (2021-07-07T05:39:58Z) - Learning and Certification under Instance-targeted Poisoning [49.55596073963654]
インスタンスターゲット中毒攻撃におけるPAC学習性と認証について検討する。
敵の予算がサンプルの複雑さに比例してスケールすると、PACの学習性と認定が達成可能であることを示す。
実データセット上でのK近傍, ロジスティック回帰, 多層パーセプトロン, 畳み込みニューラルネットワークの堅牢性を実証的に検討する。
論文 参考訳（メタデータ） (2021-05-18T17:48:15Z) - Provable Defense Against Delusive Poisoning [64.69220849669948]
本研究は, 対人訓練が妄想性中毒に対する防御法であることを示す。
これは、敵の訓練が妄想的中毒に対する原則的な防御方法であることを意味している。
論文 参考訳（メタデータ） (2021-02-09T09:19:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。