論文の概要: Regularized Robustly Reliable Learners and Instance Targeted Attacks
- arxiv url: http://arxiv.org/abs/2410.10572v1
- Date: Mon, 14 Oct 2024 14:49:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-29 20:45:18.379058
- Title: Regularized Robustly Reliable Learners and Instance Targeted Attacks
- Title(参考訳): ランダムに信頼性のある正規化学習者とインスタンスを標的とした攻撃
- Authors: Avrim Blum, Donya Saless,
- Abstract要約: Balcan et al (2022) は、堅牢で信頼性の高い学習者の概念を定義することによって、この問題に対処するアプローチを提案した。
少なくともある興味深いケースでは、トレーニング時間内にサブリニアで出力を生成できるアルゴリズムを設計できることが示されています。
- 参考スコア(独自算出の注目度): 11.435833538081557
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Instance-targeted data poisoning attacks, where an adversary corrupts a training set to induce errors on specific test points, have raised significant concerns. Balcan et al (2022) proposed an approach to addressing this challenge by defining a notion of robustly-reliable learners that provide per-instance guarantees of correctness under well-defined assumptions, even in the presence of data poisoning attacks. They then give a generic optimal (but computationally inefficient) robustly reliable learner as well as a computationally efficient algorithm for the case of linear separators over log-concave distributions. In this work, we address two challenges left open by Balcan et al (2022). The first is that the definition of robustly-reliable learners in Balcan et al (2022) becomes vacuous for highly-flexible hypothesis classes: if there are two classifiers h_0, h_1 \in H both with zero error on the training set such that h_0(x) \neq h_1(x), then a robustly-reliable learner must abstain on x. We address this problem by defining a modified notion of regularized robustly-reliable learners that allows for nontrivial statements in this case. The second is that the generic algorithm of Balcan et al (2022) requires re-running an ERM oracle (essentially, retraining the classifier) on each test point x, which is generally impractical even if ERM can be implemented efficiently. To tackle this problem, we show that at least in certain interesting cases we can design algorithms that can produce their outputs in time sublinear in training time, by using techniques from dynamic algorithm design.
- Abstract(参考訳): インスタンスをターゲットとしたデータ中毒攻撃では、特定のテストポイントのエラーを誘発するトレーニングセットを敵が破損させ、重大な懸念が持ち上がっている。
Balcan et al (2022) は、データ中毒攻撃があっても、適切に定義された仮定の下で正当性の保証を提供する堅牢で信頼性の高い学習者の概念を定義することによって、この問題に対処するアプローチを提案した。
次に、汎用的な最適(しかし計算的に非効率)な学習者と、対数凹面分布上の線形分離器の場合の計算効率のよいアルゴリズムを与える。
本研究では,Balcan et al (2022) が残した2つの課題に対処する。
1つは、バルカンやアル(2022)における強信頼可能な学習者の定義が、高フレキシブルな仮説クラスに対して空となることである: もし2つの分類器 h_0, h_1 \in H が存在し、どちらも訓練セット上のゼロ誤差を持ち、h_0(x) \neq h_1(x) であるなら、強信頼な学習者は x を棄却しなければならない。
本稿では,非自明な文を許容する正規化頑健な学習者の修正概念を定義することで,この問題に対処する。
第二に、Balcan et al (2022) の一般的なアルゴリズムでは、各テストポイント x 上で ERM のオラクルを再実行(本質的には、分類器を再訓練)する必要がある。
この問題に対処するために、少なくともある興味深いケースでは、動的アルゴリズム設計の技術を用いて、トレーニング時間内に出力をサブ線形に生成できるアルゴリズムを設計できることを示す。
関連論文リスト
- Probably Approximately Precision and Recall Learning [62.912015491907994]
精度とリコールは機械学習の基本的な指標である。
一方的なフィードバック – トレーニング中にのみ肯定的な例が観察される – は,多くの実践的な問題に固有のものだ。
PAC学習フレームワークでは,各仮説をグラフで表現し,エッジは肯定的な相互作用を示す。
論文 参考訳(メタデータ) (2024-11-20T04:21:07Z) - A Hard-to-Beat Baseline for Training-free CLIP-based Adaptation [121.0693322732454]
対照的に、CLIP(Contrastive Language- Image Pretraining)はその目覚ましいゼロショット能力で人気を集めている。
近年の研究では、下流タスクにおけるCLIPの性能を高めるための効率的な微調整手法の開発に焦点が当てられている。
従来のアルゴリズムであるガウス判別分析(GDA)を再検討し,CLIPの下流分類に適用する。
論文 参考訳(メタデータ) (2024-02-06T15:45:27Z) - Agnostic Multi-Robust Learning Using ERM [19.313739782029185]
頑健な学習における根本的な問題は非対称性である: 学習者は指数関数的に多くの摂動の全てを正しく分類する必要がある。
これとは対照的に、攻撃者は1つの摂動を成功させる必要がある。
本稿では,新しいマルチグループ設定を導入し,新しいマルチロバスト学習問題を提案する。
論文 参考訳(メタデータ) (2023-03-15T21:30:14Z) - Toward Theoretical Guidance for Two Common Questions in Practical
Cross-Validation based Hyperparameter Selection [72.76113104079678]
クロスバリデーションに基づくハイパーパラメータ選択における2つの一般的な質問に対する最初の理論的治療について述べる。
これらの一般化は、少なくとも、常に再トレーニングを行うか、再トレーニングを行わないかを常に実行可能であることを示す。
論文 参考訳(メタデータ) (2023-01-12T16:37:12Z) - Don't Explain Noise: Robust Counterfactuals for Randomized Ensembles [50.81061839052459]
我々は確率論的問題として、堅牢な対実的説明の生成を定式化する。
アンサンブルモデルのロバスト性とベース学習者のロバスト性との関係を示す。
本手法は, 反実的説明から初期観測までの距離をわずかに増加させるだけで, 高いロバスト性を実現する。
論文 参考訳(メタデータ) (2022-05-27T17:28:54Z) - Robustly-reliable learners under poisoning attacks [38.55373038919402]
複数の軸にまたがる攻撃に直面して強靭性を保証する方法を示す。
我々は、敵が所定の汚職予算を超過していない限り、予測されたラベルが正しいことが保証される、信頼性の高い予測を提供する。
注目すべきは、この設定における学習可能性の完全な特徴付け、特に、認定可能な領域上の上と下の境界にほぼ整合するものである。
論文 参考訳(メタデータ) (2022-03-08T15:43:33Z) - Reachable Sets of Classifiers and Regression Models: (Non-)Robustness
Analysis and Robust Training [1.0878040851638]
分類器と回帰モデルの両方の頑健性特性を解析・拡張する。
具体的には、(非)難易度を検証し、堅牢なトレーニング手順を提案し、我々のアプローチが敵攻撃よりも優れていることを示す。
第2に、ラベル付けされていない入力に対する信頼できない予測と信頼できない予測を区別し、各特徴が予測に与える影響を定量化し、特徴ランキングを計算する技術を提供する。
論文 参考訳(メタデータ) (2020-07-28T10:58:06Z) - Progressive Identification of True Labels for Partial-Label Learning [112.94467491335611]
部分ラベル学習(Partial-label Learning, PLL)は、典型的な弱教師付き学習問題であり、各トレーニングインスタンスには、真のラベルである候補ラベルのセットが設けられている。
既存のほとんどの手法は、特定の方法で解決しなければならない制約付き最適化として精巧に設計されており、計算複雑性をビッグデータにスケールアップするボトルネックにしている。
本稿では,モデルと最適化アルゴリズムの柔軟性を備えた分類器の新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2020-02-19T08:35:15Z) - Regularized Training and Tight Certification for Randomized Smoothed
Classifier with Provable Robustness [15.38718018477333]
我々は新たな正規化リスクを導出し、正規化器はスムーズな手法の精度と堅牢性を適応的に促進することができる。
また、正規化効果を利用して、高い確率で保持されるより厳密なロバスト性の下限を提供する新しい認証アルゴリズムを設計する。
論文 参考訳(メタデータ) (2020-02-17T20:54:34Z) - Certified Robustness to Label-Flipping Attacks via Randomized Smoothing [105.91827623768724]
機械学習アルゴリズムは、データ中毒攻撃の影響を受けやすい。
任意の関数に対するランダム化スムージングの統一的なビューを示す。
本稿では,一般的なデータ中毒攻撃に対して,ポイントワイズで確実に堅牢な分類器を構築するための新しい戦略を提案する。
論文 参考訳(メタデータ) (2020-02-07T21:28:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。