論文の概要: Verifiable Boosted Tree Ensembles
- arxiv url: http://arxiv.org/abs/2402.14988v1
- Date: Thu, 22 Feb 2024 21:56:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-26 16:21:02.911671
- Title: Verifiable Boosted Tree Ensembles
- Title(参考訳): 検証可能なブーストツリーアンサンブル
- Authors: Stefano Calzavara, Lorenzo Cazzaro, Claudio Lucchese, Giulio Ermanno
Pibiri
- Abstract要約: 検証可能な学習支持者は、効率的なセキュリティ検証が可能な機械学習モデルをトレーニングする。
本研究は,基本アンサンブル法による検証学習の先行研究を拡張した。
我々は,$L_in$-normに基づいて,攻撃者に対するロバスト性を検証するための擬似多項式時間アルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 7.107477567356262
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Verifiable learning advocates for training machine learning models amenable
to efficient security verification. Prior research demonstrated that specific
classes of decision tree ensembles -- called large-spread ensembles -- allow
for robustness verification in polynomial time against any norm-based attacker.
This study expands prior work on verifiable learning from basic ensemble
methods (i.e., hard majority voting) to advanced boosted tree ensembles, such
as those trained using XGBoost or LightGBM. Our formal results indicate that
robustness verification is achievable in polynomial time when considering
attackers based on the $L_\infty$-norm, but remains NP-hard for other
norm-based attackers. Nevertheless, we present a pseudo-polynomial time
algorithm to verify robustness against attackers based on the $L_p$-norm for
any $p \in \mathbb{N} \cup \{0\}$, which in practice grants excellent
performance. Our experimental evaluation shows that large-spread boosted
ensembles are accurate enough for practical adoption, while being amenable to
efficient security verification.
- Abstract(参考訳): 検証可能な学習支持者は、効率的なセキュリティ検証が可能な機械学習モデルをトレーニングする。
以前の研究では、決定木アンサンブルの特定のクラス、すなわち大きなスプレッドアンサンブルは、ノルムベースの攻撃者に対して多項式時間における堅牢性検証を可能にすることが示されていた。
本研究は,XGBoost や LightGBM を用いた学習など,基本的なアンサンブル法(ハードマジョリティ投票)から高度に強化されたツリーアンサンブルへの検証のための先行研究を拡張する。
公式な結果は,$l_\infty$-normに基づく攻撃を考慮すれば,多項式時間でロバスト性検証が達成可能であることを示している。
それでも、任意の$p \in \mathbb{n} \cup \{0\}$に対する$l_p$-normに基づいて攻撃者に対する堅牢性を検証する擬似多項時間アルゴリズムを提案する。
実験により, 大規模アンサンブルの精度は, 安全性検証に有効でありながら, 実用化には十分であることがわかった。
関連論文リスト
- Multiclass Boosting: Simple and Intuitive Weak Learning Criteria [72.71096438538254]
実現可能性の仮定を必要としない,単純かつ効率的なブースティングアルゴリズムを提案する。
本稿では,リスト学習者の向上に関する新たな結果と,マルチクラスPAC学習の特徴付けのための新しい証明を提案する。
論文 参考訳(メタデータ) (2023-07-02T19:26:58Z) - Verifiable Learning for Robust Tree Ensembles [8.207928136395184]
大規模分散アンサンブルと呼ばれる決定ツリーアンサンブルのクラスは、制限された時間で実行されるセキュリティ検証アルゴリズムを認めている。
我々は、ラベル付きデータから大規模決定木を自動学習する新しいトレーニングアルゴリズムを設計することで、このアイデアの利点を示す。
公開データセットの実験結果から,我々のアルゴリズムを用いてトレーニングした大域的なアンサンブルを数秒で検証できることを確認した。
論文 参考訳(メタデータ) (2023-05-05T15:37:23Z) - A Stable, Fast, and Fully Automatic Learning Algorithm for Predictive
Coding Networks [65.34977803841007]
予測符号化ネットワークは、ベイズ統計学と神経科学の両方にルーツを持つ神経科学にインスパイアされたモデルである。
シナプス重みに対する更新規則の時間的スケジュールを変更するだけで、元の規則よりもずっと効率的で安定したアルゴリズムが得られることを示す。
論文 参考訳(メタデータ) (2022-11-16T00:11:04Z) - Adversarial Vulnerability of Randomized Ensembles [12.082239973914326]
ランダム化アンサンブルは、通常のATモデルよりも、知覚不能な逆方向の摂動に対して脆弱であることを示す。
本稿では,適応PGDが実現しなかった場合においても,ランダムアンサンブルを再現できる理論的・効率的な攻撃アルゴリズム(ARC)を提案する。
論文 参考訳(メタデータ) (2022-06-14T10:37:58Z) - Scalable Whitebox Attacks on Tree-based Models [2.3186641356561646]
本稿では,木アンサンブルモデルに対する新しいホワイトボックス対逆ロバスト性試験手法を提案する。
サンプリングとログデリバティブのトリックを活用することで、提案手法は以前管理不能だったタスクのテストまでスケールアップできる。
論文 参考訳(メタデータ) (2022-03-31T21:36:20Z) - Policy Smoothing for Provably Robust Reinforcement Learning [109.90239627115336]
入力のノルム有界対向摂動に対する強化学習の証明可能な堅牢性について検討する。
我々は、スムーズなポリシーによって得られる全報酬が、入力の摂動のノルムバウンドな逆数の下で一定の閾値以下に収まらないことを保証した証明書を生成する。
論文 参考訳(メタデータ) (2021-06-21T21:42:08Z) - Robustness, Privacy, and Generalization of Adversarial Training [84.38148845727446]
本稿では, 対人訓練におけるプライバシ・ロバスト性トレードオフと一般化・ロバスト性トレードオフの確立と定量化を行う。
我々は,差分プライバシの大きさが強固な強度と正の相関を持つ場合,敵対的トレーニングは$(varepsilon,delta)$-differentially privateであることが示される。
我々の一般化境界は、ディープラーニングにおいて大きなパラメータサイズに明示的に依存していない。
論文 参考訳(メタデータ) (2020-12-25T13:35:02Z) - On $\ell_p$-norm Robustness of Ensemble Stumps and Trees [83.81523991945018]
我々は,アンサンブルスタンプの音響検証のための効率的なプログラムベースアルゴリズムを開発した。
我々は,アンサンブル・スタンプや木を訓練するための最初の認証された防御法を,$ell_p$ノルム摂動に関して実証した。
論文 参考訳(メタデータ) (2020-08-20T03:42:40Z) - Regularized Training and Tight Certification for Randomized Smoothed
Classifier with Provable Robustness [15.38718018477333]
我々は新たな正規化リスクを導出し、正規化器はスムーズな手法の精度と堅牢性を適応的に促進することができる。
また、正規化効果を利用して、高い確率で保持されるより厳密なロバスト性の下限を提供する新しい認証アルゴリズムを設計する。
論文 参考訳(メタデータ) (2020-02-17T20:54:34Z) - Certified Robustness to Label-Flipping Attacks via Randomized Smoothing [105.91827623768724]
機械学習アルゴリズムは、データ中毒攻撃の影響を受けやすい。
任意の関数に対するランダム化スムージングの統一的なビューを示す。
本稿では,一般的なデータ中毒攻撃に対して,ポイントワイズで確実に堅牢な分類器を構築するための新しい戦略を提案する。
論文 参考訳(メタデータ) (2020-02-07T21:28:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。