論文の概要: TabularBench: Benchmarking Adversarial Robustness for Tabular Deep Learning in Real-world Use-cases
- arxiv url: http://arxiv.org/abs/2408.07579v1
- Date: Wed, 14 Aug 2024 14:23:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-15 13:03:36.488435
- Title: TabularBench: Benchmarking Adversarial Robustness for Tabular Deep Learning in Real-world Use-cases
- Title(参考訳): TabularBench: 現実のユースケースにおけるタブラルディープラーニングのための逆ロバストネスのベンチマーク
- Authors: Thibault Simonetto, Salah Ghamizi, Maxime Cordy,
- Abstract要約: TabularBenchは、ディープラーニング分類モデルの堅牢性に関する最初の包括的なベンチマークである。
コンピュータビジョンにおける最先端の防御にインスパイアされた7つのロバスト化機構を実装した。
私たちはユースケースごとに実際のデータセットをキュレートし、何十万ものリアルな合成入力で強化しました。
- 参考スコア(独自算出の注目度): 12.641656743760874
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While adversarial robustness in computer vision is a mature research field, fewer researchers have tackled the evasion attacks against tabular deep learning, and even fewer investigated robustification mechanisms and reliable defenses. We hypothesize that this lag in the research on tabular adversarial attacks is in part due to the lack of standardized benchmarks. To fill this gap, we propose TabularBench, the first comprehensive benchmark of robustness of tabular deep learning classification models. We evaluated adversarial robustness with CAA, an ensemble of gradient and search attacks which was recently demonstrated as the most effective attack against a tabular model. In addition to our open benchmark (https://github.com/serval-uni-lu/tabularbench) where we welcome submissions of new models and defenses, we implement 7 robustification mechanisms inspired by state-of-the-art defenses in computer vision and propose the largest benchmark of robust tabular deep learning over 200 models across five critical scenarios in finance, healthcare and security. We curated real datasets for each use case, augmented with hundreds of thousands of realistic synthetic inputs, and trained and assessed our models with and without data augmentations. We open-source our library that provides API access to all our pre-trained robust tabular models, and the largest datasets of real and synthetic tabular inputs. Finally, we analyze the impact of various defenses on the robustness and provide actionable insights to design new defenses and robustification mechanisms.
- Abstract(参考訳): コンピュータビジョンにおける敵対的堅牢性は、成熟した研究分野であるが、表層深層学習に対する回避攻撃に取り組む研究者は少ない。
表層攻撃の研究におけるこの遅れは、標準化されたベンチマークの欠如によるものであると仮定する。
このギャップを埋めるために,表層深層学習分類モデルの堅牢性に関する最初の総合的なベンチマークであるTabularBenchを提案する。
表層モデルに対する最も効果的な攻撃として最近実証された勾配と探索攻撃のアンサンブルであるCAAを用いた対向ロバスト性の評価を行った。
新たなモデルとディフェンスの提出を歓迎するオープンベンチマーク(https://github.com/serval-uni-lu/tabularbench)に加えて、コンピュータビジョンにおける最先端のディフェンスにインスパイアされた7つのロバスト化メカニズムを実装し、ファイナンス、ヘルスケア、セキュリティの5つの重要なシナリオで200モデルを超える堅牢なタブラーディープラーニングのベンチマークを提案する。
ユースケース毎に実際のデータセットをキュレートし、数十万のリアルな合成入力で強化し、データ拡張なしでモデルをトレーニングし、評価しました。
トレーニング済みの堅牢なタブモデルのすべてにAPIアクセスを提供するライブラリをオープンソースとして公開しています。
最後に, 各種防御がロバスト性に与える影響を分析し, 新たな防御機構とロバスト化機構を設計するための実用的な洞察を提供する。
関連論文リスト
- Constrained Adaptive Attack: Effective Adversarial Attack Against Deep Neural Networks for Tabular Data [12.641656743760874]
そこで本研究では,適応機構による既存の勾配攻撃の障害を克服する勾配攻撃を提案する。
また、CAPGD攻撃と最高の検索ベース攻撃であるMOEVAを組み合わせた効率的な回避攻撃であるCAAを設計する。
私たちの実証研究は、CAAが既存の攻撃を20以上の設定で17で上回っていることを実証しています。
論文 参考訳(メタデータ) (2024-06-02T15:26:52Z) - Constrained Adaptive Attacks: Realistic Evaluation of Adversarial
Examples and Robust Training of Deep Neural Networks for Tabular Data [19.579837693614326]
本稿では,制約付きディープラーニングモデルに対する最初の効率的な回避攻撃であるCAAを提案する。
CAAを活用して、クレジットスコア、フィッシング、ボットネット攻撃検出という3つの一般的なユースケースにわたる、ディープタブモデルのベンチマークを構築します。
論文 参考訳(メタデータ) (2023-11-08T07:35:28Z) - Designing an attack-defense game: how to increase robustness of
financial transaction models via a competition [69.08339915577206]
金融セクターにおける悪意ある攻撃のエスカレートリスクを考えると、機械学習モデルの敵戦略と堅牢な防御メカニズムを理解することが重要である。
本研究の目的は、逐次的な財務データを入力として使用するニューラルネットワークモデルに対する敵攻撃と防御の現状とダイナミクスを調査することである。
我々は、現代の金融取引データにおける問題の現実的かつ詳細な調査を可能にする競争を設計した。
参加者は直接対決するので、実生活に近い環境で攻撃や防御が検討される。
論文 参考訳(メタデータ) (2023-08-22T12:53:09Z) - On the Robustness of Aspect-based Sentiment Analysis: Rethinking Model,
Data, and Training [109.9218185711916]
アスペクトベースの感情分析(ABSA)は、ソーシャルメディアのテキストやレビューの背後にある製品やサービスの特定の側面に対して、特定の感情の極性を自動的に推測することを目的としている。
我々は、モデル、データ、トレーニングを含むあらゆる可能な角度からボトルネックを体系的に再考することで、ABSAの堅牢性を高めることを提案する。
論文 参考訳(メタデータ) (2023-04-19T11:07:43Z) - RelaxLoss: Defending Membership Inference Attacks without Losing Utility [68.48117818874155]
より達成可能な学習目標を持つ緩和された損失に基づく新しい学習フレームワークを提案する。
RelaxLossは、簡単な実装と無視可能なオーバーヘッドのメリットを加えた任意の分類モデルに適用できる。
当社のアプローチはMIAに対するレジリエンスの観点から,常に最先端の防御機構より優れています。
論文 参考訳(メタデータ) (2022-07-12T19:34:47Z) - A Unified Evaluation of Textual Backdoor Learning: Frameworks and
Benchmarks [72.7373468905418]
我々は,テキストバックドア学習の実装と評価を促進するオープンソースツールキットOpenBackdoorを開発した。
また,単純なクラスタリングに基づく防御ベースラインであるCUBEを提案する。
論文 参考訳(メタデータ) (2022-06-17T02:29:23Z) - A Comprehensive Evaluation Framework for Deep Model Robustness [44.20580847861682]
ディープニューラルネットワーク(DNN)は、幅広いアプリケーションで顕著なパフォーマンスを達成しています。
彼らは敵の防御を動機付ける敵の例に弱い。
本稿では,包括的で厳密で一貫性のある評価指標を含むモデル評価フレームワークを提案する。
論文 参考訳(メタデータ) (2021-01-24T01:04:25Z) - Voting based ensemble improves robustness of defensive models [82.70303474487105]
我々は、より堅牢性を高めるためのアンサンブルを作ることができるかどうか研究する。
最先端の先制防衛モデルを複数組み合わせることで,59.8%の堅牢な精度を達成できる。
論文 参考訳(メタデータ) (2020-11-28T00:08:45Z) - RobustBench: a standardized adversarial robustness benchmark [84.50044645539305]
ロバストネスのベンチマークにおける主な課題は、その評価がしばしばエラーを起こし、ロバストネス過大評価につながることである。
我々は,白箱攻撃と黒箱攻撃のアンサンブルであるAutoAttackを用いて,敵対的ロバスト性を評価する。
分散シフト,キャリブレーション,アウト・オブ・ディストリビューション検出,フェアネス,プライバシリーク,スムースネス,転送性に対するロバスト性の影響を解析した。
論文 参考訳(メタデータ) (2020-10-19T17:06:18Z) - Benchmarking Robustness of Machine Reading Comprehension Models [29.659586787812106]
我々は,4種類の敵攻撃下でのMRCモデルのロバスト性を評価するためのモデルに依存しない新しいベンチマークAdvRACEを構築した。
最新のSOTA(State-of-the-art)モデルがこれらすべての攻撃に対して脆弱であることを示す。
我々は、より堅牢なMCCモデルを構築する余地があることを結論し、我々のベンチマークはこの分野の進歩を動機づけ、測定するのに役立ちます。
論文 参考訳(メタデータ) (2020-04-29T08:05:32Z) - RAB: Provable Robustness Against Backdoor Attacks [20.702977915926787]
我々は、一般的な脅威モデル、特にバックドアアタックに対して、機械学習モデルの堅牢性を証明することに重点を置いている。
トレーニングモデルをスムースにし,バックドア攻撃に対する堅牢性を証明するための,最初の堅牢なトレーニングプロセスであるRABを提案する。
我々は、さまざまな機械学習(ML)モデルに対する包括的な実験を行い、バックドア攻撃に対する信頼性の高い堅牢性を示す最初のベンチマークを提供する。
論文 参考訳(メタデータ) (2020-03-19T17:05:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。