論文の概要: (De-)Randomized Smoothing for Decision Stump Ensembles
- arxiv url: http://arxiv.org/abs/2205.13909v1
- Date: Fri, 27 May 2022 11:23:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-31 00:36:50.107188
- Title: (De-)Randomized Smoothing for Decision Stump Ensembles
- Title(参考訳): (De-)決定スタンプアンサンブルのためのランダム化平滑化
- Authors: Mikl\'os Z. Horv\'ath, Mark Niklas M\"uller, Marc Fischer, Martin
Vechev
- Abstract要約: ツリーベースモデルは、金融や医療など、多くの高度なアプリケーションドメインで使われている。
本稿では,決定スタンプアンサンブルに対する決定論的スムース化を提案する。
決定論的ロバスト性証明は,数値的特徴と分類的特徴を併せ持つものである。
- 参考スコア(独自算出の注目度): 5.161531917413708
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Tree-based models are used in many high-stakes application domains such as
finance and medicine, where robustness and interpretability are of utmost
importance. Yet, methods for improving and certifying their robustness are
severely under-explored, in contrast to those focusing on neural networks.
Targeting this important challenge, we propose deterministic smoothing for
decision stump ensembles. Whereas most prior work on randomized smoothing
focuses on evaluating arbitrary base models approximately under input
randomization, the key insight of our work is that decision stump ensembles
enable exact yet efficient evaluation via dynamic programming. Importantly, we
obtain deterministic robustness certificates, even jointly over numerical and
categorical features, a setting ubiquitous in the real world. Further, we
derive an MLE-optimal training method for smoothed decision stumps under
randomization and propose two boosting approaches to improve their provable
robustness. An extensive experimental evaluation shows that our approach yields
significantly higher certified accuracies than the state-of-the-art for
tree-based models. We release all code and trained models at ANONYMIZED.
- Abstract(参考訳): ツリーベースのモデルは金融や医療といった多くの高リスクアプリケーションドメインで使われており、堅牢性と解釈性が最も重要である。
しかし、そのロバスト性を改善し、証明する手法は、ニューラルネットワークにフォーカスするものとは対照的に、厳格に検討されていない。
この重要な課題を目標として,決定的スムーズ化を提案する。
ランダム化平滑化に関するこれまでのほとんどの研究は、入力ランダム化に基づく任意のベースモデルの評価に重点を置いていたが、我々の研究の重要な洞察は、決定スタンプアンサンブルが動的プログラミングによる正確かつ効率的な評価を可能にすることである。
重要なのは,実世界においてユビキタスな設定である数値的およびカテゴリー的特徴の上にも,決定論的ロバストネス証明を得ることである。
さらに,ランダム化下の平滑化決定スランプに対するmle-optimal training法を導出し,証明可能なロバスト性を改善するための2つの促進手法を提案する。
広範な実験結果から,本手法は,木ベースモデルにおいて最先端の手法よりも高い認証精度が得られることがわかった。
私たちはANONYMIZEDですべてのコードとトレーニングされたモデルをリリースします。
関連論文リスト
- Leveraging Uncertainty Estimates To Improve Classifier Performance [4.4951754159063295]
バイナリ分類では、正のクラスのモデルスコアが、アプリケーション要求に基づいて選択されたしきい値を超えるかどうかに基づいて、インスタンスのラベルを予測する。
しかし、モデルスコアは真の肯定率と一致しないことが多い。
これは特に、クラス間の差分サンプリングを含むトレーニングや、トレインとテスト設定間の分散ドリフトがある場合に当てはまる。
論文 参考訳(メタデータ) (2023-11-20T12:40:25Z) - Distributionally Robust Model-based Reinforcement Learning with Large
State Spaces [55.14361269378122]
強化学習における3つの大きな課題は、大きな状態空間を持つ複雑な力学系、コストのかかるデータ取得プロセス、トレーニング環境の展開から現実の力学を逸脱させることである。
広範に用いられているKullback-Leibler, chi-square, および全変分不確実性集合の下で, 連続状態空間を持つ分布ロバストなマルコフ決定過程について検討した。
本稿では,ガウス過程と最大分散削減アルゴリズムを用いて,多出力名目遷移力学を効率的に学習するモデルベースアプローチを提案する。
論文 参考訳(メタデータ) (2023-09-05T13:42:11Z) - Dynamic ensemble selection based on Deep Neural Network Uncertainty
Estimation for Adversarial Robustness [7.158144011836533]
本研究では,動的アンサンブル選択技術を用いてモデルレベルの動的特性について検討する。
トレーニング段階では、ディリクレ分布はサブモデルの予測分布の先行として適用され、パラメータ空間における多様性制約が導入された。
テストフェーズでは、最終的な予測のための不確かさ値のランクに基づいて、特定のサブモデルが動的に選択される。
論文 参考訳(メタデータ) (2023-08-01T07:41:41Z) - Preserving Knowledge Invariance: Rethinking Robustness Evaluation of
Open Information Extraction [50.62245481416744]
実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。
我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。
さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
論文 参考訳(メタデータ) (2023-05-23T12:05:09Z) - On Uncertainty Calibration and Selective Generation in Probabilistic
Neural Summarization: A Benchmark Study [14.041071717005362]
要約のための最新のディープモデルは、優れたベンチマーク性能を得るが、誤校正された予測の不確実性を生成する傾向にある。
これは、低品質の予測に高い信頼性を割り当て、現実世界のアプリケーションにおける信頼性と信頼性を損なうことを意味する。
確率的深層学習法は誤校正問題の一般的な解法であるが, 複雑な自己回帰的要約タスクにおける相対的有効性はよく理解されていない。
論文 参考訳(メタデータ) (2023-04-17T23:06:28Z) - Dynamic Iterative Refinement for Efficient 3D Hand Pose Estimation [87.54604263202941]
本稿では,従来の推定値の修正に部分的レイヤを反復的に活用する,小さなディープニューラルネットワークを提案する。
学習したゲーティング基準を用いて、ウェイトシェアリングループから抜け出すかどうかを判断し、モデルにサンプルごとの適応を可能にする。
提案手法は,広く使用されているベンチマークの精度と効率の両面から,最先端の2D/3Dハンドポーズ推定手法より一貫して優れている。
論文 参考訳(メタデータ) (2021-11-11T23:31:34Z) - Approximate Bayesian Optimisation for Neural Networks [6.921210544516486]
モデル選択の重要性を強調するために、機械学習アルゴリズムを自動化するための一連の作業が行われた。
理想主義的な方法で解析的トラクタビリティと計算可能性を解決する必要性は、効率と適用性を確保することを可能にしている。
論文 参考訳(メタデータ) (2021-08-27T19:03:32Z) - Probabilistic robust linear quadratic regulators with Gaussian processes [73.0364959221845]
ガウス過程(GP)のような確率モデルは、制御設計に続く使用のためのデータから未知の動的システムを学ぶための強力なツールです。
本稿では、確率的安定性マージンに関して堅牢なコントローラを生成する線形化GPダイナミクスのための新しいコントローラ合成について述べる。
論文 参考訳(メタデータ) (2021-05-17T08:36:18Z) - Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。
このアプローチは多くの実装と最適化の課題をもたらします。
提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
論文 参考訳(メタデータ) (2021-03-18T14:26:26Z) - Data-Driven Robust Optimization using Unsupervised Deep Learning [0.0]
逆問題に対して凸混合整数プログラムとして定式化することにより、トレーニングされたニューラルネットワークをロバストな最適化モデルに統合できることを示す。
このアプローチは、カーネルベースのサポートベクターセットを用いて、同様のアプローチより優れていることが判明した。
論文 参考訳(メタデータ) (2020-11-19T11:06:54Z) - A general framework for defining and optimizing robustness [74.67016173858497]
分類器の様々な種類の堅牢性を定義するための厳密でフレキシブルなフレームワークを提案する。
我々の概念は、分類器の堅牢性は正確性とは無関係な性質と考えるべきであるという仮定に基づいている。
我々は,任意の分類モデルに適用可能な,非常に一般的なロバスト性フレームワークを開発する。
論文 参考訳(メタデータ) (2020-06-19T13:24:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。