論文の概要: (De-)Randomized Smoothing for Decision Stump Ensembles

• arxiv url: http://arxiv.org/abs/2205.13909v1
• Date: Fri, 27 May 2022 11:23:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-31 00:36:50.107188
• Title: (De-)Randomized Smoothing for Decision Stump Ensembles
• Title（参考訳）: (De-)決定スタンプアンサンブルのためのランダム化平滑化
• Authors: Mikl\'os Z. Horv\'ath, Mark Niklas M\"uller, Marc Fischer, Martin Vechev
• Abstract要約: ツリーベースモデルは、金融や医療など、多くの高度なアプリケーションドメインで使われている。 本稿では,決定スタンプアンサンブルに対する決定論的スムース化を提案する。 決定論的ロバスト性証明は,数値的特徴と分類的特徴を併せ持つものである。
• 参考スコア（独自算出の注目度）: 5.161531917413708
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tree-based models are used in many high-stakes application domains such as finance and medicine, where robustness and interpretability are of utmost importance. Yet, methods for improving and certifying their robustness are severely under-explored, in contrast to those focusing on neural networks. Targeting this important challenge, we propose deterministic smoothing for decision stump ensembles. Whereas most prior work on randomized smoothing focuses on evaluating arbitrary base models approximately under input randomization, the key insight of our work is that decision stump ensembles enable exact yet efficient evaluation via dynamic programming. Importantly, we obtain deterministic robustness certificates, even jointly over numerical and categorical features, a setting ubiquitous in the real world. Further, we derive an MLE-optimal training method for smoothed decision stumps under randomization and propose two boosting approaches to improve their provable robustness. An extensive experimental evaluation shows that our approach yields significantly higher certified accuracies than the state-of-the-art for tree-based models. We release all code and trained models at ANONYMIZED.
• Abstract（参考訳）: ツリーベースのモデルは金融や医療といった多くの高リスクアプリケーションドメインで使われており、堅牢性と解釈性が最も重要である。 しかし、そのロバスト性を改善し、証明する手法は、ニューラルネットワークにフォーカスするものとは対照的に、厳格に検討されていない。 この重要な課題を目標として,決定的スムーズ化を提案する。 ランダム化平滑化に関するこれまでのほとんどの研究は、入力ランダム化に基づく任意のベースモデルの評価に重点を置いていたが、我々の研究の重要な洞察は、決定スタンプアンサンブルが動的プログラミングによる正確かつ効率的な評価を可能にすることである。 重要なのは,実世界においてユビキタスな設定である数値的およびカテゴリー的特徴の上にも,決定論的ロバストネス証明を得ることである。 さらに,ランダム化下の平滑化決定スランプに対するmle-optimal training法を導出し,証明可能なロバスト性を改善するための2つの促進手法を提案する。 広範な実験結果から,本手法は,木ベースモデルにおいて最先端の手法よりも高い認証精度が得られることがわかった。 私たちはANONYMIZEDですべてのコードとトレーニングされたモデルをリリースします。

関連論文リスト

• Rigorous Probabilistic Guarantees for Robust Counterfactual Explanations [80.86128012438834]
  モデルシフトに対する反ファクトの堅牢性を計算することはNP完全であることを示す。 本稿では,頑健性の厳密な推定を高い保証で実現する新しい確率論的手法を提案する。
  論文  参考訳（メタデータ） (2024-07-10T09:13:11Z)
• LoRA-Ensemble: Efficient Uncertainty Modelling for Self-attention Networks [52.46420522934253]
  本稿では,自己注意ネットワークのためのパラメータ効率の高いディープアンサンブル手法であるLoRA-Ensembleを紹介する。 全メンバー間で重みを共有できる1つの事前学習型自己注意ネットワークを利用することで、注意投影のために、メンバー固有の低ランク行列を訓練する。 提案手法は明示的なアンサンブルよりも優れたキャリブレーションを示し,様々な予測タスクやデータセットに対して類似あるいは良好な精度を実現する。
  論文  参考訳（メタデータ） (2024-05-23T11:10:32Z)
• Implicit Generative Prior for Bayesian Neural Networks [8.013264410621357]
  複雑なデータ構造のための新しいニューラルネットワーク型経験ベイズ(NA-EB)フレームワークを提案する。 NA-EBフレームワークは変分推論と勾配上昇アルゴリズムを組み合わせたものである。 各種タスクの広範囲な評価を通じて,本フレームワークの実践的応用を実証する。
  論文  参考訳（メタデータ） (2024-04-27T21:00:38Z)
• Dynamic ensemble selection based on Deep Neural Network Uncertainty Estimation for Adversarial Robustness [7.158144011836533]
  本研究では,動的アンサンブル選択技術を用いてモデルレベルの動的特性について検討する。 トレーニング段階では、ディリクレ分布はサブモデルの予測分布の先行として適用され、パラメータ空間における多様性制約が導入された。 テストフェーズでは、最終的な予測のための不確かさ値のランクに基づいて、特定のサブモデルが動的に選択される。
  論文  参考訳（メタデータ） (2023-08-01T07:41:41Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [50.62245481416744]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• Dynamic Iterative Refinement for Efficient 3D Hand Pose Estimation [87.54604263202941]
  本稿では,従来の推定値の修正に部分的レイヤを反復的に活用する,小さなディープニューラルネットワークを提案する。 学習したゲーティング基準を用いて、ウェイトシェアリングループから抜け出すかどうかを判断し、モデルにサンプルごとの適応を可能にする。 提案手法は,広く使用されているベンチマークの精度と効率の両面から,最先端の2D/3Dハンドポーズ推定手法より一貫して優れている。
  論文  参考訳（メタデータ） (2021-11-11T23:31:34Z)
• Approximate Bayesian Optimisation for Neural Networks [6.921210544516486]
  モデル選択の重要性を強調するために、機械学習アルゴリズムを自動化するための一連の作業が行われた。 理想主義的な方法で解析的トラクタビリティと計算可能性を解決する必要性は、効率と適用性を確保することを可能にしている。
  論文  参考訳（メタデータ） (2021-08-27T19:03:32Z)
• Probabilistic robust linear quadratic regulators with Gaussian processes [73.0364959221845]
  ガウス過程(GP)のような確率モデルは、制御設計に続く使用のためのデータから未知の動的システムを学ぶための強力なツールです。 本稿では、確率的安定性マージンに関して堅牢なコントローラを生成する線形化GPダイナミクスのための新しいコントローラ合成について述べる。
  論文  参考訳（メタデータ） (2021-05-17T08:36:18Z)
• Data-Driven Robust Optimization using Unsupervised Deep Learning [0.0]
  逆問題に対して凸混合整数プログラムとして定式化することにより、トレーニングされたニューラルネットワークをロバストな最適化モデルに統合できることを示す。 このアプローチは、カーネルベースのサポートベクターセットを用いて、同様のアプローチより優れていることが判明した。
  論文  参考訳（メタデータ） (2020-11-19T11:06:54Z)
• A general framework for defining and optimizing robustness [74.67016173858497]
  分類器の様々な種類の堅牢性を定義するための厳密でフレキシブルなフレームワークを提案する。 我々の概念は、分類器の堅牢性は正確性とは無関係な性質と考えるべきであるという仮定に基づいている。 我々は,任意の分類モデルに適用可能な,非常に一般的なロバスト性フレームワークを開発する。
  論文  参考訳（メタデータ） (2020-06-19T13:24:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。