論文の概要: Coevolutionary Algorithm for Building Robust Decision Trees under
Minimax Regret
- arxiv url: http://arxiv.org/abs/2312.09078v1
- Date: Thu, 14 Dec 2023 16:12:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-15 21:01:55.383243
- Title: Coevolutionary Algorithm for Building Robust Decision Trees under
Minimax Regret
- Title(参考訳): ミニマックスレグレットに基づくロバスト決定木構築のための進化的アルゴリズム
- Authors: Adam \.Zychowski, Andrew Perrault, Jacek Ma\'ndziuk
- Abstract要約: 本稿では、堅牢なアルゴリズム決定木(DT)を作成するために設計された新しい共進化アルゴリズム(CoEvoRDT)を提案する。
従来のDTアルゴリズムの制限により、適応的共進化を利用してDTを進化させ、摂動入力データとの相互作用から学習する。
CoEvoRDTは20の一般的なデータセットでテストされており、4つの最先端アルゴリズムよりも優れたパフォーマンスを示している。
- 参考スコア(独自算出の注目度): 12.72963164625931
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent years, there has been growing interest in developing robust machine
learning (ML) models that can withstand adversarial attacks, including one of
the most widely adopted, efficient, and interpretable ML algorithms-decision
trees (DTs). This paper proposes a novel coevolutionary algorithm (CoEvoRDT)
designed to create robust DTs capable of handling noisy high-dimensional data
in adversarial contexts. Motivated by the limitations of traditional DT
algorithms, we leverage adaptive coevolution to allow DTs to evolve and learn
from interactions with perturbed input data. CoEvoRDT alternately evolves
competing populations of DTs and perturbed features, enabling construction of
DTs with desired properties. CoEvoRDT is easily adaptable to various target
metrics, allowing the use of tailored robustness criteria such as minimax
regret. Furthermore, CoEvoRDT has potential to improve the results of other
state-of-the-art methods by incorporating their outcomes (DTs they produce)
into the initial population and optimize them in the process of coevolution.
Inspired by the game theory, CoEvoRDT utilizes mixed Nash equilibrium to
enhance convergence. The method is tested on 20 popular datasets and shows
superior performance compared to 4 state-of-the-art algorithms. It outperformed
all competing methods on 13 datasets with adversarial accuracy metrics, and on
all 20 considered datasets with minimax regret. Strong experimental results and
flexibility in choosing the error measure make CoEvoRDT a promising approach
for constructing robust DTs in real-world applications.
- Abstract(参考訳): 近年、最も広く採用され、効率的かつ解釈可能なMLアルゴリズム決定木(DT)を含む、敵攻撃に耐えられる堅牢な機械学習(ML)モデルの開発への関心が高まっている。
本稿では,雑音の多い高次元データを逆文脈で処理可能なロバストdtを生成するための新しい共進化アルゴリズム(coevordt)を提案する。
従来のDTアルゴリズムの制限により、適応的共進化を利用してDTを進化させ、摂動入力データとの相互作用から学習する。
CoEvoRDTは競合するDTと摂動特性を交互に進化させ、所望の特性を持つDTの構築を可能にする。
CoEvoRDTは、様々なターゲットメトリクスに容易に適応でき、minimax regretのような調整された堅牢性基準を使用することができる。
さらに、CoEvoRDTは、その成果(DT)を初期集団に組み込んで、共進化の過程でそれらを最適化することで、他の最先端手法の結果を改善する可能性がある。
ゲーム理論に触発されて、CoEvoRDTは混合ナッシュ平衡を利用して収束を高める。
この方法は20の一般的なデータセットでテストされ、4つの最先端アルゴリズムよりも優れたパフォーマンスを示している。
これは、逆精度の指標を持つ13のデータセットと、ミニマックスの後悔を持つ20のデータセットで競合するすべてのメソッドを上回った。
強力な実験結果とエラー測定値の選択の柔軟性により、coevordtは実世界のアプリケーションで堅牢なdtsを構築するための有望なアプローチとなる。
関連論文リスト
- The effect of data augmentation and 3D-CNN depth on Alzheimer's Disease
detection [51.697248252191265]
この研究は、データハンドリング、実験設計、モデル評価に関するベストプラクティスを要約し、厳密に観察する。
我々は、アルツハイマー病(AD)の検出に焦点を当て、医療における課題のパラダイム的な例として機能する。
このフレームワークでは,3つの異なるデータ拡張戦略と5つの異なる3D CNNアーキテクチャを考慮し,予測15モデルを訓練する。
論文 参考訳(メタデータ) (2023-09-13T10:40:41Z) - Enhancing Robustness of Gradient-Boosted Decision Trees through One-Hot
Encoding and Regularization [10.942447664917061]
GBDTモデルを1つのダミー変数に1つの木葉を符号化することで,1ホット符号化を用いて線形フレームワークに変換する。
これにより線形回帰法が利用可能となり、GBDTモデルのロバスト性を評価する新たなリスク分解が可能となった。
数値実験により,提案手法は1ホット符号化GBDTモデルのロバスト性を高めることができることを示した。
論文 参考訳(メタデータ) (2023-04-26T18:04:16Z) - Towards Robust Dataset Learning [90.2590325441068]
本稿では,頑健なデータセット学習問題を定式化するための三段階最適化法を提案する。
ロバストな特徴と非ロバストな特徴を特徴付ける抽象モデルの下で,提案手法はロバストなデータセットを確実に学習する。
論文 参考訳(メタデータ) (2022-11-19T17:06:10Z) - Adaptive Step-Size Methods for Compressed SGD [15.32764898836189]
分散および分散化ネットワークにおける通信ボトルネックに対処するために,圧縮分散型グラディエント Descent (SGD) アルゴリズムが最近提案されている。
我々は、圧縮データセットの順序収束率を確立するために使用するスケーリングステップを導入する。
実世界のデータセットに対する実験結果を示す。
論文 参考訳(メタデータ) (2022-07-20T17:20:58Z) - Truncated tensor Schatten p-norm based approach for spatiotemporal
traffic data imputation with complicated missing patterns [77.34726150561087]
本研究は, モード駆動繊維による3症例の欠失を含む, 4症例の欠失パターンについて紹介する。
本モデルでは, 目的関数の非性にもかかわらず, 乗算器の交互データ演算法を統合することにより, 最適解を導出する。
論文 参考訳(メタデータ) (2022-05-19T08:37:56Z) - Parameter estimation for WMTI-Watson model of white matter using
encoder-decoder recurrent neural network [0.0]
本研究では,ラットおよびヒト脳のデータセット上でのNLLS,RNN法および多層パーセプトロン(MLP)の性能を評価する。
提案手法は,NLLSよりも計算時間を大幅に短縮できるという利点を示した。
論文 参考訳(メタデータ) (2022-03-01T16:33:15Z) - Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge
Computing: A Contextual-Bandit Approach [81.5261621619557]
階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。
まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。
そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
論文 参考訳(メタデータ) (2021-08-09T08:45:47Z) - Fast Distributionally Robust Learning with Variance Reduced Min-Max
Optimization [85.84019017587477]
分散的ロバストな教師付き学習は、現実世界のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場している。
Wasserstein DRSLを解くための既存のアルゴリズムは、複雑なサブプロブレムを解くか、勾配を利用するのに失敗する。
我々はmin-max最適化のレンズを通してwaserstein drslを再検討し、スケーラブルで効率的に実装可能な超勾配アルゴリズムを導出する。
論文 参考訳(メタデータ) (2021-04-27T16:56:09Z) - Maximum Mutation Reinforcement Learning for Scalable Control [25.935468948833073]
強化学習(Reinforcement Learning, RL)は、大規模状態空間に対するデータ効率と最適制御を、スケーラブルな性能で実証している。
本稿では,スケーラブルなRLアルゴリズムであるEvolution-based Soft Actor-Critic (ESAC)を提案する。
論文 参考訳(メタデータ) (2020-07-24T16:29:19Z) - Adversarial Distributional Training for Robust Deep Learning [53.300984501078126]
逆行訓練(AT)は、逆行例によるトレーニングデータを増やすことにより、モデルロバスト性を改善する最も効果的な手法の一つである。
既存のAT手法の多くは、敵の例を作らせるために特定の攻撃を採用しており、他の目に見えない攻撃に対する信頼性の低い堅牢性につながっている。
本稿では,ロバストモデル学習のための新しいフレームワークであるADTを紹介する。
論文 参考訳(メタデータ) (2020-02-14T12:36:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。