論文の概要: Subgroup Robustness Grows On Trees: An Empirical Baseline Investigation
- arxiv url: http://arxiv.org/abs/2211.12703v2
- Date: Mon, 17 Apr 2023 15:54:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-18 23:14:45.506995
- Title: Subgroup Robustness Grows On Trees: An Empirical Baseline Investigation
- Title（参考訳）: 木の上で成長するサブグループロバストネス:実証的ベースライン調査
- Authors: Josh Gardner, Zoran Popovi\'c, Ludwig Schmidt
- Abstract要約: 本稿は,最先端のツリーベース手法と並行して,公正で堅牢な学習手法を実証的に比較する。
木に基づく手法は, 頑健性および公正性向上法と比較して, 強い部分群ロバスト性を有することを示す。
- 参考スコア（独自算出の注目度）: 13.458414200958797
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Researchers have proposed many methods for fair and robust machine learning,
but comprehensive empirical evaluation of their subgroup robustness is lacking.
In this work, we address this gap in the context of tabular data, where
sensitive subgroups are clearly-defined, real-world fairness problems abound,
and prior works often do not compare to state-of-the-art tree-based models as
baselines. We conduct an empirical comparison of several previously-proposed
methods for fair and robust learning alongside state-of-the-art tree-based
methods and other baselines. Via experiments with more than $340{,}000$ model
configurations on eight datasets, we show that tree-based methods have strong
subgroup robustness, even when compared to robustness- and fairness-enhancing
methods. Moreover, the best tree-based models tend to show good performance
over a range of metrics, while robust or group-fair models can show
brittleness, with significant performance differences across different metrics
for a fixed model. We also demonstrate that tree-based models show less
sensitivity to hyperparameter configurations, and are less costly to train. Our
work suggests that tree-based ensemble models make an effective baseline for
tabular data, and are a sensible default when subgroup robustness is desired.
For associated code and detailed results, see
https://github.com/jpgard/subgroup-robustness-grows-on-trees .
- Abstract（参考訳）: 研究者は、公平で堅牢な機械学習のための多くの方法を提案してきたが、そのサブグループの堅牢性に関する包括的な実証的な評価は欠如している。
本研究では, 感性部分群が明確に定義され, 現実の公正性問題が多く, 先行研究は, 最先端のツリーベースモデルをベースラインとして比較しないことが多い, 表層データにおけるこのギャップに対処する。
我々は,最先端ツリーベース手法と他のベースラインと並行して,公正かつ堅牢な学習のためのいくつかの手法を実証的に比較する。
8つのデータセット上での340{,}000ドル以上のモデル構成を用いた実験により、木に基づく手法はロバストネスおよびフェアネスエンハンシング手法と比較して強いサブグループロバスト性を有することを示した。
さらに、最良のツリーベースモデルは様々なメトリクスよりも優れたパフォーマンスを示す傾向がありますが、ロバストモデルやグループフェアモデルは不安定性を示し、固定されたモデルで異なるメトリクス間で大きなパフォーマンスの差があります。
また,木ベースのモデルではハイパーパラメータの設定に対する感度が低く,トレーニングコストも低いことを実証した。
本研究は,木に基づくアンサンブルモデルが表データに対して有効なベースラインとなることを示唆する。
関連コードと詳細な結果については、https://github.com/jpgard/subgroup-robustness-grows-on-treesを参照。
関連論文リスト
- Binary Classification: Is Boosting stronger than Bagging? [5.877778007271621]
本稿では,バニラ・ランダム・フォレストの拡張である拡張ランダム・フォレストを紹介し,付加機能と適応サンプルおよびモデル重み付けについて述べる。
トレーニングサンプルの重み付けを適応するための反復アルゴリズムを開発し、最も難しい例を選好し、新しいサンプルごとに個別の木の重み付け手法を見つけるためのアプローチを開発した。
本手法は15の異なる二分分類データセットにまたがる通常のランダムフォレストを著しく改善し,XGBoostを含む他の木法よりも優れていた。
論文 参考訳（メタデータ） (2024-10-24T23:22:33Z) - Inherently Interpretable Tree Ensemble Learning [7.868733904112288]
浅い決定木をベース学習として使用すると、アンサンブル学習アルゴリズムが本質的に解釈可能であることを示す。
木アンサンブルを固有の解釈可能性を持つ機能的ANOVA表現に変換する解釈アルゴリズムを開発した。
シミュレーションと実世界のデータセットを用いた実験により,提案手法はモデル解釈と予測性能のトレードオフを良くすることを示した。
論文 参考訳（メタデータ） (2024-10-24T18:58:41Z) - Modern Neighborhood Components Analysis: A Deep Tabular Baseline Two Decades Later [59.88557193062348]
我々は、インスタンス間のセマンティックな類似性をキャプチャする線形射影を学習するために設計された古典的近傍成分分析(NCA)を再考する。
学習目的の調整や深層学習アーキテクチャの統合といった微調整は,NAAの性能を著しく向上させることがわかった。
また,提案したModernNCAの効率性と予測精度を向上する,近隣のサンプリング戦略も導入する。
論文 参考訳（メタデータ） (2024-07-03T16:38:57Z) - Hierarchical clustering with dot products recovers hidden tree structure [53.68551192799585]
本稿では,階層構造の回復に着目した凝集クラスタリングアルゴリズムの新しい視点を提案する。
クラスタを最大平均点積でマージし、例えば最小距離やクラスタ内分散でマージしないような、標準的なアルゴリズムの単純な変種を推奨する。
このアルゴリズムにより得られた木は、汎用確率的グラフィカルモデルの下で、データ中の生成的階層構造をボナフェイド推定することを示した。
論文 参考訳（メタデータ） (2023-05-24T11:05:12Z) - Why do tree-based models still outperform deep learning on tabular data? [0.0]
木をベースとしたモデルが中規模データの最先端のままであることを示す。
木系モデルとニューラルネットワーク(NN)の異なる帰納バイアスに関する実証的研究を行う。
論文 参考訳（メタデータ） (2022-07-18T08:36:08Z) - Explainable Models via Compression of Tree Ensembles [23.790618990173]
学習木を1つの説明可能なモデルに圧縮する問題を考察する。
CoTE -- Compression of Tree Ensembles -- は圧縮表現として単一の小さな決定リストを生成する。
いくつかのベンチマーク・リレーショナル・データセットにおけるCoTEの有効性を実験的に評価した。
論文 参考訳（メタデータ） (2022-06-16T04:03:55Z) - Scalable Whitebox Attacks on Tree-based Models [2.3186641356561646]
本稿では,木アンサンブルモデルに対する新しいホワイトボックス対逆ロバスト性試験手法を提案する。
サンプリングとログデリバティブのトリックを活用することで、提案手法は以前管理不能だったタスクのテストまでスケールアップできる。
論文 参考訳（メタデータ） (2022-03-31T21:36:20Z) - Clustering Effect of (Linearized) Adversarial Robust Models [60.25668525218051]
本稿では, 敵の強靭性に対する新たな理解を提案し, ドメイン適応や頑健性向上といったタスクに適用する。
提案したクラスタリング戦略の合理性と優越性を実験的に評価した。
論文 参考訳（メタデータ） (2021-11-25T05:51:03Z) - Sparse MoEs meet Efficient Ensembles [49.313497379189315]
このようなモデルの2つの一般的なクラス、すなわちニューラルネットワークのアンサンブルと専門家のスパースミックス(スパースMoE)の相互作用について研究する。
Efficient Ensemble of Experts (E$3$)は、両モデルのクラスを最大限に活用するスケーラブルでシンプルなMoEのアンサンブルであり、深いアンサンブルよりも最大45%少ないFLOPを使用する。
論文 参考訳（メタデータ） (2021-10-07T11:58:35Z) - MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。
当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
論文 参考訳（メタデータ） (2020-07-24T17:06:55Z) - Exploiting Syntactic Structure for Better Language Modeling: A Syntactic
Distance Approach [78.77265671634454]
我々はマルチタスクの目的、すなわち、モデルが単語を同時に予測し、また「シンタクティック距離」と呼ばれる形態で真実解析木を解析する。
Penn Treebank と Chinese Treebank のデータセットによる実験結果から,地上の真理解析木を追加の訓練信号として提供すると,そのモデルはより低いパープレキシティを実現し,より良い品質で木を誘導できることが示された。
論文 参考訳（メタデータ） (2020-05-12T15:35:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。