論文の概要: A better method to enforce monotonic constraints in regression and classification trees

• arxiv url: http://arxiv.org/abs/2011.00986v1
• Date: Mon, 2 Nov 2020 14:04:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 11:11:25.975792
• Title: A better method to enforce monotonic constraints in regression and classification trees
• Title（参考訳）: 回帰木と分類木における単調制約をより良く強制する方法
• Authors: Charles Auguste (IMI), Sean Malory, Ivan Smirnov
• Abstract要約: 回帰木と分類木にモノトン制約を強制する2つの新しい方法を提案する。 1つは現在のLightGBMよりも良い結果をもたらし、同様の計算時間を持つ。 もう1つはより優れた結果をもたらすが、現在のLightGBMよりもずっと遅い。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this report we present two new ways of enforcing monotone constraints in regression and classification trees. One yields better results than the current LightGBM, and has a similar computation time. The other one yields even better results, but is much slower than the current LightGBM. We also propose a heuristic that takes into account that greedily splitting a tree by choosing a monotone split with respect to its immediate gain is far from optimal. Then, we compare the results with the current implementation of the constraints in the LightGBM library, using the well known Adult public dataset. Throughout the report, we mostly focus on the implementation of our methods that we made for the LightGBM library, even though they are general and could be implemented in any regression or classification tree. The best method we propose (a smarter way to split the tree coupled to a penalization of monotone splits) consistently beats the current implementation of LightGBM. With small or average trees, the loss reduction can be as high as 1% in the early stages of training and decreases to around 0.1% at the loss peak for the Adult dataset. The results would be even better with larger trees. In our experiments, we didn't do a lot of tuning of the regularization parameters, and we wouldn't be surprised to see that increasing the performance of our methods on test sets.
• Abstract（参考訳）: 本稿では,回帰木と分類木に単調制約を課す2つの新しい方法を提案する。 1つは現在のLightGBMよりも良い結果をもたらし、同様の計算時間を持つ。 もう1つはより優れた結果をもたらすが、現在のLightGBMよりもずっと遅い。 また,直近の利得に対して単調分割を選択することで,優越的に木を分割することが最適とはほど遠いことを考慮したヒューリスティックを提案する。 そして、この結果とLightGBMライブラリの制約実装を、よく知られたアダルト公開データセットを用いて比較する。 報告書全体を通して、私たちはlightgbmライブラリ用に作ったメソッドの実装に重点を置いています。 提案する最良の方法(単調分割のペナル化に結合した木を分割するより賢い方法)は、LightGBMの現在の実装を一貫して上回っている。 小木や平均木では、トレーニングの初期段階では1%の損失削減が可能であり、成人データセットの損失ピーク時には約0.1%に減少する。 結果はもっと大きな木の方が良いだろう。 実験では、正規化パラメータのチューニングはあまり行わず、テストセットでのメソッドのパフォーマンスが向上していることに驚きはありません。

関連論文リスト

• Free Lunch in the Forest: Functionally-Identical Pruning of Boosted Tree Ensembles [45.962492329047215]
  木アンサンブルを原モデルと「機能的に同一」な縮小版にプルークする方法を提案する。 我々は,アンサンブル上での機能的同一プルーニングの問題を形式化し,正確な最適化モデルを導入し,大規模なアンサンブルをプルーする高速かつ高効率な方法を提供する。
  論文  参考訳（メタデータ） (2024-08-28T23:15:46Z)
• Adapting tree-based multiple imputation methods for multi-level data? A simulation study [0.0]
  本研究は,マルチレベルデータに対する多重計算手法の有効性を評価する。 連鎖方程式(MICE)による従来の多重計算の性能と木に基づく手法との比較を行う。
  論文  参考訳（メタデータ） (2024-01-25T13:12:50Z)
• Fast Semisupervised Unmixing Using Nonconvex Optimization [80.11512905623417]
  半/ライブラリベースのアンミックスのための新しい凸凸モデルを提案する。 スパース・アンミキシングの代替手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-01-23T10:07:41Z)
• GBMST: An Efficient Minimum Spanning Tree Clustering Based on Granular-Ball Computing [78.92205914422925]
  多粒度グラニュラバルと最小スパンニングツリー(MST)を組み合わせたクラスタリングアルゴリズムを提案する。 粒度が粗い粒状ボールを構築し,さらに粒状ボールとMSTを用いて「大規模優先度」に基づくクラスタリング手法を実装した。 いくつかのデータセットの実験結果は、アルゴリズムの威力を示している。
  論文  参考訳（メタデータ） (2023-03-02T09:04:35Z)
• Scalable Optimal Multiway-Split Decision Trees with Constraints [3.092691764363848]
  決定変数の個数が$N$とは独立な経路に基づく新しいMIP定式化を提案する。 本フレームワークは, 規則が短いため, 通常の二分木よりも解釈しやすいマルチウェイスプリットツリーを生成する。 我々は,最大1,008,372個のサンプルを含むデータセットについて,既存のMIPベースの決定木モデルでは数千点を超えるデータに対してうまくスケールしないことを示す。
  論文  参考訳（メタデータ） (2023-02-14T03:48:48Z)
• SoftTreeMax: Exponential Variance Reduction in Policy Gradient via Tree Search [68.66904039405871]
  我々は,計画を考慮したソフトマックスの一般化であるSoftTreeMaxを紹介する。 この分散を緩和する上で,木の拡大政策が果たす役割を初めて示す。 我々の分化可能なツリーベースのポリシーは、従来の単一サンプルベースの勾配ではなく、各環境における木の葉のすべての勾配を利用する。
  論文  参考訳（メタデータ） (2023-01-30T19:03:14Z)
• SoftTreeMax: Policy Gradient with Tree Search [72.9513807133171]
  我々は、ツリー検索をポリシー勾配に統合する最初のアプローチであるSoftTreeMaxを紹介します。 Atariでは、SoftTreeMaxが分散PPOと比較して、実行時のパフォーマンスを最大5倍向上させる。
  論文  参考訳（メタデータ） (2022-09-28T09:55:47Z)
• Lassoed Tree Boosting [53.56229983630983]
  有界断面変動のカドラー関数の大きな非パラメトリック空間において,早期に停止するn-1/4$ L2の収束速度を持つ勾配向上木アルゴリズムを証明した。 我々の収束証明は、ネストしたドンスカー類の経験的損失最小化子による早期停止に関する新しい一般定理に基づいている。
  論文  参考訳（メタデータ） (2022-05-22T00:34:41Z)
• An Efficient Adversarial Attack for Tree Ensembles [91.05779257472675]
  傾斜促進決定木(DT)や無作為林(RF)などの木に基づくアンサンブルに対する敵対的攻撃 提案手法は,従来のMILP (Mixed-integer linear programming) よりも数千倍高速であることを示す。 私たちのコードはhttps://chong-z/tree-ensemble- attackで利用可能です。
  論文  参考訳（メタデータ） (2020-10-22T10:59:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。