論文の概要: Fast Linear Model Trees by PILOT

• arxiv url: http://arxiv.org/abs/2302.03931v1
• Date: Wed, 8 Feb 2023 08:11:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-09 16:56:06.499500
• Title: Fast Linear Model Trees by PILOT
• Title（参考訳）: PILOTによる高速線形モデル木
• Authors: Jakob Raymaekers, Peter J. Rousseeuw, Tim Verdonck, Ruicong Yao
• Abstract要約: 線形モデル木は、葉ノードに線形モデルを含む回帰木である。 線形モデル木を適合させる既存の方法の多くは時間を要するため、大規模なデータセットには拡張性がない。 本稿では,線形モデル木を高速,正規化,安定,解釈可能な新しいアルゴリズムであるPILOTを紹介する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Linear model trees are regression trees that incorporate linear models in the leaf nodes. This preserves the intuitive interpretation of decision trees and at the same time enables them to better capture linear relationships, which is hard for standard decision trees. But most existing methods for fitting linear model trees are time consuming and therefore not scalable to large data sets. In addition, they are more prone to overfitting and extrapolation issues than standard regression trees. In this paper we introduce PILOT, a new algorithm for linear model trees that is fast, regularized, stable and interpretable. PILOT trains in a greedy fashion like classic regression trees, but incorporates an $L^2$ boosting approach and a model selection rule for fitting linear models in the nodes. The abbreviation PILOT stands for $PI$ecewise $L$inear $O$rganic $T$ree, where `organic' refers to the fact that no pruning is carried out. PILOT has the same low time and space complexity as CART without its pruning. An empirical study indicates that PILOT tends to outperform standard decision trees and other linear model trees on a variety of data sets. Moreover, we prove its consistency in an additive model setting under weak assumptions. When the data is generated by a linear model, the convergence rate is polynomial.
• Abstract（参考訳）: 線形モデル木は、葉ノードに線形モデルを含む回帰木である。 これにより、決定木の直感的な解釈が保たれると同時に、線形関係をよりよく捉えることが可能となり、標準決定木では難しい。 しかし、線形モデル木を適合させる既存の方法のほとんどは時間を要するため、大規模なデータセットには拡張性がない。 さらに、それらは標準的な回帰木よりも、過剰フィッティングや外挿の問題を起こしやすい。 本稿では,高速,正規化,安定,解釈可能な線形モデル木のための新しいアルゴリズムであるPILOTを紹介する。 PILOTは古典的回帰木のような派手な方法で訓練するが、$L^2$のブースティングアプローチと、ノードに線形モデルを取り付けるためのモデル選択ルールが組み込まれている。 略称 PILOT は$PI$ecewise $L$inear $O$rganic $T$ree の略で、'organic' はプルーニングを行わないという事実を指す。 PILOT は CART と同じ時間と空間の複雑さを持つ。 実証的研究は、PILOTが様々なデータセット上で標準決定木や他の線形モデル木より優れていることを示している。 さらに,弱仮定下での加法モデルの設定において,その一貫性を証明する。 データが線形モデルによって生成されるとき、収束率は多項式である。

関連論文リスト

• Forecasting with Hyper-Trees [50.72190208487953]
  Hyper-Treesは時系列モデルのパラメータを学習するために設計されている。 対象とする時系列モデルのパラメータを特徴に関連付けることで、Hyper-Treesはパラメータ非定常性の問題にも対処する。 この新しいアプローチでは、木はまず入力特徴から情報表現を生成し、浅いネットワークはターゲットモデルパラメータにマップする。
  論文  参考訳（メタデータ） (2024-05-13T15:22:15Z)
• Anytime Model Selection in Linear Bandits [61.97047189786905]
  ALEXPは,その後悔に対するM$への依存を指数関数的に改善した。 提案手法は,オンライン学習と高次元統計学の新たな関連性を確立するために,ラッソの時間的一様解析を利用する。
  論文  参考訳（メタデータ） (2023-07-24T15:44:30Z)
• SETAR-Tree: A Novel and Accurate Tree Algorithm for Global Time Series Forecasting [7.206754802573034]
  本稿では,TARモデルと回帰木との密接な関係について検討する。 本研究では,葉のグローバルプール回帰(PR)モデルをトレーニングする,予測固有木アルゴリズムを提案する。 本評価では, 提案した樹木モデルと森林モデルを用いて, 最先端の樹木モデルよりも精度の高い木モデルを提案する。
  論文  参考訳（メタデータ） (2022-11-16T04:30:42Z)
• Linear TreeShap [16.246232737115218]
  決定木は解釈容易性から有名である。 精度を向上させるには、深い木や木々のアンサンブルを育てなければならない。 本稿では,より効率的かつ簡単なアルゴリズムであるリニアツリーサップを提案する。
  論文  参考訳（メタデータ） (2022-09-16T23:17:15Z)
• Optimal Decision Diagrams for Classification [68.72078059880018]
  数学的プログラミングの観点から最適決定図の学習について検討する。 本稿では,新しい混合整数線形プログラミングモデルを提案する。 このモデルは、公正性、同義性、安定性の概念に対してどのように容易に拡張できるかを示す。
  論文  参考訳（メタデータ） (2022-05-28T18:31:23Z)
• Social Interpretable Tree for Pedestrian Trajectory Prediction [75.81745697967608]
  本稿では,このマルチモーダル予測課題に対処するため,SIT(Social Interpretable Tree)と呼ばれる木に基づく手法を提案する。 木の根から葉までの経路は、個々の将来の軌跡を表す。 ETH-UCYとStanford Droneのデータセットによる実験結果からは,手作り木にもかかわらず,我々の手法が最先端の手法の性能に適合または超えることを示した。
  論文  参考訳（メタデータ） (2022-05-26T12:18:44Z)
• Implicit Parameter-free Online Learning with Truncated Linear Models [51.71216912089413]
  パラメータフリーアルゴリズムは、設定された学習率を必要としないオンライン学習アルゴリズムである。 そこで我々は,「単純」なフレーバーを持つ新しい更新によって,切り離された線形モデルを活用できる新しいパラメータフリーアルゴリズムを提案する。 後悔の新たな分解に基づいて、新しい更新は効率的で、各ステップで1つの勾配しか必要とせず、切り捨てられたモデルの最小値をオーバーシュートすることはない。
  論文  参考訳（メタデータ） (2022-03-19T13:39:49Z)
• On multivariate randomized classification trees: $l_0$-based sparsity, VC~dimension and decomposition methods [0.9346127431927981]
  Blanquero et alで提案された非線形連続最適化の定式化について検討する。 我々はまず、$l_0$ノルムの凹凸近似に基づいて、そのような木をスパース化する代替手法を検討する。 より大規模なデータセットを用いた実験により,提案手法は精度を損なうことなく,学習時間を著しく短縮できることが示された。
  論文  参考訳（メタデータ） (2021-12-09T22:49:08Z)
• A cautionary tale on fitting decision trees to data from additive models: generalization lower bounds [9.546094657606178]
  本研究では,異なる回帰モデルに対する決定木の一般化性能について検討する。 これにより、アルゴリズムが新しいデータに一般化するために(あるいは作らない)仮定する帰納的バイアスが引き起こされる。 スパース加法モデルに適合する大規模な決定木アルゴリズムに対して、シャープな2乗誤差一般化を低い境界で証明する。
  論文  参考訳（メタデータ） (2021-10-18T21:22:40Z)
• Tree in Tree: from Decision Trees to Decision Graphs [2.2336243882030025]
  Tree in Tree decision graph (TnT)は、従来の決定木をより汎用的で強力な非巡回グラフに拡張するフレームワークである。 提案するモデルは,広く用いられている決定木に代わる,新しい,より効率的かつ正確な代替手段である。
  論文  参考訳（メタデータ） (2021-10-01T13:20:05Z)
• Growing Deep Forests Efficiently with Soft Routing and Learned Connectivity [79.83903179393164]
  この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。 我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。 MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
  論文  参考訳（メタデータ） (2020-12-29T18:05:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。