論文の概要: Regression Trees Know Calculus

• arxiv url: http://arxiv.org/abs/2405.13846v1
• Date: Wed, 22 May 2024 17:14:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 21:02:51.560314
• Title: Regression Trees Know Calculus
• Title（参考訳）: 回帰木は計算を知っている
• Authors: Nathan Wycoff,
• Abstract要約: 一般的な木学習ライブラリが公開する量を用いて効率的に計算できる勾配の簡単な推定値を求める。 これにより、ニューラルネットやガウシアンプロセスといった、微分可能なアルゴリズムのコンテキストで開発されたツールを、ツリーベースのモデルにデプロイすることができる。
• 参考スコア（独自算出の注目度）: 1.8130068086063336
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Regression trees have emerged as a preeminent tool for solving real-world regression problems due to their ability to deal with nonlinearities, interaction effects and sharp discontinuities. In this article, we rather study regression trees applied to well-behaved, differentiable functions, and determine the relationship between node parameters and the local gradient of the function being approximated. We find a simple estimate of the gradient which can be efficiently computed using quantities exposed by popular tree learning libraries. This allows the tools developed in the context of differentiable algorithms, like neural nets and Gaussian processes, to be deployed to tree-based models. To demonstrate this, we study measures of model sensitivity defined in terms of integrals of gradients and demonstrate how to compute them for regression trees using the proposed gradient estimates. Quantitative and qualitative numerical experiments reveal the capability of gradients estimated by regression trees to improve predictive analysis, solve tasks in uncertainty quantification, and provide interpretation of model behavior.
• Abstract（参考訳）: 回帰木は、非線形性、相互作用効果、鋭い不連続性に対処する能力のために、現実世界の回帰問題を解くための卓越したツールとして登場した。 本稿では,よく定義された微分可能な関数に適用された回帰木について検討し,ノードパラメータと近似される関数の局所勾配との関係について検討する。 一般的な木学習ライブラリが公開する量を用いて効率的に計算できる勾配の簡単な推定値を求める。 これにより、ニューラルネットやガウシアンプロセスといった、微分可能なアルゴリズムのコンテキストで開発されたツールを、ツリーベースのモデルにデプロイすることができる。 そこで本研究では,勾配の積分で定義されるモデル感度の測定値について検討し,提案した勾配推定値を用いて回帰木に対するモデル感度の計算方法を示す。 定量的および定性的な数値実験は、回帰木によって推定される勾配の能力を明らかにし、予測分析を改善し、不確実な定量化のタスクを解決し、モデル行動の解釈を提供する。

関連論文リスト

• Ensembles of Probabilistic Regression Trees [46.53457774230618]
  木に基づくアンサンブル法は多くの応用や研究で回帰問題に成功している。 本研究では,確率分布に関する各領域の観察を割り当てることで,目的関数のスムーズな近似を提供する確率回帰木のアンサンブルバージョンについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T06:51:51Z)
• Model-Based Reparameterization Policy Gradient Methods: Theory and Practical Algorithms [88.74308282658133]
  Reization (RP) Policy Gradient Methods (PGM) は、ロボット工学やコンピュータグラフィックスにおける連続的な制御タスクに広く採用されている。 近年の研究では、長期強化学習問題に適用した場合、モデルベースRP PGMはカオス的かつ非滑らかな最適化環境を経験する可能性があることが示されている。 本稿では,長期モデルアンロールによる爆発的分散問題を緩和するスペクトル正規化法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T18:43:21Z)
• Generalizing Backpropagation for Gradient-Based Interpretability [103.2998254573497]
  モデルの勾配は、半環を用いたより一般的な定式化の特別な場合であることを示す。 この観測により、バックプロパゲーションアルゴリズムを一般化し、他の解釈可能な統計を効率的に計算することができる。
  論文  参考訳（メタデータ） (2023-07-06T15:19:53Z)
• Learning to Simulate Tree-Branch Dynamics for Manipulation [26.808346972775368]
  そこで本研究では,木枝の動力学をモデル化するために,シミュレーション駆動逆推論手法を提案する。 本モデルでは, 変形軌跡を予測し, 推定の不確かさを定量化し, ベースラインが他の推論アルゴリズムに逆らう場合, 精度が向上することを示す。
  論文  参考訳（メタデータ） (2023-06-06T05:17:02Z)
• Understanding Augmentation-based Self-Supervised Representation Learning via RKHS Approximation and Regression [53.15502562048627]
  最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。 この研究は、増強に基づく事前訓練の統計的分析に発展する。
  論文  参考訳（メタデータ） (2023-06-01T15:18:55Z)
• Adaptive LASSO estimation for functional hidden dynamic geostatistical model [69.10717733870575]
  関数型隠れ統計モデル(f-HD)のためのペナル化極大推定器(PMLE)に基づく新しいモデル選択アルゴリズムを提案する。 このアルゴリズムは反復最適化に基づいており、適応最小限の収縮・セレクタ演算子(GMSOLAS)ペナルティ関数を用いており、これは不給付のf-HD最大線量推定器によって得られる。
  論文  参考訳（メタデータ） (2022-08-10T19:17:45Z)
• A cautionary tale on fitting decision trees to data from additive models: generalization lower bounds [9.546094657606178]
  本研究では,異なる回帰モデルに対する決定木の一般化性能について検討する。 これにより、アルゴリズムが新しいデータに一般化するために(あるいは作らない)仮定する帰納的バイアスが引き起こされる。 スパース加法モデルに適合する大規模な決定木アルゴリズムに対して、シャープな2乗誤差一般化を低い境界で証明する。
  論文  参考訳（メタデータ） (2021-10-18T21:22:40Z)
• Estimation of Bivariate Structural Causal Models by Variational Gaussian Process Regression Under Likelihoods Parametrised by Normalising Flows [74.85071867225533]
  因果機構は構造因果モデルによって記述できる。 最先端の人工知能の大きな欠点の1つは、説明責任の欠如である。
  論文  参考訳（メタデータ） (2021-09-06T14:52:58Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Uncertainty in Gradient Boosting via Ensembles [37.808845398471874]
  勾配促進モデルのアンサンブルは、予測された総不確実性を改善する能力に制限があるにもかかわらず、異常な入力を検出することに成功した。 本稿では,1つの勾配押し上げモデルのみでアンサンブルの利点を得るための仮想アンサンブルの概念を提案する。
  論文  参考訳（メタデータ） (2020-06-18T14:11:27Z)
• Multivariate Boosted Trees and Applications to Forecasting and Control [0.0]
  勾配強化木は、特定の損失関数を最小限に抑えるために、逐次モデルフィッティングと勾配降下を利用する非パラメトリック回帰木である。 本稿では,多変量隆起木を適応する計算効率のよいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-08T19:26:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。