論文の概要: Universal Consistency of Decision Trees for High Dimensional Additive Models

• arxiv url: http://arxiv.org/abs/2104.13881v1
• Date: Wed, 28 Apr 2021 16:59:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-29 14:42:26.426650
• Title: Universal Consistency of Decision Trees for High Dimensional Additive Models
• Title（参考訳）: 高次元付加モデルに対する決定木の普遍的整合性
• Authors: Jason M. Klusowski
• Abstract要約: 分類と回帰木は加法モデルに対して普遍的に一貫性があることを示す。 驚くべきことに、この(ほぼまたは正確な)スパーシティへの適応性は、単一の木で達成される。 分析の重要なステップは、適合性および複雑さのトレードオフを正確に特徴付けるオラクルの不平等の確立です。
• 参考スコア（独自算出の注目度）: 18.325872821392817
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper shows that decision trees constructed with Classification and Regression Trees (CART) methodology are universally consistent for additive models, even when the dimensionality scales exponentially with the sample size, under certain $\ell_1$ sparsity constraints. The consistency is universal in the sense that there are no a priori assumptions on the distribution of the input variables. Surprisingly, this adaptivity to (approximate or exact) sparsity is achieved with a single tree, as opposed to what might be expected for an ensemble. Finally, we show that these qualitative properties of individual trees are inherited by Breiman's random forests. A key step in the analysis is the establishment of an oracle inequality, which precisely characterizes the goodness-of-fit and complexity tradeoff.
• Abstract（参考訳）: 本稿では,分類木と回帰木(CART)手法を用いて構築された決定木が,ある$\ell_1$スペーサ性制約の下で,次元が標本サイズと指数関数的にスケールする場合でも,加法モデルに対して普遍的に一致していることを示す。 整合性は、入力変数の分布に先入観が存在しないという意味で普遍的である。 驚くべきことに、この(近似的または正確な)間隔への適応性は、アンサンブルに期待されるものとは対照的に、単一の木で達成される。 最後に,個々の樹木の質的性質は,ブレイマンのランダム林に受け継がれていることを示す。 この分析における重要なステップは、適合性と複雑性のトレードオフを正確に特徴づけるオラクルの不平等の確立である。

関連論文リスト

• Statistical Advantages of Oblique Randomized Decision Trees and Forests [0.0]
  リッジ関数のフレキシブル次元縮小モデルクラスに対して一般化誤差と収束率を求める。 軸方向のモンドリアン木のリスクに対する低い境界は、これらの線形次元減少モデルに対してこれらの推定値が最適であることを示す。
  論文  参考訳（メタデータ） (2024-07-02T17:35:22Z)
• Distributional Adaptive Soft Regression Trees [0.0]
  本稿では,多変量ソフトスプリットルールを用いた分布回帰木の新しいタイプを提案する。 ソフトスプリットの大きな利点の1つは、滑らかな高次元函数を1つの木で見積もることができることである。 シミュレーションにより,アルゴリズムは優れた特性を有し,様々なベンチマーク手法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-19T08:59:02Z)
• On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
  一般化は、見えないデータを分類するモデルの能力をキャプチャする。 不変性はデータの変換におけるモデル予測の一貫性を測定する。 データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
  論文  参考訳（メタデータ） (2022-07-14T17:08:25Z)
• Predicting Out-of-Domain Generalization with Neighborhood Invariance [59.05399533508682]
  局所変換近傍における分類器の出力不変性の尺度を提案する。 私たちの測度は計算が簡単で、テストポイントの真のラベルに依存しません。 画像分類,感情分析,自然言語推論のベンチマーク実験において,我々の測定値と実際のOOD一般化との間に強い相関関係を示す。
  論文  参考訳（メタデータ） (2022-07-05T14:55:16Z)
• TreeFlow: Going beyond Tree-based Gaussian Probabilistic Regression [0.0]
  ツリーアンサンブルを使うことの利点と柔軟な確率分布をモデル化する能力を組み合わせたツリーベースアプローチであるTreeFlowを紹介した。 提案手法は, 諸量, 特徴量, 目標寸法の異なる回帰ベンチマークを用いて評価する。
  論文  参考訳（メタデータ） (2022-06-08T20:06:23Z)
• On Uncertainty Estimation by Tree-based Surrogate Models in Sequential Model-based Optimization [13.52611859628841]
  予測不確実性推定の観点から,ランダム化木の様々なアンサンブルを再検討し,その挙動について検討する。 BwO林と呼ばれる無作為な樹木のアンサンブルを構築するための新しい手法を提案する。 実験により,既存の樹木モデルに対するBwO林の有効性と性能について様々な状況で検証した。
  論文  参考訳（メタデータ） (2022-02-22T04:50:37Z)
• A cautionary tale on fitting decision trees to data from additive models: generalization lower bounds [9.546094657606178]
  本研究では,異なる回帰モデルに対する決定木の一般化性能について検討する。 これにより、アルゴリズムが新しいデータに一般化するために(あるいは作らない)仮定する帰納的バイアスが引き起こされる。 スパース加法モデルに適合する大規模な決定木アルゴリズムに対して、シャープな2乗誤差一般化を低い境界で証明する。
  論文  参考訳（メタデータ） (2021-10-18T21:22:40Z)
• Estimation of Bivariate Structural Causal Models by Variational Gaussian Process Regression Under Likelihoods Parametrised by Normalising Flows [74.85071867225533]
  因果機構は構造因果モデルによって記述できる。 最先端の人工知能の大きな欠点の1つは、説明責任の欠如である。
  論文  参考訳（メタデータ） (2021-09-06T14:52:58Z)
• Variational Causal Networks: Approximate Bayesian Inference over Causal Structures [132.74509389517203]
  離散DAG空間上の自己回帰分布をモデル化したパラメトリック変分族を導入する。 実験では,提案した変分後部が真の後部を良好に近似できることを示した。
  論文  参考訳（メタデータ） (2021-06-14T17:52:49Z)
• Latent Causal Invariant Model [128.7508609492542]
  現在の教師付き学習は、データ適合プロセス中に急激な相関を学習することができる。 因果予測を求める潜在因果不変モデル(LaCIM)を提案する。
  論文  参考訳（メタデータ） (2020-11-04T10:00:27Z)
• On the Discrepancy between Density Estimation and Sequence Generation [92.70116082182076]
  log-likelihoodは、同じファミリー内のモデルを考えるとき、BLEUと非常に相関している。 異なる家族間でのモデルランキングの相関はみられない。
  論文  参考訳（メタデータ） (2020-02-17T20:13:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。