論文の概要: Minimax Rates for High-Dimensional Random Tessellation Forests
- arxiv url: http://arxiv.org/abs/2109.10541v5
- Date: Sun, 29 Oct 2023 16:31:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-01 01:37:22.291203
- Title: Minimax Rates for High-Dimensional Random Tessellation Forests
- Title(参考訳): 高次元ランダムテッセレーション林のミニマックスレート
- Authors: Eliza O'Reilly and Ngoc Mai Tran
- Abstract要約: モンドリアン林は、任意の次元でミニマックスレートが得られた最初のランダム林である。
概略分割方向を持つ多種多様なランダム林は任意の次元における最小収束率も達成できることを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Random forests are a popular class of algorithms used for regression and
classification. The algorithm introduced by Breiman in 2001 and many of its
variants are ensembles of randomized decision trees built from axis-aligned
partitions of the feature space. One such variant, called Mondrian forests, was
proposed to handle the online setting and is the first class of random forests
for which minimax rates were obtained in arbitrary dimension. However, the
restriction to axis-aligned splits fails to capture dependencies between
features, and random forests that use oblique splits have shown improved
empirical performance for many tasks. In this work, we show that a large class
of random forests with general split directions also achieve minimax optimal
convergence rates in arbitrary dimension. This class includes STIT forests, a
generalization of Mondrian forests to arbitrary split directions, as well as
random forests derived from Poisson hyperplane tessellations. These are the
first results showing that random forest variants with oblique splits can
obtain minimax optimality in arbitrary dimension. Our proof technique relies on
the novel application of the theory of stationary random tessellations in
stochastic geometry to statistical learning theory.
- Abstract(参考訳): ランダムフォレストは回帰と分類に使われるアルゴリズムの一般的なクラスである。
2001年にブレイマンによって導入されたアルゴリズムとその変種の多くは、特徴空間の軸方向の分割から構築されたランダム化決定木の集合である。
このような変種の一つ、モンドリアン・フォレスト(mondrian forests)はオンライン設定を扱うために提案され、任意の次元でミニマックス率が得られる最初のランダムフォレストである。
しかし、軸方向のスプリットに対する制限は特徴間の依存関係を捉えるのに失敗し、斜めスプリットを用いたランダムな森林は多くのタスクにおいて経験的性能が向上している。
本研究では,一般の分割方向を持つランダム林の大きなクラスが,任意の次元において最小の最適収束率を達成することを示す。
このクラスには、任意の分割方向へのモンドリアン森林の一般化であるSTIT林と、ポアソン超平面テッセルレーションに由来するランダム森林が含まれる。
これらは、斜め分割を持つランダムフォレスト変種が任意の次元のミニマックス最適性を得ることができることを示す最初の結果である。
この証明手法は,確率幾何学における定常ランダムテッセレーションの理論の統計学習理論への新しい応用に依拠している。
関連論文リスト
- Adaptive Split Balancing for Optimal Random Forest [10.021381302215062]
データから木表現を学習できる適応型分割バランス林(ASBF)を導入する。
H"older class $mathcalHq,beta$ for any $qinmathbbN$ and $betain(0,1]$) でminimaxレートを達成するローカライズされたバージョンを提案する。
論文 参考訳(メタデータ) (2024-02-17T09:10:40Z) - Improving the Accuracy and Interpretability of Random Forests via Forest
Pruning [0.0]
本稿では,ランダム林の精度と決定木の解釈可能性という,両世界を最大限に活用することを目的としたポストホックアプローチを提案する。
森林伐採手法を2つ提案し, 適度な森林を適度に選抜し, 選択した樹木を1つにまとめる。
論文 参考訳(メタデータ) (2024-01-10T20:02:47Z) - Inference with Mondrian Random Forests [7.842152902652216]
回帰設定において、モンドリアンランダムフォレストによってなされた推定に対して中心極限定理を与える。
また,モンドリアンの無作為林に偏りを生じさせ,極小最大推定率を達成できる方法を提案する。
論文 参考訳(メタデータ) (2023-10-15T01:41:42Z) - Accelerating Generalized Random Forests with Fixed-Point Trees [2.810283834703862]
適応的なカーネル重み付けアルゴリズムとしてランダムフォレストを利用する。
固定点反復型近似から誘導される一般化ランダム林に対する新しい木成長則を提案する。
論文 参考訳(メタデータ) (2023-06-20T21:45:35Z) - Contextual Decision Trees [62.997667081978825]
学習アンサンブルの1つの浅い木を特徴量ベースで選択するための,マルチアームのコンテキスト付きバンドレコメンデーションフレームワークを提案する。
トレーニングされたシステムはランダムフォレスト上で動作し、最終的な出力を提供するためのベース予測器を動的に識別する。
論文 参考訳(メタデータ) (2022-07-13T17:05:08Z) - Random Forest Weighted Local Fr\'echet Regression with Random Objects [52.25304029942005]
本稿では,新しいランダム森林重み付き局所Fr'echet回帰パラダイムを提案する。
最初の方法は,これらの重みを局所平均として利用し,条件付きFr'echet平均を解く。
第二の手法は局所線形Fr'echet回帰を行い、どちらも既存のFr'echet回帰法を大幅に改善した。
論文 参考訳(メタデータ) (2022-02-10T09:10:59Z) - Ensembles of Double Random Forest [1.7205106391379026]
二重ランダム森林のアンサンブルを生成するための2つの手法を提案する。
第1のアプローチでは、二重ランダム森林の回転に基づくアンサンブルを提案する。
第2のアプローチでは、二重ランダム森林の斜めアンサンブルを提案する。
論文 参考訳(メタデータ) (2021-11-03T04:19:41Z) - Growing Deep Forests Efficiently with Soft Routing and Learned
Connectivity [79.83903179393164]
この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。
我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。
MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
論文 参考訳(メタデータ) (2020-12-29T18:05:05Z) - An Efficient Adversarial Attack for Tree Ensembles [91.05779257472675]
傾斜促進決定木(DT)や無作為林(RF)などの木に基づくアンサンブルに対する敵対的攻撃
提案手法は,従来のMILP (Mixed-integer linear programming) よりも数千倍高速であることを示す。
私たちのコードはhttps://chong-z/tree-ensemble- attackで利用可能です。
論文 参考訳(メタデータ) (2020-10-22T10:59:49Z) - Convex Polytope Trees [57.56078843831244]
コンベックスポリトープ木(CPT)は、決定境界の解釈可能な一般化によって決定木の系統を拡張するために提案される。
木構造が与えられたとき,木パラメータに対するCPTおよび拡張性のあるエンドツーエンドトレーニングアルゴリズムを効率的に構築する。
論文 参考訳(メタデータ) (2020-10-21T19:38:57Z) - Stochastic Optimization Forests [60.523606291705214]
標準的なランダムな森林アルゴリズムのように予測精度を向上させるために分割するのではなく、分割を選択した木を栽培し、下流の意思決定品質を直接最適化することで、森林決定政策の訓練方法を示す。
概略分割基準は、各候補分割に対して正確に最適化された森林アルゴリズムに近い性能を保ちながら、100倍のランニング時間を短縮できることを示す。
論文 参考訳(メタデータ) (2020-08-17T16:56:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。