論文の概要: There is no Double-Descent in Random Forests
- arxiv url: http://arxiv.org/abs/2111.04409v1
- Date: Mon, 8 Nov 2021 12:25:32 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-09 15:00:54.116755
- Title: There is no Double-Descent in Random Forests
- Title（参考訳）: ランダム・フォレストには二重の輝きはない
- Authors: Sebastian Buschj\"ager and Katharina Morik
- Abstract要約: ランダムフォレスト(RF)は、機械学習の最先端技術のひとつであり、ほぼゼロパラメータチューニングによる優れたパフォーマンスを提供する。
最近、広く受け入れられた研究は、RFがいわゆる二重輝線曲線を示すと主張した: まず、モデルはu字型の曲線でデータを過度に適合させ、あるモデルの複雑さに達すると、その性能が再び向上する。
本稿では、モデルキャパシティがRFの成功を説明するための正しいツールであるという考えに挑戦し、モデルを訓練するアルゴリズムが以前考えられていたよりも重要な役割を担っていることを論じる。
- 参考スコア（独自算出の注目度）: 6.967385165474138
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Random Forests (RFs) are among the state-of-the-art in machine learning and
offer excellent performance with nearly zero parameter tuning. Remarkably, RFs
seem to be impervious to overfitting even though their basic building blocks
are well-known to overfit. Recently, a broadly received study argued that a RF
exhibits a so-called double-descent curve: First, the model overfits the data
in a u-shaped curve and then, once a certain model complexity is reached, it
suddenly improves its performance again. In this paper, we challenge the notion
that model capacity is the correct tool to explain the success of RF and argue
that the algorithm which trains the model plays a more important role than
previously thought. We show that a RF does not exhibit a double-descent curve
but rather has a single descent. Hence, it does not overfit in the classic
sense. We further present a RF variation that also does not overfit although
its decision boundary approximates that of an overfitted DT. Similar, we show
that a DT which approximates the decision boundary of a RF will still overfit.
Last, we study the diversity of an ensemble as a tool the estimate its
performance. To do so, we introduce Negative Correlation Forest (NCForest)
which allows for precise control over the diversity in the ensemble. We show,
that the diversity and the bias indeed have a crucial impact on the performance
of the RF. Having too low diversity collapses the performance of the RF into a
a single tree, whereas having too much diversity means that most trees do not
produce correct outputs anymore. However, in-between these two extremes we find
a large range of different trade-offs with all roughly equal performance.
Hence, the specific trade-off between bias and diversity does not matter as
long as the algorithm reaches this good trade-off regime.
- Abstract（参考訳）: ランダムフォレスト(RF)は、機械学習の最先端技術のひとつであり、ほぼゼロパラメータチューニングによる優れたパフォーマンスを提供する。
RFは、基本的なビルディングブロックが過度に適合していることがよく知られているにもかかわらず、過度に適合することには耐え難いようだ。
最近、広く受け入れられた研究は、RFがいわゆる二重輝線曲線を示すと主張した: まず、モデルはu字型の曲線でデータを過度に適合させ、あるモデルの複雑さに達すると、その性能が再び向上する。
本稿では,モデルキャパシティがrfの成功を説明するための正しいツールであるという考えに挑戦し,モデルを訓練するアルゴリズムが以前考えられていたよりも重要な役割を果たすと主張する。
RFは二重発振曲線を示すのではなく、単一の降下を持つことを示す。
したがって、古典的な意味では過度に合わない。
さらに、その決定境界は過適合DTと近似するが、過適合しないRF変動を示す。
同様に、RFの判定境界を近似したDTがまだ過度に適合していることを示す。
最後に,その性能を推定するツールとして,アンサンブルの多様性について検討する。
そこで本研究では,アンサンブルの多様性を正確に制御できる負相関森林(ncforest)を提案する。
我々は、多様性とバイアスがrfの性能に重大な影響を与えていることを示します。
多様性の低さはrfの性能を単一の木に崩壊させるが、多様性の多さは、ほとんどの木がもはや正しい出力を生成しないことを意味する。
しかし、この2つの極端の間には、ほぼ同じパフォーマンスで、さまざまなトレードオフが見られます。
したがって、バイアスと多様性の間の特定のトレードオフは、アルゴリズムがこの良いトレードオフ方式に達するまで重要ではない。
関連論文リスト
- Robust Fine-tuning of Zero-shot Models via Variance Reduction [56.360865951192324]
微調整ゼロショットモデルの場合、このデシドラトゥムは細調整モデルで、分布内(ID)と分布外(OOD)の両方で優れる。
トレードオフを伴わずに最適なIDとOODの精度を同時に達成できるサンプルワイズアンサンブル手法を提案する。
論文 参考訳（メタデータ） (2024-11-11T13:13:39Z) - Heterogeneous Random Forest [2.0646127669654835]
不均一ランダムフォレスト(HRF)は、木多様性を有意義な方法で向上させるように設計されている。
HRFは、ほとんどのデータセットの精度において、他のアンサンブル手法よりも一貫して優れていた。
論文 参考訳（メタデータ） (2024-10-24T09:18:55Z) - More is Better in Modern Machine Learning: when Infinite Overparameterization is Optimal and Overfitting is Obligatory [12.689249854199982]
RF劣化試験のリスクは特徴数とサンプル数の両方で単調に低下することを示した。
次に、パワーロー固有構造を特徴とするタスクの大規模なクラスにおいて、ほぼゼロに近いトレーニング損失に対するトレーニングが義務付けられていることを示す。
論文 参考訳（メタデータ） (2023-11-24T18:27:41Z) - Self-NeRF: A Self-Training Pipeline for Few-Shot Neural Radiance Fields [17.725937326348994]
入力ビューの少ない放射場を反復的に洗練する自己進化型NeRFであるSelf-NeRFを提案する。
各イテレーションでは、予測された色や、前回のイテレーションからモデルが生成した歪んだピクセルで、目に見えないビューをラベル付けします。
これらの拡張された擬似ビューは、NeRFの性能を低下させる色やワープアーティファクトのインプレクションによって悩まされる。
論文 参考訳（メタデータ） (2023-03-10T08:22:36Z) - Optimization Variance: Exploring Generalization Properties of DNNs [83.78477167211315]
ディープニューラルネットワーク(DNN)のテストエラーは、しばしば二重降下を示す。
そこで本研究では,モデル更新の多様性を測定するために,新しい測度である最適化分散(OV)を提案する。
論文 参考訳（メタデータ） (2021-06-03T09:34:17Z) - Enhanced Principal Component Analysis under A Collaborative-Robust
Framework [89.28334359066258]
重み学習とロバストな損失を非自明な方法で組み合わせる,一般的な協調ロバスト重み学習フレームワークを提案する。
提案されたフレームワークでは、トレーニング中の重要度を示す適切なサンプルの一部のみがアクティブになり、エラーが大きい他のサンプルは無視されません。
特に、不活性化試料の負の効果はロバスト損失関数によって軽減される。
論文 参考訳（メタデータ） (2021-03-22T15:17:37Z) - Federated Multi-Armed Bandits [18.95281057580889]
FMAB(Federated Multi-armed Bandits)は、教師付き学習において、FL(Federated Learning)フレームワークを並列化する新しいバンドイットパラダイムである。
本稿では,FMABの一般的な枠組みを提案し,その上で2つの特定の帯域幅モデルについて検討する。
やや意外なことに、順序-最適の後悔は、更新周期を慎重に選択したクライアントの数から独立して達成できることが示されています。
論文 参考訳（メタデータ） (2021-01-28T18:59:19Z) - Long-tailed Recognition by Routing Diverse Distribution-Aware Experts [64.71102030006422]
我々は、RoutIng Diverse Experts (RIDE) と呼ばれる新しい長い尾の分類器を提案する。
複数の専門家とのモデルの分散を減らし、分布を考慮した多様性損失によるモデルバイアスを減らし、動的専門家ルーティングモジュールによる計算コストを削減します。
RIDEは、CIFAR100-LT、ImageNet-LT、iNaturalist 2018ベンチマークで最先端を5%から7%上回っている。
論文 参考訳（メタデータ） (2020-10-05T06:53:44Z) - Joints in Random Forests [13.096855747795303]
決定木(DT)とランダムフォレスト(RF)は、日々の機械学習実践者やデータ科学者にとって重要な、強力な識別学習者およびツールである。
本稿では、DTとRFは確率回路との接続を描画することで、自然に生成モデルと解釈できることを示す。
この再解釈は特徴空間に完全結合分布を持たせ、生成決定木(GeDT)と生成森林(GeF)へと導く。
論文 参考訳（メタデータ） (2020-06-25T14:17:19Z) - Fairness Through Robustness: Investigating Robustness Disparity in Deep
Learning [61.93730166203915]
我々は、モデルが敵の攻撃に弱い場合、従来の公平性の概念では不十分であると主張する。
頑健性バイアスを測定することはDNNにとって難しい課題であり,この2つの方法を提案する。
論文 参考訳（メタデータ） (2020-06-17T22:22:24Z) - Triple Wins: Boosting Accuracy, Robustness and Efficiency Together by
Enabling Input-Adaptive Inference [119.19779637025444]
深層ネットワークは、(クリーンな自然画像の場合)正確さと(敵対的な摂動画像の場合)頑健さの相違に直面することを最近提案された。
本稿では,入力適応推論に関連するマルチエグジットネットワークについて検討し,モデル精度,ロバスト性,効率の最適化において「スイートポイント」を達成する上での強い期待を示す。
論文 参考訳（メタデータ） (2020-02-24T00:40:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。