論文の概要: To Bag is to Prune

• arxiv url: http://arxiv.org/abs/2008.07063v4
• Date: Tue, 8 Jun 2021 21:54:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-28 03:14:55.025565
• Title: To Bag is to Prune
• Title（参考訳）: BagはPruneである
• Authors: Philippe Goulet Coulombe
• Abstract要約: 悪しきランダムフォレスト(RF)を作るのは非常に難しい。 同時に、RFは、明らかなアウト・オブ・サンプルを伴わずに、イン・サンプルを過度に過度にオーバーフィットさせる。 RFが実装したブートストラップ集約とモデル摂動は,潜伏した「真の」木を自動生成する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is notoriously difficult to build a bad Random Forest (RF). Concurrently, RF blatantly overfits in-sample without any apparent consequence out-of-sample. Standard arguments, like the classic bias-variance trade-off or double descent, cannot rationalize this paradox. I propose a new explanation: bootstrap aggregation and model perturbation as implemented by RF automatically prune a latent "true" tree. More generally, randomized ensembles of greedily optimized learners implicitly perform optimal early stopping out-of-sample. So there is no need to tune the stopping point. By construction, novel variants of Boosting and MARS are also eligible for automatic tuning. I empirically demonstrate the property, with simulated and real data, by reporting that these new completely overfitting ensembles perform similarly to their tuned counterparts -- or better.
• Abstract（参考訳）: 悪いランダム・フォレスト(RF)を作るのは非常に難しい。 同時に、RFは明らかなアウトオブサンプルを伴わずにインサンプルを過度にオーバーフィットさせる。 古典的バイアス分散トレードオフや二重降下のような標準的な議論は、このパラドックスを合理化できない。 rfによって実装されたブートストラップアグリゲーションとモデル摂動は、潜在する"真の"ツリーを自動的にプルする。 より一般に、無作為に最適化された学習者のランダム化されたアンサンブルは、暗黙のうちに最適な早期停止を行う。 したがって、停止点を調整する必要はない。 建設により、BoostingとMARSの新たな変種も自動チューニングが可能になった。 私は、シミュレーションと実際のデータを使って、これらの新しい完全にオーバーフィットしたアンサンブルが、チューニングされたアンサンブルと同等かそれ以上の性能を発揮することを報告することで、その特性を実証する。

関連論文リスト

• Bypassing the Noisy Parity Barrier: Learning Higher-Order Markov Random Fields from Dynamics [21.976109703401114]
  我々は、時間的相関サンプルからマルコフランダムフィールド(MRF)として知られるグラフィカルモデルを学ぶことの問題を考察する。 特に,Glauberのダイナミックスから,$widetildeO_k(n)$サイトの更新を$k$ MRFで行うと,$widetildeO_k(n2)$時間でグラフとパラメータを復元するアルゴリズムが存在することを示す。 私たちの結果は、MDFのより現実的で直感的に少ないモデルが、実際には効率をはるかに上回っていることを、驚くほど示しています。
  論文  参考訳（メタデータ） (2024-09-09T02:32:45Z)
• Relaxed Quantile Regression: Prediction Intervals for Asymmetric Noise [51.87307904567702]
  量子レグレッション(Quantile regression)は、出力の分布における量子の実験的推定を通じてそのような間隔を得るための主要なアプローチである。 本稿では、この任意の制約を除去する量子回帰に基づく区間構成の直接的な代替として、Relaxed Quantile Regression (RQR)を提案する。 これにより、柔軟性が向上し、望ましい品質が向上することが実証された。
  論文  参考訳（メタデータ） (2024-06-05T13:36:38Z)
• Adaptive Split Balancing for Optimal Random Forest [8.916614661563893]
  そこで本研究では,新しい適応型分割バランス法を用いて木を構築するランダムフォレストアルゴリズムを提案する。 本手法は,データから木構造を適応的に学習しながら,シンプルでスムーズなシナリオで最適性を実現する。
  論文  参考訳（メタデータ） (2024-02-17T09:10:40Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)
• Knockoffs-SPR: Clean Sample Selection in Learning with Noisy Labels [56.81761908354718]
  雑音ラベルを用いた学習のための,理論的に保証されたクリーンサンプル選択フレームワークを提案する。 Knockoffs-SPRは、標準的な教師付きトレーニングパイプラインのサンプル選択モジュールと見なすことができる。 さらに、ラベルなしデータとしてノイズデータのサポートを利用する半教師付きアルゴリズムと組み合わせる。
  論文  参考訳（メタデータ） (2023-01-02T07:13:28Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Optimization Variance: Exploring Generalization Properties of DNNs [83.78477167211315]
  ディープニューラルネットワーク(DNN)のテストエラーは、しばしば二重降下を示す。 そこで本研究では,モデル更新の多様性を測定するために,新しい測度である最適化分散(OV)を提案する。
  論文  参考訳（メタデータ） (2021-06-03T09:34:17Z)
• Generalised Boosted Forests [0.9899017174990579]
  リンク空間におけるMLE型推定から始まり、それから一般化された残余を定義する。 これらの残差とそれに対応する重みをベースとなるランダムフォレストに適合させ、これを繰り返してブーストランダムフォレストを得る。 我々は、ランダムな森林ステップの両方がテストセットのログ類似度を減少させることをシミュレーションおよび実データで示す。
  論文  参考訳（メタデータ） (2021-02-24T21:17:31Z)
• Federated Multi-Armed Bandits [18.95281057580889]
  FMAB(Federated Multi-armed Bandits)は、教師付き学習において、FL(Federated Learning)フレームワークを並列化する新しいバンドイットパラダイムである。 本稿では,FMABの一般的な枠組みを提案し,その上で2つの特定の帯域幅モデルについて検討する。 やや意外なことに、順序-最適の後悔は、更新周期を慎重に選択したクライアントの数から独立して達成できることが示されています。
  論文  参考訳（メタデータ） (2021-01-28T18:59:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。