論文の概要: Selective Cascade of Residual ExtraTrees

• arxiv url: http://arxiv.org/abs/2009.14138v1
• Date: Tue, 29 Sep 2020 16:31:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-13 05:35:45.419638
• Title: Selective Cascade of Residual ExtraTrees
• Title（参考訳）: 残木の選択的なカスケード
• Authors: Qimin Liu and Fang Liu
• Abstract要約: Selective Cascade of Residual ExtraTrees (SCORE) という,木に基づく新しいアンサンブル手法を提案する。 SCOREは表現学習からインスピレーションを受け、可変選択特徴を持つ正規化回帰を取り入れ、予測の改善と一般化誤差の低減にブーストを利用する。 コンピュータ実験により、SCOREは、ExtraTrees、ランダムフォレスト、グラデーションブースティングマシン、ニューラルネットワークに対する予測において、同等または優れた性能を提供することが示された。
• 参考スコア（独自算出の注目度）: 3.6575928994425735
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a novel tree-based ensemble method named Selective Cascade of Residual ExtraTrees (SCORE). SCORE draws inspiration from representation learning, incorporates regularized regression with variable selection features, and utilizes boosting to improve prediction and reduce generalization errors. We also develop a variable importance measure to increase the explainability of SCORE. Our computer experiments show that SCORE provides comparable or superior performance in prediction against ExtraTrees, random forest, gradient boosting machine, and neural networks; and the proposed variable importance measure for SCORE is comparable to studied benchmark methods. Finally, the predictive performance of SCORE remains stable across hyper-parameter values, suggesting potential robustness to hyperparameter specification.
• Abstract（参考訳）: 木をベースとした新しいアンサンブル手法であるSelective Cascade of Residual ExtraTrees (SCORE)を提案する。 SCOREは表現学習からインスピレーションを受け、可変選択特徴を持つ正規化回帰を取り入れ、予測の改善と一般化誤差の低減にブーストを利用する。 また,スコアの説明可能性を高めるための可変重要度尺度を開発した。 コンピュータ実験により、SCOREは、ExtraTrees、ランダムフォレスト、グラデーションブースティングマシン、ニューラルネットワークに対する予測において同等または優れた性能を示し、提案したSCOREの変数重要度は、研究されたベンチマーク手法に匹敵することを示した。 最後に、SCOREの予測性能はハイパーパラメータ値にわたって安定であり、ハイパーパラメータ仕様に対する潜在的堅牢性を示している。

関連論文リスト

• Improving Tree Probability Estimation with Stochastic Optimization and Variance Reduction [11.417249588622926]
  サブスプリットベイズネットワーク(SBN)は木確率推定のための強力な確率的グラフィカルモデルを提供する。 現在、SBNパラメータの学習に使われている期待値(EM)法は、大きなデータセットまでスケールしない。 本稿では,SBNを学習するための計算効率のよい方法をいくつか紹介し,分散化が性能向上の鍵となることを示す。
  論文  参考訳（メタデータ） (2024-09-09T02:22:52Z)
• Forecasting with Hyper-Trees [50.72190208487953]
  Hyper-Treesは時系列モデルのパラメータを学習するために設計されている。 対象とする時系列モデルのパラメータを特徴に関連付けることで、Hyper-Treesはパラメータ非定常性の問題にも対処する。 この新しいアプローチでは、木はまず入力特徴から情報表現を生成し、浅いネットワークはターゲットモデルパラメータにマップする。
  論文  参考訳（メタデータ） (2024-05-13T15:22:15Z)
• Prediction-Oriented Bayesian Active Learning [51.426960808684655]
  予測情報ゲイン(EPIG)は、パラメータではなく予測空間における情報ゲインを測定する。 EPIGは、さまざまなデータセットやモデルにわたるBALDと比較して、予測パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-04-17T10:59:57Z)
• Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
  本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。 我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
  論文  参考訳（メタデータ） (2022-09-19T18:48:00Z)
• Orthogonal Stochastic Configuration Networks with Adaptive Construction Parameter for Data Analytics [6.940097162264939]
  ランダム性により、SCNは冗長で品質の低い近似線形相関ノードを生成する可能性が高まる。 機械学習の基本原理、すなわち、パラメータが少ないモデルでは、一般化が向上する。 本稿では,ネットワーク構造低減のために,低品質な隠れノードをフィルタする直交SCN(OSCN)を提案する。
  論文  参考訳（メタデータ） (2022-05-26T07:07:26Z)
• On Uncertainty Estimation by Tree-based Surrogate Models in Sequential Model-based Optimization [13.52611859628841]
  予測不確実性推定の観点から,ランダム化木の様々なアンサンブルを再検討し,その挙動について検討する。 BwO林と呼ばれる無作為な樹木のアンサンブルを構築するための新しい手法を提案する。 実験により,既存の樹木モデルに対するBwO林の有効性と性能について様々な状況で検証した。
  論文  参考訳（メタデータ） (2022-02-22T04:50:37Z)
• No Parameters Left Behind: Sensitivity Guided Adaptive Learning Rate for Training Large Transformer Models [132.90062129639705]
  本稿では,全てのパラメータを十分に訓練するための新しいトレーニング戦略を提案する。 感度の低いパラメータは冗長であり、学習率を高めて適合性を改善する。 対照的に、高い感度を持つパラメータを十分に訓練し、学習率を下げて正規化することで、さらなる過度なオーバーフィッティングを防止する。
  論文  参考訳（メタデータ） (2022-02-06T00:22:28Z)
• Cluster Regularization via a Hierarchical Feature Regression [0.0]
  本稿では,階層的特徴回帰(HFR)という新しいクラスタベース正規化を提案する。 機械学習とグラフ理論の領域からの洞察を動員し、予測セットの教師付き階層表現に沿ってパラメータを推定する。 経済成長予測への応用は、実証的な環境でのHFRの有効性を示すために用いられる。
  論文  参考訳（メタデータ） (2021-07-10T13:03:01Z)
• An Asymptotically Optimal Multi-Armed Bandit Algorithm and Hyperparameter Optimization [48.5614138038673]
  本稿では,高パラメータ探索評価のシナリオにおいて,SS (Sub-Sampling) と呼ばれる効率的で堅牢な帯域幅に基づくアルゴリズムを提案する。 また,BOSSと呼ばれる新しいパラメータ最適化アルゴリズムを開発した。 実験的な研究は、SSの理論的議論を検証し、多くのアプリケーションにおけるBOSSの優れた性能を実証する。
  論文  参考訳（メタデータ） (2020-07-11T03:15:21Z)
• Multivariate Boosted Trees and Applications to Forecasting and Control [0.0]
  勾配強化木は、特定の損失関数を最小限に抑えるために、逐次モデルフィッティングと勾配降下を利用する非パラメトリック回帰木である。 本稿では,多変量隆起木を適応する計算効率のよいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-08T19:26:59Z)
• Supervised Learning for Non-Sequential Data: A Canonical Polyadic Decomposition Approach [85.12934750565971]
  特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。 この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。 表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
  論文  参考訳（メタデータ） (2020-01-27T22:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。