論文の概要: Bayesian post-hoc regularization of random forests

• arxiv url: http://arxiv.org/abs/2306.03702v1
• Date: Tue, 6 Jun 2023 14:15:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 15:16:52.648031
• Title: Bayesian post-hoc regularization of random forests
• Title（参考訳）: ランダム森林のベイズ後正規化
• Authors: Bastian Pfeifer
• Abstract要約: Random Forestsは、さまざまな機械学習タスクで広く使われている強力なアンサンブル学習アルゴリズムである。 そこで本研究では,葉ノードが根に近づいた場合の信頼性パターンを活用するために,ポストホック正則化を提案する。 各種機械学習データセットを用いて,本手法の性能評価を行った。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Random Forests are powerful ensemble learning algorithms widely used in various machine learning tasks. However, they have a tendency to overfit noisy or irrelevant features, which can result in decreased generalization performance. Post-hoc regularization techniques aim to mitigate this issue by modifying the structure of the learned ensemble after its training. Here, we propose Bayesian post-hoc regularization to leverage the reliable patterns captured by leaf nodes closer to the root, while potentially reducing the impact of more specific and potentially noisy leaf nodes deeper in the tree. This approach allows for a form of pruning that does not alter the general structure of the trees but rather adjusts the influence of leaf nodes based on their proximity to the root node. We have evaluated the performance of our method on various machine learning data sets. Our approach demonstrates competitive performance with the state-of-the-art methods and, in certain cases, surpasses them in terms of predictive accuracy and generalization.
• Abstract（参考訳）: Random Forestsは、さまざまな機械学習タスクで広く使われている強力なアンサンブル学習アルゴリズムである。 しかし、ノイズや無関係な特徴に過度に適合する傾向があり、一般化性能が低下する可能性がある。 ポストホック正規化技術は、トレーニング後の学習アンサンブルの構造を変更してこの問題を緩和することを目的としている。 そこで本研究では,葉ノードが根に近づいた場合の信頼性の高いパターンを活用すべく,ベイズポストホック正規化を提案する。 このアプローチにより、木の一般的な構造を変化させるのではなく、ルートノードに近接して葉ノードの影響を調整することができる。 各種機械学習データセットを用いて,本手法の性能評価を行った。 提案手法は,最先端手法と競合する性能を示し,予測精度と一般化の点でその性能を上回っている。

関連論文リスト

• Can a Single Tree Outperform an Entire Forest? [5.448070998907116]
  一般的な考え方は、単一の決定木は、テスト精度において古典的なランダムな森林を過小評価する。 本研究では,斜め回帰木の試験精度を大幅に向上させることで,このような考え方に挑戦する。 本手法は,木習熟を非制約最適化タスクとして再編成する。
  論文  参考訳（メタデータ） (2024-11-26T00:18:18Z)
• Learning a Decision Tree Algorithm with Transformers [75.96920867382859]
  メタ学習によってトレーニングされたトランスフォーマーベースのモデルであるMetaTreeを導入し、強力な決定木を直接生成する。 我々は、多くのデータセットに欲求決定木とグローバルに最適化された決定木の両方を適合させ、MetaTreeを訓練して、強力な一般化性能を実現する木のみを生成する。
  論文  参考訳（メタデータ） (2024-02-06T07:40:53Z)
• Why do Random Forests Work? Understanding Tree Ensembles as Self-Regularizing Adaptive Smoothers [68.76846801719095]
  統計学で広く普及している偏りと分散還元に対する現在の高次二分法は、木のアンサンブルを理解するには不十分である、と我々は主張する。 森林は、通常暗黙的に絡み合っている3つの異なるメカニズムによって、樹木を改良できることを示す。
  論文  参考訳（メタデータ） (2024-02-02T15:36:43Z)
• Conceptual Views on Tree Ensemble Classifiers [0.0]
  ランダムフォレストと関連するツリーベースの手法は、テーブルベースのデータから教師付き学習に人気がある。 並列化の容易さとは別に 分類性能も優れています この不利を補うために統計手法が用いられることが多いが、局所的な説明、特にグローバルな説明の能力は限られている。
  論文  参考訳（メタデータ） (2023-02-10T14:33:21Z)
• ForestPrune: Compact Depth-Controlled Tree Ensembles [7.538482310185135]
  我々は,個々の木から深度層を刈り取ることで,木アンサンブルを後処理する新しいフレームワークであるフォレストプルーを紹介する。 本研究では,フォレストプルーネにおける問題に対する高品質な解を効率的に得るための最適化アルゴリズムを開発した。 実験により、フォレストプルーンは既存の後処理アルゴリズムによって抽出されたモデルより優れたパシモニアスモデルを生成することを示した。
  論文  参考訳（メタデータ） (2022-05-31T22:04:18Z)
• Hierarchical Shrinkage: improving the accuracy and interpretability of tree-based methods [10.289846887751079]
  木構造を改変しないポストホックアルゴリズムである階層収縮(Hierarchical Shrinkage, HS)を導入する。 HSは、他の正規化技術と併用しても、決定木の予測性能を大幅に向上させる。 すべてのコードとモデルはGithubにある本格的なパッケージでリリースされている。
  論文  参考訳（メタデータ） (2022-02-02T02:43:23Z)
• Optimal randomized classification trees [0.0]
  分類と回帰木(英: Classification and Regression Trees、CART)は、現代の統計学と機械学習における既成の技術である。 CARTはgreedyプロシージャによって構築され、分割予測変数と関連するしきい値を逐次決定する。 この強欲なアプローチは、木を非常に高速に木に分類するが、その性質上、それらの分類精度は他の最先端の手順と競合しないかもしれない。
  論文  参考訳（メタデータ） (2021-10-19T11:41:12Z)
• Growing Deep Forests Efficiently with Soft Routing and Learned Connectivity [79.83903179393164]
  この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。 我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。 MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
  論文  参考訳（メタデータ） (2020-12-29T18:05:05Z)
• Neural Pruning via Growing Regularization [82.9322109208353]
  プルーニングの2つの中心的な問題:プルーニングのスケジュールと重み付けの重要度だ。 具体的には, ペナルティ要因が増大するL2正規化変種を提案し, 精度が著しく向上することを示した。 提案アルゴリズムは,構造化プルーニングと非構造化プルーニングの両方において,大規模データセットとネットワークの実装が容易かつスケーラブルである。
  論文  参考訳（メタデータ） (2020-12-16T20:16:28Z)
• An Efficient Adversarial Attack for Tree Ensembles [91.05779257472675]
  傾斜促進決定木(DT)や無作為林(RF)などの木に基づくアンサンブルに対する敵対的攻撃 提案手法は,従来のMILP (Mixed-integer linear programming) よりも数千倍高速であることを示す。 私たちのコードはhttps://chong-z/tree-ensemble- attackで利用可能です。
  論文  参考訳（メタデータ） (2020-10-22T10:59:49Z)
• MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
  動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。 当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
  論文  参考訳（メタデータ） (2020-07-24T17:06:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。