論文の概要: Invariant Random Forest: Tree-Based Model Solution for OOD Generalization

• arxiv url: http://arxiv.org/abs/2312.04273v3
• Date: Thu, 18 Jan 2024 01:52:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-19 19:33:53.244792
• Title: Invariant Random Forest: Tree-Based Model Solution for OOD Generalization
• Title（参考訳）: invariant random forest: ood一般化のための木ベースモデル解
• Authors: Yufan Liao, Qi Wu, Xing Yan
• Abstract要約: Invariant Decision Tree (IDT) と呼ばれる決定木モデルのOOD一般化のための新しい効果的な解を提案する。 IDTは、木の成長中に異なる環境にまたがる分裂の不安定で変動的な挙動に関して、ペナルティ項を強制する。 提案手法は, 温和な条件下での理論的結果によって動機付けられ, 合成データと実データの両方を用いて数値実験により検証される。
• 参考スコア（独自算出の注目度）: 13.259844672078552
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Out-Of-Distribution (OOD) generalization is an essential topic in machine learning. However, recent research is only focusing on the corresponding methods for neural networks. This paper introduces a novel and effective solution for OOD generalization of decision tree models, named Invariant Decision Tree (IDT). IDT enforces a penalty term with regard to the unstable/varying behavior of a split across different environments during the growth of the tree. Its ensemble version, the Invariant Random Forest (IRF), is constructed. Our proposed method is motivated by a theoretical result under mild conditions, and validated by numerical tests with both synthetic and real datasets. The superior performance compared to non-OOD tree models implies that considering OOD generalization for tree models is absolutely necessary and should be given more attention.
• Abstract（参考訳）: Out-Of-Distribution (OOD) の一般化は機械学習において重要なトピックである。 しかし、最近の研究は、ニューラルネットワークの対応する方法のみに焦点を当てている。 Invariant Decision Tree (IDT) と呼ばれる決定木モデルのOOD一般化のための新しい効果的な解を提案する。 IDTは、木の成長中に異なる環境にまたがる分裂の不安定で変動的な挙動に関して、ペナルティ項を強制する。 そのアンサンブル版である不変ランダムフォレスト(irf)が構築されている。 提案手法は,温和な条件下での理論的結果に動機づけられ,合成データと実データの両方を用いた数値実験により検証された。 非OOD木モデルに比べて優れた性能は、木モデルのOOD一般化を考えることが絶対必要であり、より多くの注意を払わなければならないことを意味する。

関連論文リスト

• Learning a Decision Tree Algorithm with Transformers [80.49817544396379]
  本稿では,従来のアルゴリズムから出力されたフィルタを用いてトランスフォーマーモデルを用いて,分類のための強力な決定木を生成するメタトレーについて紹介する。 次にMetaTreeをトレーニングして、強力な一般化パフォーマンスを実現するツリーを生成します。
  論文  参考訳（メタデータ） (2024-02-06T07:40:53Z)
• Why do Random Forests Work? Understanding Tree Ensembles as Self-Regularizing Adaptive Smoothers [68.76846801719095]
  統計学で広く普及している偏りと分散還元に対する現在の高次二分法は、木のアンサンブルを理解するには不十分である、と我々は主張する。 森林は、通常暗黙的に絡み合っている3つの異なるメカニズムによって、樹木を改良できることを示す。
  論文  参考訳（メタデータ） (2024-02-02T15:36:43Z)
• Era Splitting: Invariant Learning for Decision Trees [0.0]
  実生活における機械学習の問題は、ある時間から別の時間、あるいはある場所から別の場所へのデータの分散シフトを示す。 アウト・オブ・ディストリビューションの一般化の新たな分野は、新しい理論とアルゴリズムによってこの現実に対処する。 決定木に対する2つの新たな分割基準を開発し,OOD一般化研究のアイデアを決定木モデルに適用する。
  論文  参考訳（メタデータ） (2023-09-25T19:45:45Z)
• SETAR-Tree: A Novel and Accurate Tree Algorithm for Global Time Series Forecasting [7.206754802573034]
  本稿では,TARモデルと回帰木との密接な関係について検討する。 本研究では,葉のグローバルプール回帰(PR)モデルをトレーニングする,予測固有木アルゴリズムを提案する。 本評価では, 提案した樹木モデルと森林モデルを用いて, 最先端の樹木モデルよりも精度の高い木モデルを提案する。
  論文  参考訳（メタデータ） (2022-11-16T04:30:42Z)
• Hierarchical Shrinkage: improving the accuracy and interpretability of tree-based methods [10.289846887751079]
  木構造を改変しないポストホックアルゴリズムである階層収縮(Hierarchical Shrinkage, HS)を導入する。 HSは、他の正規化技術と併用しても、決定木の予測性能を大幅に向上させる。 すべてのコードとモデルはGithubにある本格的なパッケージでリリースされている。
  論文  参考訳（メタデータ） (2022-02-02T02:43:23Z)
• A cautionary tale on fitting decision trees to data from additive models: generalization lower bounds [9.546094657606178]
  本研究では,異なる回帰モデルに対する決定木の一般化性能について検討する。 これにより、アルゴリズムが新しいデータに一般化するために(あるいは作らない)仮定する帰納的バイアスが引き起こされる。 スパース加法モデルに適合する大規模な決定木アルゴリズムに対して、シャープな2乗誤差一般化を低い境界で証明する。
  論文  参考訳（メタデータ） (2021-10-18T21:22:40Z)
• Towards a Theoretical Framework of Out-of-Distribution Generalization [28.490842160921805]
  オフ・オブ・ディストリビューション(OOD)データへの一般化(ドメイン一般化)は、現代の機械学習における中心的な問題の一つである。 本研究は,OOD問題の厳密かつ定量的な定義に向けての第一歩を踏み出したものである。
  論文  参考訳（メタデータ） (2021-06-08T16:32:23Z)
• Growing Deep Forests Efficiently with Soft Routing and Learned Connectivity [79.83903179393164]
  この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。 我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。 MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
  論文  参考訳（メタデータ） (2020-12-29T18:05:05Z)
• Rectified Decision Trees: Exploring the Landscape of Interpretable and Effective Machine Learning [66.01622034708319]
  我々は,reDT(rerectified decision tree)と呼ばれる知識蒸留に基づく決定木拡張を提案する。 我々は,ソフトラベルを用いたトレーニングを可能にする標準決定木の分割基準と終了条件を拡張した。 次に,教師モデルから抽出したソフトラベルに基づいて,新しいジャックニフェ法を用いてReDTを訓練する。
  論文  参考訳（メタデータ） (2020-08-21T10:45:25Z)
• MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
  動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。 当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
  論文  参考訳（メタデータ） (2020-07-24T17:06:55Z)
• ENTMOOT: A Framework for Optimization over Ensemble Tree Models [57.98561336670884]
  ENTMOOTは、ツリーモデルをより大きな最適化問題に統合するためのフレームワークである。 ENTMOOTは、ツリーモデルの意思決定とブラックボックス最適化への単純な統合を可能にしていることを示す。
  論文  参考訳（メタデータ） (2020-03-10T14:34:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。