論文の概要: Learning Decision Trees as Amortized Structure Inference

• arxiv url: http://arxiv.org/abs/2503.06985v1
• Date: Mon, 10 Mar 2025 07:05:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:46:43.770672
• Title: Learning Decision Trees as Amortized Structure Inference
• Title（参考訳）: 記憶構造推論としての決定木学習
• Authors: Mohammed Mahfoud, Ghait Boukachab, Michał Koziarski, Alex Hernandez-Garcia, Stefan Bauer, Yoshua Bengio, Nikolay Malkin,
• Abstract要約: 本稿では,予測決定木アンサンブルを学習するためのハイブリッドアモータイズされた構造推論手法を提案する。 提案手法であるDT-GFNは,標準分類ベンチマークにおける最先端決定木やディープラーニング手法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 59.65621207449269
• License:
• Abstract: Building predictive models for tabular data presents fundamental challenges, notably in scaling consistently, i.e., more resources translating to better performance, and generalizing systematically beyond the training data distribution. Designing decision tree models remains especially challenging given the intractably large search space, and most existing methods rely on greedy heuristics, while deep learning inductive biases expect a temporal or spatial structure not naturally present in tabular data. We propose a hybrid amortized structure inference approach to learn predictive decision tree ensembles given data, formulating decision tree construction as a sequential planning problem. We train a deep reinforcement learning (GFlowNet) policy to solve this problem, yielding a generative model that samples decision trees from the Bayesian posterior. We show that our approach, DT-GFN, outperforms state-of-the-art decision tree and deep learning methods on standard classification benchmarks derived from real-world data, robustness to distribution shifts, and anomaly detection, all while yielding interpretable models with shorter description lengths. Samples from the trained DT-GFN model can be ensembled to construct a random forest, and we further show that the performance of scales consistently in ensemble size, yielding ensembles of predictors that continue to generalize systematically.
• Abstract（参考訳）: 表形式のデータに対する予測モデルの構築は、特に連続的なスケーリング、すなわち、より良いパフォーマンスに変換されるより多くのリソースのスケーリング、およびトレーニングデータ分布を超えて体系的に一般化において、基本的な課題を示している。 決定木モデルの設計は、非常に大きな探索空間を考えると、特に困難なままであり、既存のほとんどの手法は強欲なヒューリスティックに依存しているが、深層学習誘導バイアスは、表形式データに自然に存在しない時間構造や空間構造を期待している。 本稿では,予測決定木アンサンブルを学習するためのハイブリッド・アモータイズド構造推論手法を提案し,決定木構築を逐次計画問題として定式化する。 我々は,この問題を解決するために,ベイズ後部から決定木を抽出する生成モデルを用いて,深層強化学習(GFlowNet)政策を訓練する。 提案手法であるDT-GFNは,記述長の短い解釈可能なモデルを作成しながら,実世界のデータ,分布シフトに対するロバスト性,異常検出から得られた標準分類ベンチマークにおいて,最先端決定木やディープラーニング手法よりも優れていることを示す。 訓練されたDT-GFNモデルからのサンプルをアンサンブルしてランダムな森林を構築することが可能であり、さらに、スケールの性能が一貫してアンサンブルサイズであり、体系的に一般化し続ける予測器のアンサンブルが得られることを示す。

関連論文リスト

• Zero-Shot Decision Tree Construction via Large Language Models [2.005837558796176]
  本稿では,大言語モデル(LLM)を用いた決定木構築アルゴリズムについて,分類・回帰木(CART)の原理に基づくゼロショット方式で紹介する。 提案手法では, 属性の離散化, 確率計算, Giniインデックス計算など, 決定木構築に必要な演算を行う。
  論文  参考訳（メタデータ） (2025-01-27T17:48:48Z)
• Structural Entropy Guided Probabilistic Coding [52.01765333755793]
  構造エントロピー誘導型確率的符号化モデルSEPCを提案する。 我々は、構造エントロピー正規化損失を提案することにより、潜在変数間の関係を最適化に組み込む。 分類タスクと回帰タスクの両方を含む12の自然言語理解タスクに対する実験結果は、SEPCの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-12-12T00:37:53Z)
• Revisiting Nearest Neighbor for Tabular Data: A Deep Tabular Baseline Two Decades Later [76.66498833720411]
  K$-nearest neighbors (KNN) はもともと,インスタンス間のセマンティックな類似性を捉えるために線形投影を学習するために設計されたものだ。 意外なことに、SGDを用いたNAAの実装と次元減少のない実装は、表データの良好な性能をすでに達成しています。 本稿では、損失関数、予測戦略、深いアーキテクチャなど、これらの改善の背景にある要因を分析して、論文を締めくくる。
  論文  参考訳（メタデータ） (2024-07-03T16:38:57Z)
• Learning accurate and interpretable decision trees [27.203303726977616]
  我々は、同じドメインから繰り返しデータにアクセスして決定木学習アルゴリズムを設計するためのアプローチを開発する。 本研究では,ベイズ決定木学習における事前パラメータのチューニングの複雑さについて検討し,その結果を決定木回帰に拡張する。 また、学習した決定木の解釈可能性について検討し、決定木を用いた説明可能性と精度のトレードオフを最適化するためのデータ駆動型アプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-24T20:10:10Z)
• Order-based Structure Learning with Normalizing Flows [7.972479571606131]
  観測データの因果構造を推定することは、グラフサイズと超指数的にスケールする難しい探索問題である。 既存の手法では、連続緩和を用いてこの問題を計算的に取り扱えるようにしているが、しばしばデータ生成過程を加法雑音モデル(ANM)に制限する。 自己回帰正規化フローを用いてこれらの仮定を緩和するフレームワークである,正規化フローを用いた秩序に基づく構造学習(OSLow)を提案する。
  論文  参考訳（メタデータ） (2023-08-14T22:17:33Z)
• Hierarchical clustering with dot products recovers hidden tree structure [53.68551192799585]
  本稿では,階層構造の回復に着目した凝集クラスタリングアルゴリズムの新しい視点を提案する。 クラスタを最大平均点積でマージし、例えば最小距離やクラスタ内分散でマージしないような、標準的なアルゴリズムの単純な変種を推奨する。 このアルゴリズムにより得られた木は、汎用確率的グラフィカルモデルの下で、データ中の生成的階層構造をボナフェイド推定することを示した。
  論文  参考訳（メタデータ） (2023-05-24T11:05:12Z)
• SETAR-Tree: A Novel and Accurate Tree Algorithm for Global Time Series Forecasting [7.206754802573034]
  本稿では,TARモデルと回帰木との密接な関係について検討する。 本研究では,葉のグローバルプール回帰(PR)モデルをトレーニングする,予測固有木アルゴリズムを提案する。 本評価では, 提案した樹木モデルと森林モデルを用いて, 最先端の樹木モデルよりも精度の高い木モデルを提案する。
  論文  参考訳（メタデータ） (2022-11-16T04:30:42Z)
• Amortized Inference for Causal Structure Learning [72.84105256353801]
  因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。 本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。 我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
  論文  参考訳（メタデータ） (2022-05-25T17:37:08Z)
• Treeging [0.0]
  木組みは回帰木の柔軟な平均構造と、アンサンブル予測アルゴリズムのベース学習者へのクリグの共分散に基づく予測戦略を組み合わせる。 本研究では,空間及び時空シミュレーションシナリオの網羅的かつ広範囲な電池を横断するツリーングの予測精度について検討した。
  論文  参考訳（メタデータ） (2021-10-03T17:48:18Z)
• Structural Learning of Probabilistic Sentential Decision Diagrams under Partial Closed-World Assumption [127.439030701253]
  確率感性決定図は構造化分解可能な回路のクラスである。 本稿では,回路の論理的基盤を暗黙的に提供する部分閉世界仮定に基づく新しいスキームを提案する。 予備実験では、提案手法がトレーニングデータに適切に適合し、基礎となる論理的基盤と整合性を維持した上で、テストデータによく適合することを示した。
  論文  参考訳（メタデータ） (2021-07-26T12:01:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。