論文の概要: RO-FIGS: Efficient and Expressive Tree-Based Ensembles for Tabular Data

• arxiv url: http://arxiv.org/abs/2504.06927v1
• Date: Wed, 09 Apr 2025 14:35:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-10 13:05:42.180459
• Title: RO-FIGS: Efficient and Expressive Tree-Based Ensembles for Tabular Data
• Title（参考訳）: RO-FIGS: 語彙データのための効率よく表現力のある木に基づくアンサンブル
• Authors: Urška Matjašec, Nikola Simidjievski, Mateja Jamnik,
• Abstract要約: ツリーベースモデルは非形式的特徴に対して堅牢であり、非滑らかで複雑な決定境界を正確に捉えることができる。 我々はRandom oblique Fast Interpretable Greedy-Tree Sums (RO-FIGS)を提案する。 RO-FIGSはFast Interpretable Greedy-Tree Sumsの上に構築され、斜めまたは多変量分割で木を学習することで拡張する。 RO-FIGSを22の実世界のデータセット上で評価し、他の木とニューラルネットワークに基づく手法よりも優れた性能とはるかに小さなモデルを示す。
• 参考スコア（独自算出の注目度）: 10.610270769561811
• License:
• Abstract: Tree-based models are often robust to uninformative features and can accurately capture non-smooth, complex decision boundaries. Consequently, they often outperform neural network-based models on tabular datasets at a significantly lower computational cost. Nevertheless, the capability of traditional tree-based ensembles to express complex relationships efficiently is limited by using a single feature to make splits. To improve the efficiency and expressiveness of tree-based methods, we propose Random Oblique Fast Interpretable Greedy-Tree Sums (RO-FIGS). RO-FIGS builds on Fast Interpretable Greedy-Tree Sums, and extends it by learning trees with oblique or multivariate splits, where each split consists of a linear combination learnt from random subsets of features. This helps uncover interactions between features and improves performance. The proposed method is suitable for tabular datasets with both numerical and categorical features. We evaluate RO-FIGS on 22 real-world tabular datasets, demonstrating superior performance and much smaller models over other tree- and neural network-based methods. Additionally, we analyse their splits to reveal valuable insights into feature interactions, enriching the information learnt from SHAP summary plots, and thereby demonstrating the enhanced interpretability of RO-FIGS models. The proposed method is well-suited for applications, where balance between accuracy and interpretability is essential.
• Abstract（参考訳）: ツリーベースのモデルは、しばしば非形式的特徴に対して堅牢であり、非滑らかで複雑な決定境界を正確に捉えることができる。 その結果、計算コストが大幅に低いグラフデータセット上で、ニューラルネットワークベースのモデルを上回ることがしばしばある。 それでも、伝統的な木に基づくアンサンブルが複雑な関係を効率的に表現する能力は、ひとつの特徴を使って分割する能力によって制限される。 木に基づく手法の効率性と表現性を向上するため,Random Oblique Fast Interpretable Greedy-Tree Sums (RO-FIGS)を提案する。 RO-FIGSはFast Interpretable Greedy-Tree Sums上に構築され、斜めまたは多変数の分割で木を学習することで拡張する。 これにより、機能間の相互作用が解明され、パフォーマンスが向上する。 提案手法は,数値的特徴と分類的特徴の両方を有する表型データセットに適している。 RO-FIGSを実世界の22のグラフデータセット上で評価し、他の木とニューラルネットワークに基づく手法よりも優れた性能とはるかに小さなモデルを示す。 さらに、これらの分割を分析し、特徴相互作用に関する貴重な洞察を明らかにし、SHAP要約プロットから学習した情報を豊かにし、RO-FIGSモデルの強化された解釈可能性を示す。 提案手法は,精度と解釈可能性のバランスが不可欠であるアプリケーションに適している。

関連論文リスト

• Efficient Multi-Agent System Training with Data Influence-Oriented Tree Search [59.75749613951193]
  木探索とデータ選択の両方をガイドするデータインフルエンス指向木探索(DITS)を提案する。 インフルエンススコアを活用することで、システム改善のための最も影響力のあるデータを効果的に特定する。 非微分不可能な指標に適した影響スコア推定法を導出する。
  論文  参考訳（メタデータ） (2025-02-02T23:20:16Z)
• Escaping the Forest: Sparse Interpretable Neural Networks for Tabular Data [0.0]
  我々のモデルであるSparse TABular NET や sTAB-Net がツリーベースモデルよりも効果的であることを示す。 SHAPのようなポストホックメソッドよりも優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-10-23T10:50:07Z)
• Optimized Feature Generation for Tabular Data via LLMs with Decision Tree Reasoning [53.241569810013836]
  本稿では,大規模言語モデル(LLM)を用いて,効率的な特徴生成ルールを同定するフレームワークを提案する。 我々は、自然言語で容易に表現できるため、この推論情報を伝達するために決定木を使用します。 OCTreeは様々なベンチマークで様々な予測モデルの性能を継続的に向上させる。
  論文  参考訳（メタデータ） (2024-06-12T08:31:34Z)
• Beyond TreeSHAP: Efficient Computation of Any-Order Shapley Interactions for Tree Ensembles [6.664930499708017]
  シェープリー値(Shapley value, SV)は、予測の付加的特徴属性を定量化するための説明可能な人工知能(XAI)研究における概念である。 TreeSHAP-IQは木モデル予測のための任意の順序加法シャプリー相互作用を効率的に計算する手法である。
  論文  参考訳（メタデータ） (2024-01-22T16:08:41Z)
• GRANDE: Gradient-Based Decision Tree Ensembles for Tabular Data [9.107782510356989]
  そこで本研究では,エンドツーエンドの勾配勾配勾配を用いた軸方向決定木アンサンブルの学習手法を提案する。 Grandeはツリーアンサンブルの密度の高い表現に基づいており、ストレートスルー演算子でバックプロパゲーションを使用することができる。 提案手法は,ほとんどのデータセットにおいて,既存の勾配ブースティングおよびディープラーニングフレームワークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-09-29T10:49:14Z)
• Unboxing Tree Ensembles for interpretability: a hierarchical visualization tool and a multivariate optimal re-built tree [0.34530027457862006]
  我々は,木組モデルの解釈可能な表現を開発し,その振る舞いに関する貴重な洞察を提供する。 提案モデルは,木組決定関数を近似した浅い解釈可能な木を得るのに有効である。
  論文  参考訳（メタデータ） (2023-02-15T10:43:31Z)
• Ordinal Graph Gamma Belief Network for Social Recommender Systems [54.9487910312535]
  我々は,階層型ベイズモデルであるオーディナルグラフファクター解析(OGFA)を開発し,ユーザ・イテムとユーザ・ユーザインタラクションを共同でモデル化する。 OGFAは、優れたレコメンデーションパフォーマンスを達成するだけでなく、代表ユーザの好みに応じた解釈可能な潜在因子も抽出する。 我々はOGFAを,マルチ確率層深層確率モデルであるオーディナルグラフガンマ信念ネットワークに拡張する。
  論文  参考訳（メタデータ） (2022-09-12T09:19:22Z)
• Learning compositional structures for semantic graph parsing [81.41592892863979]
  本稿では、AM依存性解析をニューラル潜在変数モデルで直接トレーニングする方法を示す。 本モデルでは,いくつかの言語現象を独自に把握し,教師あり学習に匹敵する精度を達成している。
  論文  参考訳（メタデータ） (2021-06-08T14:20:07Z)
• Deep Reinforcement Learning of Graph Matching [63.469961545293756]
  ノードとペアの制約下でのグラフマッチング(GM)は、最適化からコンピュータビジョンまでの領域におけるビルディングブロックである。 GMのための強化学習ソルバを提案する。 rgmはペアワイズグラフ間のノード対応を求める。 本手法は,フロントエンドの特徴抽出と親和性関数学習に焦点をあてるという意味において,従来のディープグラフマッチングモデルと異なる。
  論文  参考訳（メタデータ） (2020-12-16T13:48:48Z)
• Out-of-distribution Generalization via Partial Feature Decorrelation [72.96261704851683]
  本稿では,特徴分解ネットワークと対象画像分類モデルとを協調的に最適化する,PFDL(Partial Feature Deorrelation Learning)アルゴリズムを提案する。 実世界のデータセットを用いた実験により,OOD画像分類データセットにおけるバックボーンモデルの精度が向上することを示した。
  論文  参考訳（メタデータ） (2020-07-30T05:48:48Z)
• FREEtree: A Tree-based Approach for High Dimensional Longitudinal Data With Correlated Features [2.00191482700544]
  FREEtreeは高次元長手データと相関する特徴を持つ木に基づく手法である。 重み付き相関ネットワーク分析を用いて、まずそれらをクラスタリングすることで、特徴のネットワーク構造を利用する。 次に、各機能のクラスタ内でスクリーニングステップを実行し、残る機能の中から選択ステップを実行します。
  論文  参考訳（メタデータ） (2020-06-17T07:28:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。