論文の概要: NCART: Neural Classification and Regression Tree for Tabular Data
- arxiv url: http://arxiv.org/abs/2307.12198v1
- Date: Sun, 23 Jul 2023 01:27:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-25 17:19:34.700705
- Title: NCART: Neural Classification and Regression Tree for Tabular Data
- Title（参考訳）: ncart: 表データのための神経分類と回帰木
- Authors: Jiaqi Luo, Shixin Xu
- Abstract要約: NCARTはResidual Networksの修正版で、完全に接続されたレイヤを複数の識別不能な決定木で置き換える。
ニューラルネットワークのエンドツーエンド能力の恩恵を受けながら、解釈可能性を維持している。
NCARTアーキテクチャの単純さは、さまざまなサイズのデータセットに適している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning models have become popular in the analysis of tabular data, as
they address the limitations of decision trees and enable valuable applications
like semi-supervised learning, online learning, and transfer learning. However,
these deep-learning approaches often encounter a trade-off. On one hand, they
can be computationally expensive when dealing with large-scale or
high-dimensional datasets. On the other hand, they may lack interpretability
and may not be suitable for small-scale datasets. In this study, we propose a
novel interpretable neural network called Neural Classification and Regression
Tree (NCART) to overcome these challenges. NCART is a modified version of
Residual Networks that replaces fully-connected layers with multiple
differentiable oblivious decision trees. By integrating decision trees into the
architecture, NCART maintains its interpretability while benefiting from the
end-to-end capabilities of neural networks. The simplicity of the NCART
architecture makes it well-suited for datasets of varying sizes and reduces
computational costs compared to state-of-the-art deep learning models.
Extensive numerical experiments demonstrate the superior performance of NCART
compared to existing deep learning models, establishing it as a strong
competitor to tree-based models.
- Abstract（参考訳）: 深層学習モデルは、決定木の限界に対処し、半教師付き学習、オンライン学習、転帰学習といった貴重な応用を可能にするため、表形式のデータ分析で人気がある。
しかし、これらのディープラーニングアプローチはしばしばトレードオフに遭遇する。
一方、大規模なデータセットや高次元データセットを扱う場合、計算コストが高い場合がある。
一方、解釈性に欠ける可能性があり、小規模なデータセットには適さない可能性がある。
本研究では,これらの課題を克服するために,ニューラル分類と回帰木(NCART)と呼ばれる新しい解釈可能なニューラルネットワークを提案する。
ncartは残差ネットワークの修正版で、完全接続層を複数の可微分可換決定木に置き換える。
アーキテクチャに決定木を統合することで、NCARTはニューラルネットワークのエンドツーエンド機能の恩恵を受けながら、解釈可能性を維持している。
NCARTアーキテクチャの単純さにより、さまざまなサイズのデータセットに適しており、最先端のディープラーニングモデルと比較して計算コストを削減できる。
広範な数値実験により、ncartは既存のディープラーニングモデルよりも優れた性能を示し、木ベースのモデルとの強力な競合として確立された。
関連論文リスト
- Escaping the Forest: Sparse Interpretable Neural Networks for Tabular Data [0.0]
我々のモデルであるSparse TABular NET や sTAB-Net がツリーベースモデルよりも効果的であることを示す。
SHAPのようなポストホックメソッドよりも優れたパフォーマンスを実現している。
論文 参考訳（メタデータ） (2024-10-23T10:50:07Z) - Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
本稿では,重み空間学習におけるSANEアプローチを紹介する。
ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
論文 参考訳（メタデータ） (2024-06-14T13:12:07Z) - Tabular Data: Is Attention All You Need? [23.787352248749382]
本稿では、ニューラルネットワークと、構造データ上の勾配ブースト決定木を比較した大規模な実証的研究を紹介する。
これまでの研究とは対照的に、ニューラルネットワークは決定木と競合することを示している。
論文 参考訳（メタデータ） (2024-02-06T12:59:02Z) - Homological Convolutional Neural Networks [4.615338063719135]
本稿では,トポロジ的に制約されたネットワーク表現を通じて,データ構造構造を利用した新しいディープラーニングアーキテクチャを提案する。
5つの古典的な機械学習モデルと3つのディープラーニングモデルに対して、18のベンチマークデータセットでモデルをテストします。
論文 参考訳（メタデータ） (2023-08-26T08:48:51Z) - Neural Attentive Circuits [93.95502541529115]
我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。
NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。
NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
論文 参考訳（メタデータ） (2022-10-14T18:00:07Z) - Transfer Learning with Deep Tabular Models [66.67017691983182]
上流データにより、グラフニューラルネットワークはGBDTモデルよりも決定的な優位性を示す。
そこで本研究では,表在化学習のための現実的な診断ベンチマークを提案する。
上流と下流の特徴セットが異なる場合の擬似特徴法を提案する。
論文 参考訳（メタデータ） (2022-06-30T14:24:32Z) - Transformer-Based Behavioral Representation Learning Enables Transfer
Learning for Mobile Sensing in Small Datasets [4.276883061502341]
時系列から一般化可能な特徴表現を学習できるモバイルセンシングデータのためのニューラルネットワークフレームワークを提供する。
このアーキテクチャは、CNNとTrans-formerアーキテクチャの利点を組み合わせて、より良い予測性能を実現する。
論文 参考訳（メタデータ） (2021-07-09T22:26:50Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - From Boltzmann Machines to Neural Networks and Back Again [31.613544605376624]
制限ボルツマンマシン(Restricted Boltzmann Machines)は、おそらく最もよく研究されている潜在変数モデルのクラスである。
我々の結果は、$ell_infty$bounded inputの下で二層ニューラルネットワークを学習するための新しい接続に基づいている。
次に,分散仮定を使わずに,関連するネットワークのクラスに対して可能なものよりも,より優れたランタイムで教師付きRAMの自然なクラスを学習するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-07-25T00:42:50Z) - Neural Additive Models: Interpretable Machine Learning with Neural Nets [77.66871378302774]
ディープニューラルネットワーク(DNN)は、さまざまなタスクにおいて優れたパフォーマンスを達成した強力なブラックボックス予測器である。
本稿では、DNNの表現性と一般化した加法モデルの固有知性を組み合わせたニューラル付加モデル(NAM)を提案する。
NAMは、ニューラルネットワークの線形結合を学び、それぞれが単一の入力機能に付随する。
論文 参考訳（メタデータ） (2020-04-29T01:28:32Z) - Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。
このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる
このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文 参考訳（メタデータ） (2020-03-13T13:11:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。