論文の概要: DNF-Net: A Neural Architecture for Tabular Data
- arxiv url: http://arxiv.org/abs/2006.06465v1
- Date: Thu, 11 Jun 2020 14:21:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 10:01:57.977484
- Title: DNF-Net: A Neural Architecture for Tabular Data
- Title(参考訳): dnf-net: 表データのためのニューラルネットワーク
- Authors: Ami Abutbul, Gal Elidan, Liran Katzir, Ran El-Yaniv
- Abstract要約: ニューラルネットワークの新しい汎用アーキテクチャであるDNF-Netを提案する。
DNF-Netは、アフィン軟閾値決定項上での解離正規形(DNF)の論理ブール式に対応する構造を持つモデルである。
DNF-Nets は表型データよりも FCN を大幅に上回っていることを示す。
- 参考スコア(独自算出の注目度): 21.819029316477227
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A challenging open question in deep learning is how to handle tabular data.
Unlike domains such as image and natural language processing, where deep
architectures prevail, there is still no widely accepted neural architecture
that dominates tabular data. As a step toward bridging this gap, we present
DNF-Net a novel generic architecture whose inductive bias elicits models whose
structure corresponds to logical Boolean formulas in disjunctive normal form
(DNF) over affine soft-threshold decision terms. In addition, DNF-Net promotes
localized decisions that are taken over small subsets of the features. We
present an extensive empirical study showing that DNF-Nets significantly and
consistently outperform FCNs over tabular data. With relatively few
hyperparameters, DNF-Nets open the door to practical end-to-end handling of
tabular data using neural networks. We present ablation studies, which justify
the design choices of DNF-Net including the three inductive bias elements,
namely, Boolean formulation, locality, and feature selection.
- Abstract(参考訳): ディープラーニングにおける挑戦的なオープンな質問は、表データの扱い方だ。
深いアーキテクチャが一般的である画像や自然言語処理のようなドメインとは異なり、表データを支配するニューラルネットワークは広く受け入れられていない。
このギャップを埋める第一歩として、誘導バイアスがアフィン軟閾値決定項上の解法正規形式(DNF)の論理ブール式に対応するモデルを引き出す新しい汎用アーキテクチャDNF-Netを提案する。
さらに、DNF-Netは、機能の小さなサブセットよりも、ローカライズされた決定を促進する。
本研究では, DNF-Nets が表層データよりも大きく, 一貫して FCN を上回っていることを示す実験的検討を行った。
比較的少数のハイパーパラメータにより、DNF-Netはニューラルネットワークを使用して表データの実用的なエンドツーエンド処理の扉を開く。
本稿では,DNF-Netの設計選択,すなわちブール定式化,局所性,特徴選択を含む3つの帰納バイアス要素を正当化するアブレーション研究について述べる。
関連論文リスト
- Tabular Data: Is Attention All You Need? [23.787352248749382]
本稿では、ニューラルネットワークと、構造データ上の勾配ブースト決定木を比較した大規模な実証的研究を紹介する。
これまでの研究とは対照的に、ニューラルネットワークは決定木と競合することを示している。
論文 参考訳(メタデータ) (2024-02-06T12:59:02Z) - Defining Neural Network Architecture through Polytope Structures of Dataset [53.512432492636236]
本稿では, ニューラルネットワーク幅の上下境界を定義し, 問題となるデータセットのポリトープ構造から情報を得る。
本研究では,データセットのポリトープ構造を学習したニューラルネットワークから推定できる逆条件を探索するアルゴリズムを開発した。
MNIST、Fashion-MNIST、CIFAR10といった一般的なデータセットは、顔の少ない2つ以上のポリトップを用いて効率的にカプセル化できることが確立されている。
論文 参考訳(メタデータ) (2024-02-04T08:57:42Z) - Structured Neural Networks for Density Estimation and Causal Inference [15.63518195860946]
ニューラルネットワークに構造を注入することで、入力のサブセットに関する不変性を満たす学習機能を実現することができる。
本稿では,ニューラルネットワークのマスキング経路を通じて構造を注入する構造ニューラルネットワーク(StrNN)を提案する。
論文 参考訳(メタデータ) (2023-11-03T20:15:05Z) - Interpretable Mesomorphic Networks for Tabular Data [25.76214343259399]
我々は,深度と線形性の両方を同時に備えた,解釈可能なニューラルネットワークの新たなクラスを提案する。
我々は、ディープ・ハイパーネットワークを最適化し、インスタンス毎に説明可能な線形モデルを生成する。
論文 参考訳(メタデータ) (2023-05-22T14:41:17Z) - Neural Attentive Circuits [93.95502541529115]
我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。
NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。
NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
論文 参考訳(メタデータ) (2022-10-14T18:00:07Z) - Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a
Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。
本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。
我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文 参考訳(メタデータ) (2022-09-16T06:36:06Z) - Transfer Learning with Deep Tabular Models [66.67017691983182]
上流データにより、グラフニューラルネットワークはGBDTモデルよりも決定的な優位性を示す。
そこで本研究では,表在化学習のための現実的な診断ベンチマークを提案する。
上流と下流の特徴セットが異なる場合の擬似特徴法を提案する。
論文 参考訳(メタデータ) (2022-06-30T14:24:32Z) - A Robust Stacking Framework for Training Deep Graph Models with
Multifaceted Node Features [61.92791503017341]
数値ノード特徴とグラフ構造を入力とするグラフニューラルネットワーク(GNN)は,グラフデータを用いた各種教師付き学習タスクにおいて,優れた性能を示した。
IID(non-graph)データをGNNに簡単に組み込むことはできない。
本稿では、グラフ認識の伝播をIDデータに意図した任意のモデルで融合するロバストな積み重ねフレームワークを提案する。
論文 参考訳(メタデータ) (2022-06-16T22:46:33Z) - TabularNet: A Neural Network Architecture for Understanding Semantic
Structures of Tabular Data [30.479822289380255]
本稿では,テーブルから空間情報と関係情報を同時に抽出する新しいニューラルネットワークアーキテクチャであるTabularNetを提案する。
リレーショナル情報のために,WordNet木に基づく新しいグラフ構築法を設計し,GCNベースのエンコーダを採用する。
私たちのニューラルネットワークアーキテクチャは、さまざまな理解タスクのための統一されたニューラルネットワークバックボーンであり、マルチタスクシナリオで利用できます。
論文 参考訳(メタデータ) (2021-06-06T11:48:09Z) - On the Empirical Neural Tangent Kernel of Standard Finite-Width
Convolutional Neural Network Architectures [3.4698840925433765]
NTK理論が実際に一般的な幅の標準的なニューラルネットワークアーキテクチャをいかにうまくモデル化するかは、まだ明らかな疑問である。
我々はこの疑問を、AlexNetとLeNetという2つのよく知られた畳み込みニューラルネットワークアーキテクチャに対して実証的に研究する。
これらのネットワークのより広いバージョンでは、完全に接続されたレイヤのチャネル数や幅が増加すると、偏差は減少する。
論文 参考訳(メタデータ) (2020-06-24T11:40:36Z) - EdgeNets:Edge Varying Graph Neural Networks [179.99395949679547]
本稿では、EdgeNetの概念を通じて、最先端グラフニューラルネットワーク(GNN)を統一する一般的なフレームワークを提案する。
EdgeNetはGNNアーキテクチャであり、異なるノードが異なるパラメータを使って異なる隣人の情報を測定することができる。
これは、ノードが実行でき、既存のグラフ畳み込みニューラルネットワーク(GCNN)とグラフアテンションネットワーク(GAT)の1つの定式化の下で包含できる一般的な線形で局所的な操作である。
論文 参考訳(メタデータ) (2020-01-21T15:51:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。