論文の概要: TabKANet: Tabular Data Modeling with Kolmogorov-Arnold Network and Transformer
- arxiv url: http://arxiv.org/abs/2409.08806v2
- Date: Wed, 2 Oct 2024 06:22:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-07 21:09:04.530058
- Title: TabKANet: Tabular Data Modeling with Kolmogorov-Arnold Network and Transformer
- Title（参考訳）: TabKANet: Kolmogorov-Arnold Network と Transformer による語彙データモデリング
- Authors: Weihao Gao, Zheng Gong, Zhuo Deng, Fuju Rong, Chucheng Chen, Lan Ma,
- Abstract要約: TabKANetは数値コンテンツから学習するモデルである。
ニューラルネットワーク(NN)と比較してパフォーマンスが優れている。
私たちのコードはGitHubで公開されています。
- 参考スコア（独自算出の注目度）: 12.237450884462888
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tabular data is the most common type of data in real-life scenarios. In this study, we propose the TabKANet model for tabular data modeling, which targets the bottlenecks in learning from numerical content. We constructed a Kolmogorov-Arnold Network (KAN) based Numerical Embedding Module and unified numerical and categorical features encoding within a Transformer architecture. TabKANet has demonstrated stable and significantly superior performance compared to Neural Networks (NNs) across multiple public datasets in binary classification, multi-class classification, and regression tasks. Its performance is comparable to or surpasses that of Gradient Boosted Decision Tree models (GBDTs). Our code is publicly available on GitHub: https://github.com/AI-thpremed/TabKANet.
- Abstract（参考訳）: タブラルデータ(Tabular data)は、現実のシナリオにおいて最も一般的なタイプのデータである。
本研究では,数値コンテンツから学習する際のボトルネックをターゲットとした表型データモデリングのためのTabKANetモデルを提案する。
我々は,コンモゴロフ・アルノルドネットワーク(KAN)をベースとした数値埋め込みモジュールを構築し,トランスフォーマーアーキテクチャ内での数値的および分類的特徴の符号化を行った。
TabKANetは、バイナリ分類、マルチクラス分類、回帰タスクにおいて、複数の公開データセットにわたるニューラルネットワーク(NN)と比較して、安定的で大幅にパフォーマンスが向上している。
性能はGBDT(Gradient Boosted Decision Tree Model)に匹敵する。
私たちのコードはGitHubで公開されている。 https://github.com/AI-thpremed/TabKANet。
関連論文リスト
- Making Pre-trained Language Models Great on Tabular Prediction [50.70574370855663]
ディープニューラルネットワーク(DNN)の転送性は、画像および言語処理において著しく進歩している。
本稿では,表型データ予測のための訓練済みLMであるTP-BERTaを提案する。
新たな相対等級トークン化では、スカラー数値の特徴値を細分化した高次元トークンに変換し、特徴値と対応する特徴名を統合する。
論文 参考訳（メタデータ） (2024-03-04T08:38:56Z) - MotherNet: A Foundational Hypernetwork for Tabular Classification [1.9643748953805937]
我々は、数百万の分類タスクで訓練されたMotherNetと呼ばれるハイパーネットワークアーキテクチャを提案する。
MotherNetは、特定のデータセットのトレーニングを、単一のフォワードパスを通じてコンテキスト内学習に置き換える。
MotherNetが生成する子ネットワークは、コンテキスト内学習を使用して、小さなデータセット上で勾配降下を用いてトレーニングされたニューラルネットワークより優れています。
論文 参考訳（メタデータ） (2023-12-14T01:48:58Z) - Training-Free Generalization on Heterogeneous Tabular Data via
Meta-Representation [67.30538142519067]
メタ表現(TabPTM)を用いたタブラルデータ事前学習を提案する。
深層ニューラルネットワークは、これらのメタ表現とデータセット固有の分類信頼度を関連付けるように訓練される。
実験により、TabPTMは、数ショットのシナリオであっても、新しいデータセットで有望なパフォーマンスを達成することを確認した。
論文 参考訳（メタデータ） (2023-10-31T18:03:54Z) - Graph Neural Network contextual embedding for Deep Learning on Tabular
Data [0.45880283710344055]
ディープラーニング(DL)は、自然言語処理のような人間のスキルに関連する分野において、AIにとって大きなブレークスルーとなっている。
本稿では,グラフニューラルネットワーク(GNN)を用いた新しいDLモデル,特にインタラクションネットワーク(IN)を提案する。
この結果は、最近発表された5つの公開データセットに基づいたDLベンチマークによる調査よりも優れており、増木ソリューションと比較しても競争力のある結果が得られている。
論文 参考訳（メタデータ） (2023-03-11T17:13:24Z) - Neural Attentive Circuits [93.95502541529115]
我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。
NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。
NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
論文 参考訳（メタデータ） (2022-10-14T18:00:07Z) - TabPFN: A Transformer That Solves Small Tabular Classification Problems
in a Second [48.87527918630822]
トレーニングされたトランスフォーマーであるTabPFNは、小さなデータセットの教師付き分類を1秒以内で行うことができる。
TabPFNはコンテキスト内学習(ICL)を行い、ラベル付きサンプルのシーケンスを使用して予測を行う。
提案手法は, 強化木よりも明らかに優れており, 230$times$ Speedupの複雑なAutoMLシステムと同等性能を示す。
論文 参考訳（メタデータ） (2022-07-05T07:17:43Z) - A Robust Stacking Framework for Training Deep Graph Models with
Multifaceted Node Features [61.92791503017341]
数値ノード特徴とグラフ構造を入力とするグラフニューラルネットワーク(GNN)は,グラフデータを用いた各種教師付き学習タスクにおいて,優れた性能を示した。
IID(non-graph)データをGNNに簡単に組み込むことはできない。
本稿では、グラフ認識の伝播をIDデータに意図した任意のモデルで融合するロバストな積み重ねフレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-16T22:46:33Z) - DANets: Deep Abstract Networks for Tabular Data Classification and
Regression [9.295859461145783]
Abstract Layer (AbstLay)は、相関的な入力機能を明示的にグループ化し、セマンティクスの抽象化のための高レベルな機能を生成する。
表形式のデータ分類と回帰のためのDeep Abstract Networks (DANets) のファミリー。
論文 参考訳（メタデータ） (2021-12-06T12:15:28Z) - TabGNN: Multiplex Graph Neural Network for Tabular Data Prediction [43.35301059378836]
最近普及しているグラフニューラルネットワーク(GNN)に基づく新しいフレームワークTabGNNを提案する。
具体的には,まず,多面的サンプル関係をモデル化するための多重グラフを構築し,次に,各サンプルに対する拡張表現を学習するための多重グラフニューラルネットワークを設計する。
分類と回帰を含む11のTDPデータセットに対する実験は、TabGNNが一貫して性能を向上できることを示している。
論文 参考訳（メタデータ） (2021-08-20T11:51:32Z) - Tabular Transformers for Modeling Multivariate Time Series [30.717890753132824]
タブラルデータセットは、データサイエンスの応用においてユビキタスである。その重要性から、最先端のディープラーニングアルゴリズムを適用して、その可能性を完全に解き放つことは自然なようだ。
本稿では,その階層構造を活用可能なグラフ時系列を表すニューラルネットワークモデルを提案する。
学習した表現を不正検出と合成データ生成に使用する合成クレジットカードトランザクションデータセットと、学習したエンコーディングを大気汚染物質濃度を予測するための実際の公害データセットの2つのデータセットで実証する。
論文 参考訳（メタデータ） (2020-11-03T16:58:08Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。