論文の概要: TabKANet: Tabular Data Modelling with Kolmogorov-Arnold Network and Transformer
- arxiv url: http://arxiv.org/abs/2409.08806v1
- Date: Fri, 13 Sep 2024 13:14:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-16 16:29:18.274986
- Title: TabKANet: Tabular Data Modelling with Kolmogorov-Arnold Network and Transformer
- Title（参考訳）: TabKANet: Kolmogorov-Arnold Network と Transformer によるタブラルデータモデリング
- Authors: Weihao Gao, Zheng Gong, Zhuo Deng, Fuju Rong, Chucheng Chen, Lan Ma,
- Abstract要約: 本稿では,TabKANetアーキテクチャに基づく数値特徴を符号化し,それらを分類的特徴とマージする手法を提案する。
このモデルは、広く使われている6つのバイナリ分類タスクにおいて、優れた性能を示す。
本研究は,Kolmogorov-Arnoldネットワークの数値的特徴の符号化における大きな利点を明らかにする。
- 参考スコア（独自算出の注目度）: 12.237450884462888
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tabular data is the most common type of data in real-life scenarios. In this study, we propose a method based on the TabKANet architecture, which utilizes the Kolmogorov-Arnold network to encode numerical features and merge them with categorical features, enabling unified modeling of tabular data on the Transformer architecture. This model demonstrates outstanding performance in six widely used binary classification tasks, suggesting that TabKANet has the potential to become a standard approach for tabular modeling, surpassing traditional neural networks. Furthermore, this research reveals the significant advantages of the Kolmogorov-Arnold network in encoding numerical features. The code of our work is available at https://github.com/tsinghuamedgao20/TabKANet.
- Abstract（参考訳）: タブラルデータ(Tabular data)は、現実のシナリオにおいて最も一般的なタイプのデータである。
本研究では,Kolmogorov-Arnoldネットワークを用いたTabKANetアーキテクチャを用いて,数値的特徴を符号化し,分類的特徴とマージすることで,Transformerアーキテクチャ上での表データの統一的モデリングを実現する手法を提案する。
このモデルは、広く使用されている6つのバイナリ分類タスクにおいて、卓越したパフォーマンスを示し、TabKANetが従来のニューラルネットワークを超越した、表型モデリングの標準アプローチになる可能性を示唆している。
さらに, 数値的特徴を符号化する上で, コルモゴロフ・アルノルドネットワークの顕著な利点を明らかにした。
私たちの作業のコードはhttps://github.com/tsinghuamedgao20/TabKANet.comで公開されています。
関連論文リスト
- Making Pre-trained Language Models Great on Tabular Prediction [50.70574370855663]
ディープニューラルネットワーク(DNN)の転送性は、画像および言語処理において著しく進歩している。
本稿では,表型データ予測のための訓練済みLMであるTP-BERTaを提案する。
新たな相対等級トークン化では、スカラー数値の特徴値を細分化した高次元トークンに変換し、特徴値と対応する特徴名を統合する。
論文 参考訳（メタデータ） (2024-03-04T08:38:56Z) - MotherNet: A Foundational Hypernetwork for Tabular Classification [1.9643748953805937]
我々は、数百万の分類タスクで訓練されたMotherNetと呼ばれるハイパーネットワークアーキテクチャを提案する。
MotherNetは、特定のデータセットのトレーニングを、単一のフォワードパスを通じてコンテキスト内学習に置き換える。
MotherNetが生成する子ネットワークは、コンテキスト内学習を使用して、小さなデータセット上で勾配降下を用いてトレーニングされたニューラルネットワークより優れています。
論文 参考訳（メタデータ） (2023-12-14T01:48:58Z) - Training-Free Generalization on Heterogeneous Tabular Data via
Meta-Representation [67.30538142519067]
メタ表現(TabPTM)を用いたタブラルデータ事前学習を提案する。
深層ニューラルネットワークは、これらのメタ表現とデータセット固有の分類信頼度を関連付けるように訓練される。
実験により、TabPTMは、数ショットのシナリオであっても、新しいデータセットで有望なパフォーマンスを達成することを確認した。
論文 参考訳（メタデータ） (2023-10-31T18:03:54Z) - Graph Neural Network contextual embedding for Deep Learning on Tabular
Data [0.45880283710344055]
ディープラーニング(DL)は、自然言語処理のような人間のスキルに関連する分野において、AIにとって大きなブレークスルーとなっている。
本稿では,グラフニューラルネットワーク(GNN)を用いた新しいDLモデル,特にインタラクションネットワーク(IN)を提案する。
この結果は、最近発表された5つの公開データセットに基づいたDLベンチマークによる調査よりも優れており、増木ソリューションと比較しても競争力のある結果が得られている。
論文 参考訳（メタデータ） (2023-03-11T17:13:24Z) - Neural Attentive Circuits [93.95502541529115]
我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。
NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。
NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
論文 参考訳（メタデータ） (2022-10-14T18:00:07Z) - TabPFN: A Transformer That Solves Small Tabular Classification Problems
in a Second [48.87527918630822]
トレーニングされたトランスフォーマーであるTabPFNは、小さなデータセットの教師付き分類を1秒以内で行うことができる。
TabPFNはコンテキスト内学習(ICL)を行い、ラベル付きサンプルのシーケンスを使用して予測を行う。
提案手法は, 強化木よりも明らかに優れており, 230$times$ Speedupの複雑なAutoMLシステムと同等性能を示す。
論文 参考訳（メタデータ） (2022-07-05T07:17:43Z) - A Robust Stacking Framework for Training Deep Graph Models with
Multifaceted Node Features [61.92791503017341]
数値ノード特徴とグラフ構造を入力とするグラフニューラルネットワーク(GNN)は,グラフデータを用いた各種教師付き学習タスクにおいて,優れた性能を示した。
IID(non-graph)データをGNNに簡単に組み込むことはできない。
本稿では、グラフ認識の伝播をIDデータに意図した任意のモデルで融合するロバストな積み重ねフレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-16T22:46:33Z) - DANets: Deep Abstract Networks for Tabular Data Classification and
Regression [9.295859461145783]
Abstract Layer (AbstLay)は、相関的な入力機能を明示的にグループ化し、セマンティクスの抽象化のための高レベルな機能を生成する。
表形式のデータ分類と回帰のためのDeep Abstract Networks (DANets) のファミリー。
論文 参考訳（メタデータ） (2021-12-06T12:15:28Z) - TabGNN: Multiplex Graph Neural Network for Tabular Data Prediction [43.35301059378836]
最近普及しているグラフニューラルネットワーク(GNN)に基づく新しいフレームワークTabGNNを提案する。
具体的には,まず,多面的サンプル関係をモデル化するための多重グラフを構築し,次に,各サンプルに対する拡張表現を学習するための多重グラフニューラルネットワークを設計する。
分類と回帰を含む11のTDPデータセットに対する実験は、TabGNNが一貫して性能を向上できることを示している。
論文 参考訳（メタデータ） (2021-08-20T11:51:32Z) - Tabular Transformers for Modeling Multivariate Time Series [30.717890753132824]
タブラルデータセットは、データサイエンスの応用においてユビキタスである。その重要性から、最先端のディープラーニングアルゴリズムを適用して、その可能性を完全に解き放つことは自然なようだ。
本稿では,その階層構造を活用可能なグラフ時系列を表すニューラルネットワークモデルを提案する。
学習した表現を不正検出と合成データ生成に使用する合成クレジットカードトランザクションデータセットと、学習したエンコーディングを大気汚染物質濃度を予測するための実際の公害データセットの2つのデータセットで実証する。
論文 参考訳（メタデータ） (2020-11-03T16:58:08Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。