論文の概要: Mambular: A Sequential Model for Tabular Deep Learning

• arxiv url: http://arxiv.org/abs/2408.06291v1
• Date: Mon, 12 Aug 2024 16:57:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-13 13:56:12.898929
• Title: Mambular: A Sequential Model for Tabular Deep Learning
• Title（参考訳）: Mambular: タブラルディープラーニングのためのシーケンスモデル
• Authors: Anton Frederik Thielmann, Manish Kumar, Christoph Weisser, Arik Reuter, Benjamin Säfken, Soheila Samiee,
• Abstract要約: 本稿では,表データに最適化されたMambularアーキテクチャについて紹介する。 我々は、ニューラルネットワークやツリーベースの手法を含む最先端モデルに対してMambularをベンチマークする。 解析の結果、特徴をシーケンスとして解釈し、それらをMamba層に渡すと驚くほど高性能なモデルが得られることがわかった。
• 参考スコア（独自算出の注目度）: 0.7184556517162347
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The analysis of tabular data has traditionally been dominated by gradient-boosted decision trees (GBDTs), known for their proficiency with mixed categorical and numerical features. However, recent deep learning innovations are challenging this dominance. We introduce Mambular, an adaptation of the Mamba architecture optimized for tabular data. We extensively benchmark Mambular against state-of-the-art models, including neural networks and tree-based methods, and demonstrate its competitive performance across diverse datasets. Additionally, we explore various adaptations of Mambular to understand its effectiveness for tabular data. We investigate different pooling strategies, feature interaction mechanisms, and bi-directional processing. Our analysis shows that interpreting features as a sequence and passing them through Mamba layers results in surprisingly performant models. The results highlight Mambulars potential as a versatile and powerful architecture for tabular data analysis, expanding the scope of deep learning applications in this domain. The source code is available at https://github.com/basf/mamba-tabular.
• Abstract（参考訳）: 表型データの解析は伝統的に, 階層的および数値的特徴が混在する習熟度で知られている, 勾配型決定木(GBDT)が支配的であった。 しかし、最近のディープラーニングのイノベーションは、この支配に挑戦している。 本稿では,表データに最適化されたMambularアーキテクチャについて紹介する。 我々は、ニューラルネットワークやツリーベースの手法を含む最先端モデルに対してMambularを広範囲にベンチマークし、多様なデータセット間での競合性能を実証した。 さらに, 表型データの有効性を理解するために, 各種のMambular適応について検討する。 本研究では,異なるプール手法,機能相互作用機構,双方向処理について検討する。 解析の結果、特徴をシーケンスとして解釈し、それらをMamba層に渡すと驚くほど高性能なモデルが得られることがわかった。 この結果は、表型データ分析のための汎用的で強力なアーキテクチャとして、Mambularsの可能性を強調し、この領域におけるディープラーニングアプリケーションの範囲を広げた。 ソースコードはhttps://github.com/basf/mamba-tabular.comで入手できる。

関連論文リスト

• Escaping the Forest: Sparse Interpretable Neural Networks for Tabular Data [0.0]
  我々のモデルであるSparse TABular NET や sTAB-Net がツリーベースモデルよりも効果的であることを示す。 SHAPのようなポストホックメソッドよりも優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-10-23T10:50:07Z)
• Modern Neighborhood Components Analysis: A Deep Tabular Baseline Two Decades Later [59.88557193062348]
  我々は、インスタンス間のセマンティックな類似性をキャプチャする線形射影を学習するために設計された古典的近傍成分分析(NCA)を再考する。 学習目的の調整や深層学習アーキテクチャの統合といった微調整は,NAAの性能を著しく向上させることがわかった。 また,提案したModernNCAの効率性と予測精度を向上する,近隣のサンプリング戦略も導入する。
  論文  参考訳（メタデータ） (2024-07-03T16:38:57Z)
• A Closer Look at Deep Learning on Tabular Data [52.50778536274327]
  タブラルデータは、機械学習の様々な領域で広く使われている。 Deep Neural Network(DNN)ベースの手法は、ツリーベースに匹敵する有望なパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-07-01T04:24:07Z)
• MambaTab: A Plug-and-Play Model for Learning Tabular Data [13.110156202816112]
  本研究は,表データに対する構造化状態空間モデル(SSM)であるMambaTabに基づく革新的なアプローチを導入する。 MambaTabは、さまざまなベンチマークデータセットで実証的に検証されるように、パラメータを著しく少なくしながら、優れたパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-01-16T22:44:12Z)
• Graph Neural Network contextual embedding for Deep Learning on Tabular Data [0.45880283710344055]
  ディープラーニング(DL)は、自然言語処理のような人間のスキルに関連する分野において、AIにとって大きなブレークスルーとなっている。 本稿では,グラフニューラルネットワーク(GNN)を用いた新しいDLモデル,特にインタラクションネットワーク(IN)を提案する。 この結果は、最近発表された5つの公開データセットに基づいたDLベンチマークによる調査よりも優れており、増木ソリューションと比較しても競争力のある結果が得られている。
  論文  参考訳（メタデータ） (2023-03-11T17:13:24Z)
• Deep networks for system identification: a Survey [56.34005280792013]
  システム識別は、入力出力データから動的システムの数学的記述を学習する。 同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。 我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
  論文  参考訳（メタデータ） (2023-01-30T12:38:31Z)
• Transfer Learning with Deep Tabular Models [66.67017691983182]
  上流データにより、グラフニューラルネットワークはGBDTモデルよりも決定的な優位性を示す。 そこで本研究では,表在化学習のための現実的な診断ベンチマークを提案する。 上流と下流の特徴セットが異なる場合の擬似特徴法を提案する。
  論文  参考訳（メタデータ） (2022-06-30T14:24:32Z)
• Hopular: Modern Hopfield Networks for Tabular Data [5.470026407471584]
  中小データセットのための新しいディープラーニングアーキテクチャである"Hopular"を提案する。 Hopularは格納されたデータを使用して、フィーチャー機能、フィーチャーターゲット、サンプルサンプル依存関係を識別する。 1,000サンプル未満の小さなデータセットの実験では、HopularはGradient Boosting、Random Forests、SVM、特にいくつかのDeep Learningメソッドを超越している。
  論文  参考訳（メタデータ） (2022-06-01T17:57:44Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。