論文の概要: TabNSA: Native Sparse Attention for Efficient Tabular Data Learning

• arxiv url: http://arxiv.org/abs/2503.09850v1
• Date: Wed, 12 Mar 2025 21:13:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-14 15:52:02.372763
• Title: TabNSA: Native Sparse Attention for Efficient Tabular Data Learning
• Title（参考訳）: TabNSA: 効率的なタブラルデータ学習のためのネイティブスパースアテンション
• Authors: Ali Eslamian, Qiang Cheng,
• Abstract要約: 本稿では,Native Sparse Attention(NSA)を活用した新しいディープラーニングアーキテクチャであるTabNSAを紹介する。 TabNSAは、グローバルなコンテキスト認識と局所的精度の両方を維持するために、粗粒度特徴圧縮と細粒度特徴選択を組み合わせた動的階層的スパース戦略を取り入れている。
• 参考スコア（独自算出の注目度）: 13.110156202816112
• License:
• Abstract: Tabular data poses unique challenges for deep learning due to its heterogeneous features and lack of inherent spatial structure. This paper introduces TabNSA, a novel deep learning architecture leveraging Native Sparse Attention (NSA) specifically for efficient tabular data processing. TabNSA incorporates a dynamic hierarchical sparse strategy, combining coarse-grained feature compression with fine-grained feature selection to preserve both global context awareness and local precision. By dynamically focusing on relevant subsets of features, TabNSA effectively captures intricate feature interactions. Extensive experiments demonstrate that TabNSA consistently outperforms existing methods, including both deep learning architectures and ensemble decision trees, achieving state-of-the-art performance across various benchmark datasets.
• Abstract（参考訳）: タブラルデータは、その不均一な特徴と固有の空間構造が欠如していることから、ディープラーニングに固有の課題を提起する。 本稿では,効率的な表形式データ処理に特化してNative Sparse Attention(NSA)を活用した,新しいディープラーニングアーキテクチャであるTabNSAを紹介する。 TabNSAは、グローバルなコンテキスト認識と局所的精度の両方を維持するために、粗粒度特徴圧縮と細粒度特徴選択を組み合わせた動的階層的スパース戦略を取り入れている。 機能の関連するサブセットに動的にフォーカスすることで、TabNSAは複雑な機能インタラクションを効果的にキャプチャする。 大規模な実験では、TabNSAがディープラーニングアーキテクチャとアンサンブル決定ツリーの両方を含む既存の手法を一貫して上回り、さまざまなベンチマークデータセットで最先端のパフォーマンスを実現している。

関連論文リスト

• TabDeco: A Comprehensive Contrastive Framework for Decoupled Representations in Tabular Data [5.98480077860174]
  本研究では,行と列をまたいだアテンションベースの符号化手法であるTabDecoを紹介する。 革新的な機能の分離によって、TabDecoは既存のディープラーニングメソッドを一貫して上回っている。
  論文  参考訳（メタデータ） (2024-11-17T18:42:46Z)
• TabSeq: A Framework for Deep Learning on Tabular Data via Sequential Ordering [5.946579489162407]
  この作業では、機能のシーケンシャルな順序付けのための新しいフレームワークであるTabSeqを紹介している。 このような機能の最適なシーケンス順序を見つけることで、ディープラーニングモデルの学習プロセスを改善することができる。
  論文  参考訳（メタデータ） (2024-10-17T04:10:36Z)
• A Closer Look at Deep Learning Methods on Tabular Datasets [52.50778536274327]
  タブラルデータは、機械学習のさまざまな領域で広く使われている。 Deep Neural Network(DNN)ベースの手法は最近、有望なパフォーマンスを実証した。 我々は,32種類の最先端の深部・木質の手法を比較し,その平均性能を複数の基準で評価した。
  論文  参考訳（メタデータ） (2024-07-01T04:24:07Z)
• Binning as a Pretext Task: Improving Self-Supervised Learning in Tabular Domains [0.565395466029518]
  そこで本研究では,古典的ビンニング手法に基づく新しいプレテキストタスクを提案する。 その考え方は単純で、元の値ではなく、binインデックス(順序またはクラス)を再構築する。 我々の実証調査では、ビンニングの利点がいくつか確認されている。
  論文  参考訳（メタデータ） (2024-05-13T01:23:14Z)
• Making Pre-trained Language Models Great on Tabular Prediction [50.70574370855663]
  ディープニューラルネットワーク(DNN)の転送性は、画像および言語処理において著しく進歩している。 本稿では,表型データ予測のための訓練済みLMであるTP-BERTaを提案する。 新たな相対等級トークン化では、スカラー数値の特徴値を細分化した高次元トークンに変換し、特徴値と対応する特徴名を統合する。
  論文  参考訳（メタデータ） (2024-03-04T08:38:56Z)
• Rethinking Pre-Training in Tabular Data: A Neighborhood Embedding Perspective [71.45945607871715]
  メタ表現(TabPTM)を用いたタブラルデータ事前学習を提案する。 中心となる考え方は、データインスタンスを共有機能空間に埋め込むことで、各インスタンスは、近隣の固定数とそのラベルまでの距離で表現される。 101データセットの大規模な実験は、微調整の有無にかかわらず、分類タスクと回帰タスクの両方においてTabPTMの有効性を確認した。
  論文  参考訳（メタデータ） (2023-10-31T18:03:54Z)
• Learning Representations without Compositional Assumptions [79.12273403390311]
  本稿では,特徴集合をグラフノードとして表現し,それらの関係を学習可能なエッジとして表現することで,特徴集合の依存関係を学習するデータ駆動型アプローチを提案する。 また,複数のビューから情報を動的に集約するために,より小さな潜在グラフを学習する新しい階層グラフオートエンコーダLEGATOを導入する。
  論文  参考訳（メタデータ） (2023-05-31T10:36:10Z)
• Local Contrastive Feature learning for Tabular Data [8.93957397187611]
  ローカルコントラスト型特徴学習フレームワーク(LoCL)を提案する。 局所学習のためのニッチを作成するために、我々は特徴相関を用いて最大拡大木を作成し、木を特徴部分集合に分割する。 特徴の畳み込み学習は、対比的および再構成的損失によって規制される潜在的特徴空間の学習に使用される。
  論文  参考訳（メタデータ） (2022-11-19T00:53:41Z)
• SubTab: Subsetting Features of Tabular Data for Self-Supervised Representation Learning [5.5616364225463055]
  私たちはTabular Data(SubTab)のサブセット機能である新しいフレームワークを紹介します。 本稿では,タブラルデータ(SubTab)のサブセット機能である新しいフレームワークを提案する。 我々は、自動エンコーダ設定で、その機能の一部分からデータを再構成することで、その基盤となる表現をよりよく捉えることができると論じている。
  論文  参考訳（メタデータ） (2021-10-08T20:11:09Z)
• SCARF: Self-Supervised Contrastive Learning using Random Feature Corruption [72.35532598131176]
  本稿では,特徴のランダムなサブセットを乱してビューを形成するコントラスト学習手法であるSCARFを提案する。 SCARFは既存の戦略を補完し、オートエンコーダのような代替手段より優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-29T08:08:33Z)
• A Comparative Study on Structural and Semantic Properties of Sentence Embeddings [77.34726150561087]
  本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。 異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。 これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
  論文  参考訳（メタデータ） (2020-09-23T15:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。