Fugu-MT 論文翻訳(概要): TabNSA: Native Sparse Attention for Efficient Tabular Data Learning

論文の概要: TabNSA: Native Sparse Attention for Efficient Tabular Data Learning

arxiv url: http://arxiv.org/abs/2503.09850v2
Date: Mon, 30 Jun 2025 22:53:19 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-02 17:57:15.539914
Title: TabNSA: Native Sparse Attention for Efficient Tabular Data Learning
Title（参考訳）: TabNSA: 効率的なタブラルデータ学習のためのネイティブスパースアテンション
Authors: Ali Eslamian, Qiang Cheng,
Abstract要約: TabNSAは、Native Sparse Attention(NSA)とTabMixerのバックボーンを統合する、新しいディープラーニングフレームワークである。 NSAは、トークン圧縮、選択的保存、局所的なスライディングウィンドウなど、階層的なスパークアテンション機構を採用している。実験によると、TabNSAは最先端のディープラーニングモデルより一貫して優れている。
参考スコア（独自算出の注目度）: 13.110156202816112
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Tabular data poses unique challenges for deep learning due to its heterogeneous feature types, lack of spatial structure, and often limited sample sizes. We propose TabNSA, a novel deep learning framework that integrates Native Sparse Attention (NSA) with a TabMixer backbone to efficiently model tabular data. TabNSA tackles computational and representational challenges by dynamically focusing on relevant feature subsets per instance. The NSA module employs a hierarchical sparse attention mechanism, including token compression, selective preservation, and localized sliding windows, to significantly reduce the quadratic complexity of standard attention operations while addressing feature heterogeneity. Complementing this, the TabMixer backbone captures complex, non-linear dependencies through parallel multilayer perceptron (MLP) branches with independent parameters. These modules are synergistically combined via element-wise summation and mean pooling, enabling TabNSA to model both global context and fine-grained interactions. Extensive experiments across supervised and transfer learning settings show that TabNSA consistently outperforms state-of-the-art deep learning models. Furthermore, by augmenting TabNSA with a fine-tuned large language model (LLM), we enable it to effectively address Few-Shot Learning challenges through language-guided generalization on diverse tabular benchmarks.
Abstract（参考訳）: タブラルデータは、その不均一な特徴タイプ、空間構造の欠如、しばしばサンプルサイズが制限されているため、ディープラーニングに固有の課題を提起する。本研究では,Native Sparse Attention(NSA)とTabMixerのバックボーンを統合し,表形式のデータを効率的にモデル化する新しいディープラーニングフレームワークであるTabNSAを提案する。 TabNSAは、インスタンスごとに関連する機能サブセットに動的にフォーカスすることで、計算と表現の課題に取り組む。 NSAモジュールは、トークン圧縮、選択的保存、局所的なスライディングウィンドウを含む階層的なスパースアテンション機構を使用して、特徴の不均一性に対処しながら標準アテンション操作の2次複雑さを著しく低減する。これを補完するTabMixerのバックボーンは、独立したパラメータを持つ並列多層パーセプトロン(MLP)ブランチを通じて、複雑で非線形な依存関係をキャプチャする。これらのモジュールは、要素の総和と平均プールによって相乗的に結合され、TabNSAはグローバルなコンテキストときめ細かいインタラクションの両方をモデル化できる。教師付きおよび転送学習設定の広範な実験は、TabNSAが最先端のディープラーニングモデルより一貫して優れていることを示している。さらに,TabNSAを細調整の大型言語モデル(LLM)で拡張することにより,多様な表型ベンチマーク上での言語誘導の一般化を通じて,Few-Shot Learningの課題に効果的に対処することができる。

関連論文リスト

TabDeco: A Comprehensive Contrastive Framework for Decoupled Representations in Tabular Data [5.98480077860174]
本研究では,行と列をまたいだアテンションベースの符号化手法であるTabDecoを紹介する。革新的な機能の分離によって、TabDecoは既存のディープラーニングメソッドを一貫して上回っている。
論文参考訳（メタデータ） (2024-11-17T18:42:46Z)
TabSeq: A Framework for Deep Learning on Tabular Data via Sequential Ordering [5.946579489162407]
この作業では、機能のシーケンシャルな順序付けのための新しいフレームワークであるTabSeqを紹介している。このような機能の最適なシーケンス順序を見つけることで、ディープラーニングモデルの学習プロセスを改善することができる。
論文参考訳（メタデータ） (2024-10-17T04:10:36Z)
Revisiting Nearest Neighbor for Tabular Data: A Deep Tabular Baseline Two Decades Later [76.66498833720411]
K$-nearest neighbors (KNN) はもともと,インスタンス間のセマンティックな類似性を捉えるために線形投影を学習するために設計されたものだ。意外なことに、SGDを用いたNAAの実装と次元減少のない実装は、表データの良好な性能をすでに達成しています。本稿では、損失関数、予測戦略、深いアーキテクチャなど、これらの改善の背景にある要因を分析して、論文を締めくくる。
論文参考訳（メタデータ） (2024-07-03T16:38:57Z)
A Closer Look at Deep Learning Methods on Tabular Datasets [52.50778536274327]
タブラルデータは、機械学習のさまざまな領域で広く使われている。 Deep Neural Network(DNN)ベースの手法は最近、有望なパフォーマンスを実証した。我々は,32種類の最先端の深部・木質の手法を比較し,その平均性能を複数の基準で評価した。
論文参考訳（メタデータ） (2024-07-01T04:24:07Z)
Binning as a Pretext Task: Improving Self-Supervised Learning in Tabular Domains [0.565395466029518]
そこで本研究では,古典的ビンニング手法に基づく新しいプレテキストタスクを提案する。その考え方は単純で、元の値ではなく、binインデックス(順序またはクラス)を再構築する。我々の実証調査では、ビンニングの利点がいくつか確認されている。
論文参考訳（メタデータ） (2024-05-13T01:23:14Z)
Making Pre-trained Language Models Great on Tabular Prediction [50.70574370855663]
ディープニューラルネットワーク(DNN)の転送性は、画像および言語処理において著しく進歩している。本稿では,表型データ予測のための訓練済みLMであるTP-BERTaを提案する。新たな相対等級トークン化では、スカラー数値の特徴値を細分化した高次元トークンに変換し、特徴値と対応する特徴名を統合する。
論文参考訳（メタデータ） (2024-03-04T08:38:56Z)
Rethinking Pre-Training in Tabular Data: A Neighborhood Embedding Perspective [71.45945607871715]
メタ表現(TabPTM)を用いたタブラルデータ事前学習を提案する。中心となる考え方は、データインスタンスを共有機能空間に埋め込むことで、各インスタンスは、近隣の固定数とそのラベルまでの距離で表現される。 101データセットの大規模な実験は、微調整の有無にかかわらず、分類タスクと回帰タスクの両方においてTabPTMの有効性を確認した。
論文参考訳（メタデータ） (2023-10-31T18:03:54Z)
Local Contrastive Feature learning for Tabular Data [8.93957397187611]
ローカルコントラスト型特徴学習フレームワーク(LoCL)を提案する。局所学習のためのニッチを作成するために、我々は特徴相関を用いて最大拡大木を作成し、木を特徴部分集合に分割する。特徴の畳み込み学習は、対比的および再構成的損失によって規制される潜在的特徴空間の学習に使用される。
論文参考訳（メタデータ） (2022-11-19T00:53:41Z)
SubTab: Subsetting Features of Tabular Data for Self-Supervised Representation Learning [5.5616364225463055]
私たちはTabular Data(SubTab)のサブセット機能である新しいフレームワークを紹介します。本稿では,タブラルデータ(SubTab)のサブセット機能である新しいフレームワークを提案する。我々は、自動エンコーダ設定で、その機能の一部分からデータを再構成することで、その基盤となる表現をよりよく捉えることができると論じている。
論文参考訳（メタデータ） (2021-10-08T20:11:09Z)
SCARF: Self-Supervised Contrastive Learning using Random Feature Corruption [72.35532598131176]
本稿では,特徴のランダムなサブセットを乱してビューを形成するコントラスト学習手法であるSCARFを提案する。 SCARFは既存の戦略を補完し、オートエンコーダのような代替手段より優れていることを示す。
論文参考訳（メタデータ） (2021-06-29T08:08:33Z)
A Comparative Study on Structural and Semantic Properties of Sentence Embeddings [77.34726150561087]
本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
論文参考訳（メタデータ） (2020-09-23T15:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。