論文の概要: Benchmarking Attention for Tabular Foundation Models

• arxiv url: http://arxiv.org/abs/2609.31306v2
• Date: Mon, 28 Sep 2026 10:55:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-29 21:31:51.855552
• Title: Benchmarking Attention for Tabular Foundation Models
• Title（参考訳）: タブラル基礎モデルのベンチマークアテンション
• Abstract要約: タブラルインコンテキスト学習者は、潜伏埋め込みの2次元シーケンスに対して行と列の注意を交互に行う。 これらの注意パターンは言語モデルにおける一次元の場合とは大きく異なる。 提案手法は, 主に1次元の系列に対して, 効率的な注意が研究されていることを示す。
• 参考スコア（独自算出の注目度）: 1.201626478128059
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tabular in-context learners such as TabPFN, Mitra, or ConTextTab rely on alternating row and column attention over 2D sequences of latent embeddings. These attention patterns differ markedly from the one-dimensional case in language models: row attention involves longer sequences while column attention operates on much shorter ones, and the strided memory layout of tabular data makes producing contiguous tensors costly. Moreover, the hidden dimensions used in current models are small compared to recent language models. Yet efficient attention has been studied mostly for one-dimensional sequences, leaving the two-dimensional tabular setting unexplored. To this end, we create a reproducible benchmarking setup and study the unique characteristics of tabular attention across several backends -- Torch SDPA (efficient and cuDNN), FlashAttention-2/3/4, and the inference-only backends vLLM and SageAttention -- measuring forward and backward throughput across realistic tabular shapes on three GPU generations (A100, H100, B200). We find that the optimal backend choice differs between column and row attention and varies across hardware as well as model specifics: While the FlashAttention implementations tailored for each GPU generation perform overall best, they are at times outperformed by CuDNN in the case of column attention at longer sequences with cross-over points depending on the head dimension. Among inference-only backends, SageAttention performs well for row attention and large sequences beyond 16\,k rows. Our reproducible benchmark lays the foundation for future improvements to table-native attention. The self-contained benchmarking and evaluation code is openly available at: https://github.com/SAP-samples/tabular-attention-benchmark
• Abstract（参考訳）: TabPFN、Mitra、ConTextTabなどのタブラルインコンテキスト学習者は、遅延埋め込みの2Dシーケンスに対して行と列の注意を交互に依存する。 これらの注意パターンは言語モデルでは1次元の場合とは大きく異なる: 行の注意は長いシーケンスを伴い、列の注意はより短いシーケンスで動く。 さらに、現在のモデルで使用される隠れ次元は、最近の言語モデルと比較して小さい。 さらに効率的な注意は、主に1次元のシーケンスに対して研究され、2次元の表の設定は未探索のままである。 この目的のために、再現可能なベンチマークセットアップを作成し、3つのGPU世代(A100、H100、B200)で現実的な表形式をまたいだ前方および後方のスループットを測定する、Torch SDPA(Efficic and cuDNN)、FlashAttention-2/3/4、推論のみのバックエンド vLLM、SageAttention など、いくつかのバックエンドにわたる表型アテンションのユニークな特性を調査します。 カラムアテンションと行アテンションの最適な選択は、ハードウェアやモデル仕様によって異なる。各GPU世代用に調整されたFlashAttention実装は、全体的なベストを達成しますが、カラムアテンションの場合は、ヘッド次元に応じてクロスオーバーポイントを持つ長いシーケンスで、時にはCuDNNよりも優れています。 推論のみのバックエンドの中で、SageAttentionは16\,k行を超える行や大きなシーケンスに対してうまく機能する。 私たちの再現可能なベンチマークは、テーブルネイティブの注意を今後改善するための基盤を定めています。 自己完結型ベンチマークと評価コードは、https://github.com/SAP-samples/tabular-attention-benchmarkで公開されている。

関連論文リスト

• Causilo Technical Report [8.017474242820297]
  Causiloは、非常に高速な推論と、フロンティア予測のパフォーマンスを組み合わせたものだ。 TabArenaでは、カウシロは1K検体あたり0.10秒の中央推定時間で1785.4エロを達成した。
  論文  参考訳（メタデータ） (2026-09-19T08:09:28Z)
• S$^3$-Attention:Attention-Aligned Endogenous Retrieval for Memory-Bounded Long-Context Inference [11.779449360037518]
  S3-Attentionは,長期コンテキスト処理を注目に順応した内因性検索として扱うメモリファースト推論時フレームワークである。 S3-Attentionは、軽量なスパースオートエンコーダを使用して、トランジェントキーとクエリプロジェクションをトップkスパース機能識別子にデコードする。 単一のストリーミングスキャン中にトークンの位置やスパンにCPUベースの逆インデックスマッピング機能を構築する。
  論文  参考訳（メタデータ） (2026-01-25T05:25:22Z)
• A Closer Look at TabPFN v2: Understanding Its Strengths and Extending Its Capabilities [51.08999772842298]
  Tabular Prior-data Fitted Network v2 (TabPFN v2)は、さまざまな下流データセット間で、前例のないコンテキスト内学習性能を達成する。 本研究では,TabPFN v2が属性トークンをランダムに入力しても属性関係を推測可能であることを示す。 我々はTabPFN v2の制限がテスト時間分割・コンテキスト戦略によって対処できることを実証した。
  論文  参考訳（メタデータ） (2025-02-24T17:38:42Z)
• Revisiting Nearest Neighbor for Tabular Data: A Deep Tabular Baseline Two Decades Later [76.66498833720411]
  K$-nearest neighbors (KNN) はもともと,インスタンス間のセマンティックな類似性を捉えるために線形投影を学習するために設計されたものだ。 意外なことに、SGDを用いたNAAの実装と次元減少のない実装は、表データの良好な性能をすでに達成しています。 本稿では、損失関数、予測戦略、深いアーキテクチャなど、これらの改善の背景にある要因を分析して、論文を締めくくる。
  論文  参考訳（メタデータ） (2024-07-03T16:38:57Z)
• Fine-grained Attention in Hierarchical Transformers for Tabular Time-series [46.96700822457507]
  本研究では,行レベルと列レベルの両方のフィールドを文脈化する,きめ細かい階層モデルであるFieldyを提案する。 その結果,行ワイドと列ワイドアテンションを組み合わせることで,モデルサイズを増大させることなく性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-06-21T17:40:46Z)
• Memory-efficient Transformers via Top-$k$ Attention [23.672065688109395]
  本研究では,バニラ注意のための簡易かつ高精度な近似法を提案する。 クェリをチャンクで処理し、各クェリに対してキーに関するトップ$kのスコアを計算します。 我々のアプローチは、スクラッチからのトレーニング、微調整、ゼロショット推論を含む複数のセットアップにおいて、バニラの注意にほぼ同一の精度をもたらすことを示す。
  論文  参考訳（メタデータ） (2021-06-13T02:30:23Z)
• Learning Spatio-Appearance Memory Network for High-Performance Visual Tracking [79.80401607146987]
  既存のオブジェクトトラッキングは通常、フレーム間の視覚的ターゲットにマッチするバウンディングボックスベースのテンプレートを学習する。 本稿では,局所時間メモリネットワークを備え,正確な時空間対応を学習するセグメンテーションに基づくトラッキングアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-09-21T08:12:02Z)
• AttentionNAS: Spatiotemporal Attention Cell Search for Video Classification [86.64702967379709]
  本稿では,時間的注意のための新しい検索空間を提案する。これにより,検索アルゴリズムはセルの様々な設計選択を柔軟に探索することができる。 検出されたアテンションセルは既存のバックボーンネットワーク(例えばI3DやS3D)にシームレスに挿入することができ、Kinetics-600とMiTのデータセットでビデオの精度を2%以上改善することができる。
  論文  参考訳（メタデータ） (2020-07-23T14:30:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。