論文の概要: TabSwift: An Efficient Tabular Foundation Model with Row-Wise Attention

• arxiv url: http://arxiv.org/abs/2606.07345v1
• Date: Fri, 05 Jun 2026 14:55:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 14:33:29.798129
• Title: TabSwift: An Efficient Tabular Foundation Model with Row-Wise Attention
• Title（参考訳）: TabSwift: Row-Wiseアテンションを備えた効率的なタブラルファウンデーションモデル
• Authors: Si-Yang Liu, Han-Jia Ye,
• Abstract要約: タブラル基礎モデルは、ラベル付きトレーニング例から直接テストラベルを推測して、コンテキスト内学習を通じて予測を行う。 最近のモデルでは、ますます複雑なアーキテクチャによって精度が向上し、推論コストが高くなり、実用的なデプロイメントが制限されることが多い。 ライトウェイトな行ワイドアテンションのみのバックボーンは、2つの単純な拡張と高い競争力を維持することができることを示す。
• 参考スコア（独自算出の注目度）: 47.480923979431886
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tabular foundation models, exemplified by TabPFN, perform prediction via in-context learning, inferring test labels directly from labeled training examples. They have demonstrated competitive performance, particularly on small-to-medium datasets. However, recent tabular foundation models often improve accuracy with increasingly complex architectures, incurring higher inference cost and limiting practical deployment. In this work, we revisit the original TabPFN design and show that a lightweight row-wise attention-only backbone can remain highly competitive with two simple enhancements: a gated attention stabilization mechanism and a small set of learnable register tokens that provide global context and improve pretraining quality. The resulting model, TabSwift, supports both classification and regression, and is competitive with stronger tabular foundation models (e.g., TabPFN v2 and TabICL) while being more efficient at inference. For latency-sensitive serving, we further introduce an adaptive layer-wise early-exit mechanism that dynamically adjusts inference depth per sample. Overall, TabSwift enables efficient and anytime tabular in-context learning for practical deployments.
• Abstract（参考訳）: TabPFNによって実証されたタブラル基礎モデルは、ラベル付きトレーニング例から直接テストラベルを推測して、コンテキスト内学習を通じて予測を行う。 彼らは特に小規模から中小のデータセットで、競争力のあるパフォーマンスを示している。 しかし、最近の表形式の基礎モデルは、ますます複雑なアーキテクチャで精度を向上し、推論コストが高くなり、実際の配置が制限される。 本研究では,従来のTabPFNの設計を再考し,軽量な行単位の注目のみのバックボーンが,グローバルなコンテキストを提供するゲートアテンション安定化機構と学習可能なレジスタトークンセットの2つの単純な拡張と競合することを示す。 結果として得られたモデルであるTabSwiftは、分類と回帰の両方をサポートし、推論においてより効率的でありながら、より強力なタブ形式の基盤モデル(TabPFN v2、TabICLなど)と競合する。 さらに,遅延に敏感なサービスを実現するために,サンプルごとの推論深度を動的に調整する適応層ワイド早期退避機構を導入する。 全体として、TabSwiftは実践的なデプロイメントのために効率的かついつでも表形式のインコンテキスト学習を可能にする。

関連論文リスト

• RDBLearn: Simple In-Context Prediction Over Relational Databases [21.996337463952255]
  簡単なレシピを簡単なレシピでリレーショナルな予測に拡張できることを示す。 本手法は,Scikit-learn-style estimator インタフェースを備えた使いやすいツールキットである textitRDBLearn に実装する。 RelBenchと4DBInferデータセットの広範なコレクションの中で、RDBLearnは私たちが評価した最も優れた基盤モデルアプローチです。
  論文  参考訳（メタデータ） (2026-02-14T09:24:04Z)
• TabICLv2: A better, faster, scalable, and open tabular foundation model [18.594859017648346]
  3つの柱上に構築された回帰と分類のための新しい最先端基盤モデルであるTabICLv2を紹介する。 Tabiclv2は、50GBのGPUメモリ下での百万規模のデータセットを効果的に一般化し、RealTabPFN-2.5よりも著しく高速である。
  論文  参考訳（メタデータ） (2026-02-11T18:51:02Z)
• Comparing Task-Agnostic Embedding Models for Tabular Data [1.6479389738270018]
  この研究は特に表現学習、すなわち伝達可能なタスクに依存しない埋め込みに焦点を当てている。 テーブルライザ機能は、最近の基礎モデルよりも最大3桁高速で、同等または優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-11-18T09:10:40Z)
• nanoTabPFN: A Lightweight and Educational Reimplementation of TabPFN [78.62756717376563]
  NanoTabPFNはTabPFN v2アーキテクチャとそれに対応するトレーニングループの軽量実装である。 1つのGPUでの事前トレーニングから1分以内に、従来の機械学習ベースラインに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-11-05T16:52:51Z)
• A Closer Look at TabPFN v2: Understanding Its Strengths and Extending Its Capabilities [51.08999772842298]
  Tabular Prior-data Fitted Network v2 (TabPFN v2)は、さまざまな下流データセット間で、前例のないコンテキスト内学習性能を達成する。 本研究では,TabPFN v2が属性トークンをランダムに入力しても属性関係を推測可能であることを示す。 我々はTabPFN v2の制限がテスト時間分割・コンテキスト戦略によって対処できることを実証した。
  論文  参考訳（メタデータ） (2025-02-24T17:38:42Z)
• TabDPT: Scaling Tabular Foundation Models on Real Data [20.00390825519329]
  ICLに基づく検索と自己教師付き学習を組み合わせた基礎モデルの学習手法を提案する。 事前学習フェーズに実際のデータを組み込むことで、学習が大幅に速くなり、見当たらないデータへの一般化が向上することを示す。 得られたモデルであるTabDPTは回帰 (CTR23) と分類 (CC18) のベンチマークで最高の性能を達成する。
  論文  参考訳（メタデータ） (2024-10-23T18:00:00Z)
• Tokenize features, enhancing tables: the FT-TABPFN model for tabular classification [13.481699494376809]
  FT-TabPFNはTabPFNの拡張版で、分類機能をよりよく扱うための新しい機能トークン化レイヤを含んでいる。 私たちの完全なソースコードは、コミュニティの利用と開発に利用可能です。
  論文  参考訳（メタデータ） (2024-06-11T02:13:46Z)
• TuneTables: Context Optimization for Scalable Prior-Data Fitted Networks [90.00817095558094]
  事前データ対応ネットワーク(PFN)は、事前学習とコンテキスト内学習を利用して、1つのフォワードパスで新しいタスクの強力なパフォーマンスを実現する。 我々は、大規模なデータセットをより小さな学習コンテキストに圧縮するPFNのパラメータ効率の良い微調整戦略であるTuneTablesを紹介した。 我々は、TuneTablesを解釈可能性ツールとして使用することができ、公平性目標を最適化することでバイアスを軽減することができることを示した。
  論文  参考訳（メタデータ） (2024-02-17T00:02:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。