論文の概要: State-Space Models for Tabular Prior-Data Fitted Networks

• arxiv url: http://arxiv.org/abs/2510.14573v1
• Date: Thu, 16 Oct 2025 11:31:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 21:15:14.83005
• Title: State-Space Models for Tabular Prior-Data Fitted Networks
• Title（参考訳）: タブラルプレデータフィットネットワークのための状態空間モデル
• Authors: Felix Koch, Marcel Wever, Fabian Raisch, Benjamin Tischler,
• Abstract要約: 本研究では,TabPFNにおけるトランスフォーマーの代替として,双方向線形時間構造状態空間モデルであるHydraを用いる可能性を検討する。 実験により,本手法は順序依存性を低減し,従来のTabPFNモデルと競合する予測性能を実現する。
• 参考スコア（独自算出の注目度）: 1.9815629827604246
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in foundation models for tabular data, such as TabPFN, demonstrated that pretrained Transformer architectures can approximate Bayesian inference with high predictive performance. However, Transformers suffer from quadratic complexity with respect to sequence length, motivating the exploration of more efficient sequence models. In this work, we investigate the potential of using Hydra, a bidirectional linear-time structured state space model (SSM), as an alternative to Transformers in TabPFN. A key challenge lies in SSM's inherent sensitivity to the order of input tokens - an undesirable property for tabular datasets where the row order is semantically meaningless. We investigate to what extent a bidirectional approach can preserve efficiency and enable symmetric context aggregation. Our experiments show that this approach reduces the order-dependence, achieving predictive performance competitive to the original TabPFN model.
• Abstract（参考訳）: TabPFNのような表データの基盤モデルの最近の進歩は、事前訓練されたトランスフォーマーアーキテクチャがベイズ推定を高い予測性能で近似できることを示した。 しかし、トランスフォーマーはシーケンス長に関して二次的な複雑さに悩まされ、より効率的なシーケンスモデルの探索を動機付けている。 本研究では,TabPFNにおける変換器の代替として,双方向線形時間構造状態空間モデル(SSM)であるHydraを用いる可能性を検討する。 キーとなる課題は、入力トークンの順序に対するSSM固有の感度です。 双方向アプローチが効率をどの程度保ち、対称なコンテキストアグリゲーションを可能にするかを検討する。 実験により,本手法は順序依存性を低減し,従来のTabPFNモデルと競合する予測性能を実現する。

関連論文リスト

• Tabular foundation model for GEOAI benchmark problems BM/AirportSoilProperties/2/2025 [2.07098502859192]
  本稿では,GEOAIベンチマークBM/AirportSoilProperties/2/2025で定義されたサイト特性問題に対する Tabular Prior-Data Fitted Network (TabPFN) の新たな応用について述べる。 我々は、TabPFNをゼロトレーニング、少数ショット、空間内学習設定に適用し、大きな間接データベース(BID)から追加のコンテキストを提供する。 この研究は、TabPFNが汎用基礎モデルとして優れた精度とよく校正された予測分布を達成したことを示す。
  論文  参考訳（メタデータ） (2025-09-03T10:21:18Z)
• Gated Associative Memory: A Parallel O(N) Architecture for Efficient Sequence Modeling [0.0]
  Gated Associative Memory (GAM) ネットワークは、シーケンスモデリングのための新しい完全に並列なアーキテクチャである。 我々はGAMをゼロから実装し、標準的なトランスフォーマーモデルと現代的な線形時間ベースラインに対して厳密な比較分析を行う。 我々の実験は、GAMは一貫して高速で、トレーニング速度のベースラインの両方を上回り、全てのデータセットで優れた、または競争力のある最終バリデーションの難しさを達成できることを示した。
  論文  参考訳（メタデータ） (2025-08-30T20:59:46Z)
• A Closer Look at TabPFN v2: Understanding Its Strengths and Extending Its Capabilities [51.08999772842298]
  Tabular Prior-data Fitted Network v2 (TabPFN v2)は、さまざまな下流データセット間で、前例のないコンテキスト内学習性能を達成する。 本研究では,TabPFN v2が属性トークンをランダムに入力しても属性関係を推測可能であることを示す。 我々はTabPFN v2の制限がテスト時間分割・コンテキスト戦略によって対処できることを実証した。
  論文  参考訳（メタデータ） (2025-02-24T17:38:42Z)
• TabDiff: a Mixed-type Diffusion Model for Tabular Data Generation [91.50296404732902]
  グラフデータの混合型分布を1つのモデルでモデル化する共同拡散フレームワークであるTabDiffを紹介する。 我々の重要な革新は、数値データと分類データのための連立連続時間拡散プロセスの開発である。 TabDiffは、既存の競合ベースラインよりも優れた平均性能を実現し、ペアワイドカラム相関推定における最先端モデルよりも最大で22.5%改善されている。
  論文  参考訳（メタデータ） (2024-10-27T22:58:47Z)
• A Survey on Deep Tabular Learning [0.0]
  タブラルデータは、その不均一な性質と空間構造が欠如していることから、深層学習の独特な課題を提示する。 本調査では,早期完全接続ネットワーク(FCN)から,TabNet,SAINT,TabTranSELU,MambaNetといった先進アーキテクチャに至るまで,タブラルデータのディープラーニングモデルの進化を概観する。
  論文  参考訳（メタデータ） (2024-10-15T20:08:08Z)
• Transformers meet Stochastic Block Models: Attention with Data-Adaptive Sparsity and Cost [53.746169882193456]
  最近の研究は、自己注意の二次的コストを克服するために、様々なスパークアテンションモジュールを提案している。 本稿では,それぞれの注意を混合メンバーシップブロックモデルで表現することで,両方の問題を解決するモデルを提案する。 我々のモデルは、以前の効率的な変種とオリジナルのトランスフォーマーより優れており、十分に注目されています。
  論文  参考訳（メタデータ） (2022-10-27T15:30:52Z)
• Pre-Trained Models for Heterogeneous Information Networks [57.78194356302626]
  異種情報ネットワークの特徴を捉えるための自己教師付き事前学習・微調整フレームワークPF-HINを提案する。 PF-HINは4つのデータセットにおいて、各タスクにおける最先端の代替よりも一貫して、大幅に優れています。
  論文  参考訳（メタデータ） (2020-07-07T03:36:28Z)
• Supervised Learning for Non-Sequential Data: A Canonical Polyadic Decomposition Approach [85.12934750565971]
  特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。 この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。 表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
  論文  参考訳（メタデータ） (2020-01-27T22:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。