論文の概要: Tab-PET: Graph-Based Positional Encodings for Tabular Transformers

• arxiv url: http://arxiv.org/abs/2511.13338v1
• Date: Mon, 17 Nov 2025 13:08:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 14:36:25.220565
• Title: Tab-PET: Graph-Based Positional Encodings for Tabular Transformers
• Title（参考訳）: Tab-PET: タブラルトランスのためのグラフベースの位置符号化
• Authors: Yunze Leng, Rohan Ghosh, Mehul Motani,
• Abstract要約: 本稿では,位置エンコーディングを埋め込みに推定し,解析するためのグラフベースのフレームワークを提案する。 グラフトポロジからPEを導出するアプローチにインスパイアされた我々は、グラフ推定のパラダイムとして、アソシエーションベースと因果関係ベースという2つを探求する。 グラフ由来のPEは,50の分類データセットと3Tの回帰データセットにまたがる性能を著しく向上させることを実証的に実証した。
• 参考スコア（独自算出の注目度）: 10.312868216225118
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Supervised learning with tabular data presents unique challenges, including low data sizes, the absence of structural cues, and heterogeneous features spanning both categorical and continuous domains. Unlike vision and language tasks, where models can exploit inductive biases in the data, tabular data lacks inherent positional structure, hindering the effectiveness of self-attention mechanisms. While recent transformer-based models like TabTransformer, SAINT, and FT-Transformer (which we refer to as 3T) have shown promise on tabular data, they typically operate without leveraging structural cues such as positional encodings (PEs), as no prior structural information is usually available. In this work, we find both theoretically and empirically that structural cues, specifically PEs can be a useful tool to improve generalization performance for tabular transformers. We find that PEs impart the ability to reduce the effective rank (a form of intrinsic dimensionality) of the features, effectively simplifying the task by reducing the dimensionality of the problem, yielding improved generalization. To that end, we propose Tab-PET (PEs for Tabular Transformers), a graph-based framework for estimating and inculcating PEs into embeddings. Inspired by approaches that derive PEs from graph topology, we explore two paradigms for graph estimation: association-based and causality-based. We empirically demonstrate that graph-derived PEs significantly improve performance across 50 classification and regression datasets for 3T. Notably, association-based graphs consistently yield more stable and pronounced gains compared to causality-driven ones. Our work highlights an unexpected role of PEs in tabular transformers, revealing how they can be harnessed to improve generalization.
• Abstract（参考訳）: 表形式のデータによる教師付き学習は、低いデータサイズ、構造的手がかりの欠如、カテゴリドメインと連続ドメインの両方にまたがる不均一な特徴など、ユニークな課題を示す。 モデルがデータの帰納バイアスを活用できる視覚や言語タスクとは異なり、表データには固有の位置構造がなく、自己認識メカニズムの有効性を妨げる。 TabTransformer、SAINT、FT-Transformerといった最近のトランスフォーマーベースのモデルでは、表形式のデータには約束があるが、通常、従来の構造情報は利用できないため、位置エンコーディング(PE)のような構造的キューを使わずに動作する。 本研究では,構造的手がかり,特にPEが表層変圧器の一般化性能向上に有効であることを示す。 PEは特徴の有効ランク(内在次元の形式)を下げる能力を付与し、問題の次元を小さくすることでタスクを効果的に単純化し、一般化を向上する。 そこで我々は,PEを埋め込みに推定し,解析するためのグラフベースのフレームワークであるTab-PET(Tab-PET for Tabular Transformers)を提案する。 グラフトポロジからPEを導出するアプローチにインスパイアされた我々は、グラフ推定のパラダイムとして、アソシエーションベースと因果関係ベースという2つを探求する。 実験により,グラフ由来のPEは,50の分類と3Tの回帰データセットにおいて,性能を著しく向上することが示された。 特に、アソシエーションベースのグラフは因果性駆動グラフよりも安定で顕著な利得が得られる。 本研究は,表型変圧器におけるPEの予期せぬ役割を浮き彫りにして,一般化の促進にどのように活用できるかを明らかにする。

関連論文リスト

• Plain Transformers Can be Powerful Graph Learners [64.50059165186701]
  研究者たちは、Transformerをグラフ学習に移行しようとしたが、ほとんどの高度なGraph Transformerは、普通のTransformerから遠く離れている。 この研究は、普通のTransformerアーキテクチャが強力なグラフ学習者になれることを示した。
  論文  参考訳（メタデータ） (2025-04-17T02:06:50Z)
• A Closer Look at TabPFN v2: Understanding Its Strengths and Extending Its Capabilities [51.08999772842298]
  Tabular Prior-data Fitted Network v2 (TabPFN v2)は、さまざまな下流データセット間で、前例のないコンテキスト内学習性能を達成する。 本研究では,TabPFN v2が属性トークンをランダムに入力しても属性関係を推測可能であることを示す。 我々はTabPFN v2の制限がテスト時間分割・コンテキスト戦略によって対処できることを実証した。
  論文  参考訳（メタデータ） (2025-02-24T17:38:42Z)
• TabTreeFormer: Tabular Data Generation Using Hybrid Tree-Transformer [14.330758748478281]
  TabTreeFormerは、ツリーベースのモデルの帰納バイアスを統合するハイブリッドトランスフォーマーアーキテクチャである。 TabTreeFormerは、実用性、忠実性、プライバシの指標を競争効率で一貫して上回ります。
  論文  参考訳（メタデータ） (2025-01-02T11:57:08Z)
• Structural Entropy Guided Probabilistic Coding [52.01765333755793]
  構造エントロピー誘導型確率的符号化モデルSEPCを提案する。 我々は、構造エントロピー正規化損失を提案することにより、潜在変数間の関係を最適化に組み込む。 分類タスクと回帰タスクの両方を含む12の自然言語理解タスクに対する実験結果は、SEPCの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-12-12T00:37:53Z)
• A Survey on Deep Tabular Learning [0.0]
  タブラルデータは、その不均一な性質と空間構造が欠如していることから、深層学習の独特な課題を提示する。 本調査では,早期完全接続ネットワーク(FCN)から,TabNet,SAINT,TabTranSELU,MambaNetといった先進アーキテクチャに至るまで,タブラルデータのディープラーニングモデルの進化を概観する。
  論文  参考訳（メタデータ） (2024-10-15T20:08:08Z)
• Unifying Structured Data as Graph for Data-to-Text Pre-Training [69.96195162337793]
  Data-to-text (D2T) の生成は、構造化されたデータを自然言語テキストに変換することを目的としている。 データからテキストへの事前学習は、D2T生成の強化に強力であることが証明された。 構造強化トランスを設計し,D2T生成のための構造強化事前学習手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T12:23:49Z)
• Named Entity Recognition in Industrial Tables using Tabular Language Models [24.287536314062965]
  本研究では,これらのモデルを産業用名前付きエンティティ認識(NER)問題に適用する方法について検討する。 スプレッドシートの高度に技術的な性質とラベル付きデータの欠如は、微調整トランスフォーマーベースのモデルにおいて大きな課題となる。
  論文  参考訳（メタデータ） (2022-09-29T14:25:44Z)
• Learning Enhanced Representations for Tabular Data via Neighborhood Propagation [24.485479610138498]
  データインスタンスのクロスローパターンとクロスカラムパターンをモデル化するハイパーグラフを構築した。 次に、ターゲットデータインスタンス表現を強化するためにメッセージの伝搬を行います。 2つの重要なデータ予測タスクの実験は、提案したPETモデルの優越性を検証する。
  論文  参考訳（メタデータ） (2022-06-14T04:24:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。