論文の概要: Training-Free Generalization on Heterogeneous Tabular Data via Meta-Representation

• arxiv url: http://arxiv.org/abs/2311.00055v1
• Date: Tue, 31 Oct 2023 18:03:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 16:10:50.313879
• Title: Training-Free Generalization on Heterogeneous Tabular Data via Meta-Representation
• Title（参考訳）: メタ表現による不均一表データのトレーニングフリー一般化
• Authors: Han-Jia Ye, Qi-Le Zhou, De-Chuan Zhan
• Abstract要約: メタ表現(TabPTM)を用いたタブラルデータ事前学習を提案する。 深層ニューラルネットワークは、これらのメタ表現とデータセット固有の分類信頼度を関連付けるように訓練される。 実験により、TabPTMは、数ショットのシナリオであっても、新しいデータセットで有望なパフォーマンスを達成することを確認した。
• 参考スコア（独自算出の注目度）: 67.30538142519067
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tabular data is prevalent across various machine learning domains. Yet, the inherent heterogeneities in attribute and class spaces across different tabular datasets hinder the effective sharing of knowledge, limiting a tabular model to benefit from other datasets. In this paper, we propose Tabular data Pre-Training via Meta-representation (TabPTM), which allows one tabular model pre-training on a set of heterogeneous datasets. Then, this pre-trained model can be directly applied to unseen datasets that have diverse attributes and classes without additional training. Specifically, TabPTM represents an instance through its distance to a fixed number of prototypes, thereby standardizing heterogeneous tabular datasets. A deep neural network is then trained to associate these meta-representations with dataset-specific classification confidences, endowing TabPTM with the ability of training-free generalization. Experiments validate that TabPTM achieves promising performance in new datasets, even under few-shot scenarios.
• Abstract（参考訳）: 表データはさまざまな機械学習領域にまたがる。 しかし、異なる表型データセットにまたがる属性とクラス空間の固有の不均一性は、知識の効果的な共有を妨げる。 本稿では,TabPTM(Tabular data Pre-Training via Meta-representation)を提案する。 そして、この事前トレーニングされたモデルは、追加のトレーニングなしで多様な属性とクラスを持つ未確認データセットに直接適用することができる。 具体的には、TabPTMはそのインスタンスを一定数のプロトタイプまでの距離で表現し、不均一な表形式のデータセットを標準化する。 深層ニューラルネットワークは、これらのメタ表現をデータセット固有の分類信頼度に関連付けるように訓練され、TabPTMとトレーニング不要の一般化能力を提供する。 実験により、tabptmが新しいデータセットで有望なパフォーマンスを達成することが検証される。

関連論文リスト

• TabDiff: a Multi-Modal Diffusion Model for Tabular Data Generation [91.50296404732902]
  1つのモデルで表データのマルチモーダル分布をモデル化する共同拡散フレームワークであるTabDiffを紹介する。 我々の重要な革新は、数値データと分類データのための連立連続時間拡散プロセスの開発である。 TabDiffは、既存の競合ベースラインよりも優れた平均性能を実現し、ペアワイドカラム相関推定における最先端モデルよりも最大で22.5%改善されている。
  論文  参考訳（メタデータ） (2024-10-27T22:58:47Z)
• LaTable: Towards Large Tabular Models [63.995130144110156]
  タブラル生成基盤モデルは、異なるデータセットの不均一な特徴空間のために構築が困難である。 LaTableは、これらの課題に対処し、異なるデータセットでトレーニング可能な、新しい拡散モデルである。 LaTableは、分散生成のベースラインよりも優れており、微調整されたLaTableは、より少ないサンプルで分散データセットをより良く生成できる。
  論文  参考訳（メタデータ） (2024-06-25T16:03:50Z)
• TabMDA: Tabular Manifold Data Augmentation for Any Classifier using Transformers with In-context Subsetting [23.461204546005387]
  TabMDAは、表データの多様体データ拡張のための新しい方法である。 これは、TabPFNのような事前訓練されたインコンテキストモデルを利用して、データを埋め込みスペースにマッピングする。 我々は,TabMDAを5つの標準分類器上で評価し,各種データセット間での大幅な性能向上を観察した。
  論文  参考訳（メタデータ） (2024-06-03T21:51:13Z)
• Cross-Table Pretraining towards a Universal Function Space for Heterogeneous Tabular Data [35.61663559675556]
  クロスデータセット事前トレーニングは、様々な分野で顕著な成功を収めている。 本研究では,多目的な下流表予測タスクのためのクロステーブル事前学習型トランスであるXTFormerを提案する。 我々の手法は、XTFormerを事前訓練して、全ての潜在的な機能ターゲットマッピングを含む「メタ関数」空間を確立することである。
  論文  参考訳（メタデータ） (2024-06-01T03:24:31Z)
• Making Pre-trained Language Models Great on Tabular Prediction [50.70574370855663]
  ディープニューラルネットワーク(DNN)の転送性は、画像および言語処理において著しく進歩している。 本稿では,表型データ予測のための訓練済みLMであるTP-BERTaを提案する。 新たな相対等級トークン化では、スカラー数値の特徴値を細分化した高次元トークンに変換し、特徴値と対応する特徴名を統合する。
  論文  参考訳（メタデータ） (2024-03-04T08:38:56Z)
• Tabular Few-Shot Generalization Across Heterogeneous Feature Spaces [43.67453625260335]
  異種特徴空間を持つデータセット間での知識共有を含む数ショット学習のための新しいアプローチを提案する。 FLATはデータセットとその個々の列の低次元埋め込みを学習し、それまで見つからなかったデータセットへの知識伝達と一般化を容易にする。 デコーダネットワークは、グラフ注意ネットワークとして実装された予測対象ネットワークをパラメータ化して、表形式のデータセットの不均一性に対応する。
  論文  参考訳（メタデータ） (2023-11-16T17:45:59Z)
• Generative Table Pre-training Empowers Models for Tabular Prediction [71.76829961276032]
  本稿では,テーブル事前学習を利用した最初の試みであるTapTapを提案する。 TapTapは、プライバシ保護、リソースの低さ、価値計算の欠如、不均衡な分類など、さまざまなアプリケーションをサポートするための高品質な合成テーブルを生成することができる。 LightGBM、Multilayer Perceptron (MLP)、Transformerなどのバックボーンモデルと簡単に組み合わせることができる。
  論文  参考訳（メタデータ） (2023-05-16T06:37:38Z)
• XTab: Cross-table Pretraining for Tabular Transformers [29.419276738753968]
  XTabは、さまざまなドメインのデータセット上の表型トランスフォーマーのクロステーブル事前トレーニングのためのフレームワークである。 XTabは、複数の表型変換器の一般化性、学習速度、性能を一貫して向上させることを示す。 回帰、二分法、多クラス分類といった様々なタスクにおいて、最先端の表層深層学習モデルよりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-05-10T12:17:52Z)
• SubTab: Subsetting Features of Tabular Data for Self-Supervised Representation Learning [5.5616364225463055]
  私たちはTabular Data(SubTab)のサブセット機能である新しいフレームワークを紹介します。 本稿では,タブラルデータ(SubTab)のサブセット機能である新しいフレームワークを提案する。 我々は、自動エンコーダ設定で、その機能の一部分からデータを再構成することで、その基盤となる表現をよりよく捉えることができると論じている。
  論文  参考訳（メタデータ） (2021-10-08T20:11:09Z)
• GraPPa: Grammar-Augmented Pre-Training for Table Semantic Parsing [117.98107557103877]
  テーブルセマンティック解析のための効果的な事前学習手法GraPPaを提案する。 我々は、同期文脈自由文法を用いて、高自由度テーブル上に合成質問ペアを構築する。 実世界のデータを表現できるモデルの能力を維持するため、マスキング言語モデリングも含んでいる。
  論文  参考訳（メタデータ） (2020-09-29T08:17:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。