論文の概要: SwitchTab: Switched Autoencoders Are Effective Tabular Learners

• arxiv url: http://arxiv.org/abs/2401.02013v1
• Date: Thu, 4 Jan 2024 01:05:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-05 16:07:50.363357
• Title: SwitchTab: Switched Autoencoders Are Effective Tabular Learners
• Title（参考訳）: switchtab: 自動エンコーダは効果的な表学習者
• Authors: Jing Wu, Suiyao Chen, Qi Zhao, Renat Sergazinov, Chen Li, Shengjie Liu, Chongchao Zhao, Tianpei Xie, Hanqing Guo, Cheng Ji, Daniel Cociorva, Hakan Brunzel
• Abstract要約: グラフデータに対する自己教師付き表現手法であるSwitchTabを紹介する。 SwitchTabは、データペア間の相互および正常な機能を分離することで、潜伏した依存関係をキャプチャする。 その結果、微調整によるエンドツーエンド予測タスクにおいて、優れた性能を示した。 そこで我々は,SwitchTabが相互に疎結合で有意な特徴を可視化することで,説明可能な表現を生成する能力を強調した。
• 参考スコア（独自算出の注目度）: 16.316153704284936
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised representation learning methods have achieved significant success in computer vision and natural language processing, where data samples exhibit explicit spatial or semantic dependencies. However, applying these methods to tabular data is challenging due to the less pronounced dependencies among data samples. In this paper, we address this limitation by introducing SwitchTab, a novel self-supervised method specifically designed to capture latent dependencies in tabular data. SwitchTab leverages an asymmetric encoder-decoder framework to decouple mutual and salient features among data pairs, resulting in more representative embeddings. These embeddings, in turn, contribute to better decision boundaries and lead to improved results in downstream tasks. To validate the effectiveness of SwitchTab, we conduct extensive experiments across various domains involving tabular data. The results showcase superior performance in end-to-end prediction tasks with fine-tuning. Moreover, we demonstrate that pre-trained salient embeddings can be utilized as plug-and-play features to enhance the performance of various traditional classification methods (e.g., Logistic Regression, XGBoost, etc.). Lastly, we highlight the capability of SwitchTab to create explainable representations through visualization of decoupled mutual and salient features in the latent space.
• Abstract（参考訳）: 自己教師付き表現学習法はコンピュータビジョンや自然言語処理において大きな成功を収めており、データサンプルは空間的あるいは意味的な依存関係を明確に示している。 しかし,これらの手法を表データに適用することは,データサンプル間の依存度が低いため困難である。 本稿では,この制限に対処するために,表データに潜む依存性をキャプチャするために設計された,新しい自己教師あり方式であるswitchtabを導入する。 switchtabは、非対称エンコーダ-デコーダフレームワークを利用して、データペア間の相互およびサルエントな特徴を分離し、より代表的な埋め込みを実現する。 これらの埋め込みは、より良い意思決定境界に寄与し、下流タスクの結果を改善する。 SwitchTabの有効性を検証するため、表データを含む様々な領域にわたる広範な実験を行った。 その結果、微調整によるエンドツーエンド予測タスクにおいて優れた性能を示した。 さらに,従来の分類手法(例えば,ロジスティック回帰,XGBoostなど)の性能を高めるために,事前学習したサルエント埋め込みをプラグアンドプレイ機能として利用できることを示す。 最後に、潜在空間における分離された相互特徴とサルエント特徴を可視化することで、説明可能な表現を作成するswitchtabの機能を強調する。

関連論文リスト

• TabDeco: A Comprehensive Contrastive Framework for Decoupled Representations in Tabular Data [5.98480077860174]
  本研究では,行と列をまたいだアテンションベースの符号化手法であるTabDecoを紹介する。 革新的な機能の分離によって、TabDecoは既存のディープラーニングメソッドを一貫して上回っている。
  論文  参考訳（メタデータ） (2024-11-17T18:42:46Z)
• Binning as a Pretext Task: Improving Self-Supervised Learning in Tabular Domains [0.565395466029518]
  そこで本研究では,古典的ビンニング手法に基づく新しいプレテキストタスクを提案する。 その考え方は単純で、元の値ではなく、binインデックス(順序またはクラス)を再構築する。 我々の実証調査では、ビンニングの利点がいくつか確認されている。
  論文  参考訳（メタデータ） (2024-05-13T01:23:14Z)
• Making Pre-trained Language Models Great on Tabular Prediction [50.70574370855663]
  ディープニューラルネットワーク(DNN)の転送性は、画像および言語処理において著しく進歩している。 本稿では,表型データ予測のための訓練済みLMであるTP-BERTaを提案する。 新たな相対等級トークン化では、スカラー数値の特徴値を細分化した高次元トークンに変換し、特徴値と対応する特徴名を統合する。
  論文  参考訳（メタデータ） (2024-03-04T08:38:56Z)
• ReConTab: Regularized Contrastive Representation Learning for Tabular Data [8.178223284255791]
  コントラスト学習を正規化した深層自動表現学習フレームワークReConTabを紹介する。 ReConTabは、どんな種類のモデリングタスクにも依存せず、モデル入力から同じ生のフィーチャに基づいて非対称のオートエンコーダを構築する。 大規模な実世界のデータセットで実施された実験は、フレームワークのキャパシティを裏付け、実質的でロバストなパフォーマンス改善をもたらす。
  論文  参考訳（メタデータ） (2023-10-28T00:05:28Z)
• Learning Representations without Compositional Assumptions [79.12273403390311]
  本稿では,特徴集合をグラフノードとして表現し,それらの関係を学習可能なエッジとして表現することで,特徴集合の依存関係を学習するデータ駆動型アプローチを提案する。 また,複数のビューから情報を動的に集約するために,より小さな潜在グラフを学習する新しい階層グラフオートエンコーダLEGATOを導入する。
  論文  参考訳（メタデータ） (2023-05-31T10:36:10Z)
• SubTab: Subsetting Features of Tabular Data for Self-Supervised Representation Learning [5.5616364225463055]
  私たちはTabular Data(SubTab)のサブセット機能である新しいフレームワークを紹介します。 本稿では,タブラルデータ(SubTab)のサブセット機能である新しいフレームワークを提案する。 我々は、自動エンコーダ設定で、その機能の一部分からデータを再構成することで、その基盤となる表現をよりよく捉えることができると論じている。
  論文  参考訳（メタデータ） (2021-10-08T20:11:09Z)
• Robust Representation Learning via Perceptual Similarity Metrics [18.842322467828502]
  Contrastive Input Morphing (CIM) はデータの入力空間変換を学習する表現学習フレームワークである。 CIMは他の相互情報に基づく表現学習技術と相補的であることを示す。
  論文  参考訳（メタデータ） (2021-06-11T21:45:44Z)
• Visual Transformer for Task-aware Active Learning [49.903358393660724]
  プールベースのアクティブラーニングのための新しいパイプラインを提案する。 提案手法は,学習中に使用可能なアンラベリング例を利用して,ラベル付き例との相関関係を推定する。 ビジュアルトランスフォーマーは、ラベル付き例と非ラベル付き例の間の非ローカルビジュアル概念依存性をモデル化する。
  論文  参考訳（メタデータ） (2021-06-07T17:13:59Z)
• Automated Concatenation of Embeddings for Structured Prediction [75.44925576268052]
  本稿では, 埋め込みの自動結合(ACE)を提案し, 構造予測タスクにおける埋め込みのより優れた結合を見つけるプロセスを自動化する。 我々は、強化学習の戦略に従い、制御器のパラメータを最適化し、タスクモデルの精度に基づいて報酬を計算する。
  論文  参考訳（メタデータ） (2020-10-10T14:03:20Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)
• How Useful is Self-Supervised Pretraining for Visual Tasks? [133.1984299177874]
  我々は、総合的な合成データセットと下流タスクにまたがる様々な自己教師付きアルゴリズムを評価する。 我々の実験は、利用可能なラベルの数が増えるにつれて、セルフスーパービジョンの有用性がどう変化するかについての洞察を提供する。
  論文  参考訳（メタデータ） (2020-03-31T16:03:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。