論文の概要: ReConTab: Regularized Contrastive Representation Learning for Tabular Data

• arxiv url: http://arxiv.org/abs/2310.18541v2
• Date: Mon, 18 Dec 2023 15:41:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-20 22:26:37.894411
• Title: ReConTab: Regularized Contrastive Representation Learning for Tabular Data
• Title（参考訳）: recontab:表データのための正規化コントラスト表現学習
• Authors: Suiyao Chen, Jing Wu, Naira Hovakimyan, Handong Yao
• Abstract要約: コントラスト学習を正規化した深層自動表現学習フレームワークReConTabを紹介する。 ReConTabは、どんな種類のモデリングタスクにも依存せず、モデル入力から同じ生のフィーチャに基づいて非対称のオートエンコーダを構築する。 大規模な実世界のデータセットで実施された実験は、フレームワークのキャパシティを裏付け、実質的でロバストなパフォーマンス改善をもたらす。
• 参考スコア（独自算出の注目度）: 8.178223284255791
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Representation learning stands as one of the critical machine learning techniques across various domains. Through the acquisition of high-quality features, pre-trained embeddings significantly reduce input space redundancy, benefiting downstream pattern recognition tasks such as classification, regression, or detection. Nonetheless, in the domain of tabular data, feature engineering and selection still heavily rely on manual intervention, leading to time-consuming processes and necessitating domain expertise. In response to this challenge, we introduce ReConTab, a deep automatic representation learning framework with regularized contrastive learning. Agnostic to any type of modeling task, ReConTab constructs an asymmetric autoencoder based on the same raw features from model inputs, producing low-dimensional representative embeddings. Specifically, regularization techniques are applied for raw feature selection. Meanwhile, ReConTab leverages contrastive learning to distill the most pertinent information for downstream tasks. Experiments conducted on extensive real-world datasets substantiate the framework's capacity to yield substantial and robust performance improvements. Furthermore, we empirically demonstrate that pre-trained embeddings can seamlessly integrate as easily adaptable features, enhancing the performance of various traditional methods such as XGBoost and Random Forest.
• Abstract（参考訳）: 表現学習は、さまざまな領域において重要な機械学習技術の1つである。 高品質な特徴の獲得を通じて、事前訓練された埋め込みは入力空間の冗長性を著しく低減し、分類、回帰、検出などの下流パターン認識タスクの恩恵を受ける。 それでも、表データの領域では、機能エンジニアリングと選択は手作業による介入に大きく依存しており、時間を要するプロセスとドメインの専門知識を必要とします。 この課題に対して,正規化コントラスト学習を備えた深層自動表現学習フレームワークReConTabを導入する。 ReConTabはどんな種類のモデリングタスクにも依存せず、モデル入力から同じ原特徴に基づいて非対称のオートエンコーダを構築し、低次元の代表埋め込みを生成する。 具体的には、生の特徴選択に正規化技術を適用する。 一方、ReConTabはコントラスト学習を利用して、下流のタスクに最も関連する情報を抽出する。 広範囲な実世界のデータセットで実施した実験は、フレームワークの性能を実証し、実質的で堅牢なパフォーマンス改善をもたらす。 さらに,xgboostやランダムフォレストといった従来の手法の性能を向上させることにより,事前学習した組込みが容易に適応可能な機能としてシームレスに統合できることを実証した。

関連論文リスト

• Parameter-Efficient and Memory-Efficient Tuning for Vision Transformer: A Disentangled Approach [87.8330887605381]
  本稿では,学習可能なパラメータをわずかに限定して,事前学習した視覚変換器を下流認識タスクに適用する方法を示す。 学習可能で軽量なモジュールを用いてタスク固有のクエリを合成する。 本手法はメモリ制約下での最先端性能を実現し,実環境における適用性を示す。
  論文  参考訳（メタデータ） (2024-07-09T15:45:04Z)
• Binning as a Pretext Task: Improving Self-Supervised Learning in Tabular Domains [0.565395466029518]
  そこで本研究では,古典的ビンニング手法に基づく新しいプレテキストタスクを提案する。 その考え方は単純で、元の値ではなく、binインデックス(順序またはクラス)を再構築する。 我々の実証調査では、ビンニングの利点がいくつか確認されている。
  論文  参考訳（メタデータ） (2024-05-13T01:23:14Z)
• SwitchTab: Switched Autoencoders Are Effective Tabular Learners [16.316153704284936]
  グラフデータに対する自己教師付き表現手法であるSwitchTabを紹介する。 SwitchTabは、データペア間の相互および正常な機能を分離することで、潜伏した依存関係をキャプチャする。 その結果、微調整によるエンドツーエンド予測タスクにおいて、優れた性能を示した。 そこで我々は,SwitchTabが相互に疎結合で有意な特徴を可視化することで,説明可能な表現を生成する能力を強調した。
  論文  参考訳（メタデータ） (2024-01-04T01:05:45Z)
• Unlocking the Transferability of Tokens in Deep Models for Tabular Data [67.11727608815636]
  トレーニング済みのディープニューラルネットワークの微調整は、さまざまな機械学習タスクにおいて成功しているパラダイムとなっている。 本稿では,特徴トークンの品質向上を目的としたTabTokenを提案する。 トークンを規則化し、機能内および機能間のセマンティクスをキャプチャする、対照的な目的を導入します。
  論文  参考訳（メタデータ） (2023-10-23T17:53:09Z)
• Unsupervised 3D registration through optimization-guided cyclical self-training [71.75057371518093]
  最先端のディープラーニングベースの登録方法は、3つの異なる学習戦略を採用している。 本稿では,教師なし登録のための自己指導型学習パラダイムを提案する。 腹部, 肺の登録方法の評価を行い, 測定基準に基づく監督を一貫して上回り, 最先端の競争相手よりも優れていた。
  論文  参考訳（メタデータ） (2023-06-29T14:54:10Z)
• Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
  本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。 提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
  論文  参考訳（メタデータ） (2023-06-21T01:43:25Z)
• Adaptive Cross Batch Normalization for Metric Learning [75.91093210956116]
  メトリクス学習はコンピュータビジョンの基本的な問題である。 蓄積した埋め込みが最新であることを保証することは、同様に重要であることを示す。 特に、蓄積した埋め込みと現在のトレーニングイテレーションにおける特徴埋め込みとの間の表現的ドリフトを回避する必要がある。
  論文  参考訳（メタデータ） (2023-03-30T03:22:52Z)
• Active Learning for Sequence Tagging with Deep Pre-trained Models and Bayesian Uncertainty Estimates [52.164757178369804]
  自然言語処理のためのトランスファーラーニングとアクティブラーニングの最近の進歩は、必要なアノテーション予算を大幅に削減する可能性を開く。 我々は,様々なベイズ不確実性推定手法とモンテカルロドロップアウトオプションの実験的研究を,アクティブ学習フレームワークで実施する。 また, 能動学習中にインスタンスを取得するためには, 完全サイズのトランスフォーマーを蒸留版に置き換えることにより, 計算性能が向上することを示した。
  論文  参考訳（メタデータ） (2021-01-20T13:59:25Z)
• Self-Supervised Domain Adaptation with Consistency Training [0.2462953128215087]
  画像分類における教師なし領域適応の問題点を考察する。 ラベルのないデータをある種の変換で拡張することにより、自己教師付きプレテキストタスクを作成する。 我々は、拡張データの表現を元のデータと整合するように強制する。
  論文  参考訳（メタデータ） (2020-10-15T06:03:47Z)
• Uniform Priors for Data-Efficient Transfer [65.086680950871]
  もっとも移動可能な特徴は埋め込み空間において高い均一性を有することを示す。 我々は、未確認のタスクやデータへの適応を容易にする能力の正規化を評価する。
  論文  参考訳（メタデータ） (2020-06-30T04:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。