論文の概要: Deep Tabular Representation Corrector
- arxiv url: http://arxiv.org/abs/2603.16569v1
- Date: Tue, 17 Mar 2026 14:26:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-18 17:42:07.333015
- Title: Deep Tabular Representation Corrector
- Title(参考訳): Deep Tabular Representation Corrector
- Authors: Hangting Ye, Peng Wang, Wei Fan, Xiaozhuang Song, He Zhao, Dandan Gun, Yi Chang,
- Abstract要約: タブラルデータは、医療、エンジニアリング、金融など、さまざまな現実世界の分野において、主に重要な役割を担っている。
本稿では, モデルに依存しない方法でパラメータを変更せずに, 訓練済みの深部表象モデルの表現を強化するための, 深部表象コーレクタである深部表象コーレクタを提案する。
- 参考スコア(独自算出の注目度): 21.273567937548155
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tabular data have been playing a mostly important role in diverse real-world fields, such as healthcare, engineering, finance, etc. The recent success of deep learning has fostered many deep networks (e.g., Transformer, ResNet) based tabular learning methods. Generally, existing deep tabular machine learning methods are along with the two paradigms, i.e., in-learning and pre-learning. In-learning methods need to train networks from scratch or impose extra constraints to regulate the representations which nonetheless train multiple tasks simultaneously and make learning more difficult, while pre-learning methods design several pretext tasks for pre-training and then conduct task-specific fine-tuning, which however need much extra training effort with prior knowledge. In this paper, we introduce a novel deep Tabular Representation Corrector, TRC, to enhance any trained deep tabular model's representations without altering its parameters in a model-agnostic manner. Specifically, targeting the representation shift and representation redundancy that hinder prediction, we propose two tasks, i.e., (i) Tabular Representation Re-estimation, that involves training a shift estimator to calculate the inherent shift of tabular representations to subsequently mitigate it, thereby re-estimating the representations and (ii) Tabular Space Mapping, that transforms the above re-estimated representations into a light-embedding vector space via a coordinate estimator while preserves crucial predictive information to minimize redundancy. The two tasks jointly enhance the representations of deep tabular models without touching on the original models thus enjoying high efficiency. Finally, we conduct extensive experiments on state-of-the-art deep tabular machine learning models coupled with TRC on various tabular benchmarks which have shown consistent superiority.
- Abstract(参考訳): タブラルデータは、医療、エンジニアリング、金融など、さまざまな現実世界の分野において、主に重要な役割を担っている。
最近のディープラーニングの成功は、多くのディープネットワーク(例えば、Transformer、ResNet)ベースの表型学習手法を育んでいる。
一般に、既存の深層表型機械学習手法は、インラーニングとプレラーニングという2つのパラダイムに沿っている。
インラーニング手法では、ネットワークをスクラッチからトレーニングしたり、余分な制約を課したり、複数のタスクを同時に訓練し、学習をより困難にする表現を規制したりする必要がある。
本稿では, モデルに依存しない方法でパラメータを変更せずに, 訓練済みの深部表象モデルの表現を強化するための, 深部表象コーレクタである深部表象コーレクタを提案する。
具体的には、予測を妨げる表現シフトと表現冗長性を目標とし、2つのタスク、すなわち2つのタスクを提案する。
一 シフト推定器を訓練して表象の本来の変化を計算し、その後、それを緩和し、その結果、表象を再推定するタブラリ表現再推定
二 上記の再推定表現を座標推定器を介して光埋め込みベクトル空間に変換し、重要な予測情報を保存して冗長性を最小化するタブラル空間マッピング。
2つのタスクは、元のモデルに触れることなく、深い表層モデルの表現を共同で強化し、高い効率を享受する。
最後に,TRCと組み合わせた最先端の深層表型機械学習モデルについて,一貫した優位性を示す様々な表型ベンチマークで広範な実験を行った。
関連論文リスト
- A Closer Look at TabPFN v2: Understanding Its Strengths and Extending Its Capabilities [51.08999772842298]
Tabular Prior-data Fitted Network v2 (TabPFN v2)は、さまざまな下流データセット間で、前例のないコンテキスト内学習性能を達成する。
本研究では,TabPFN v2が属性トークンをランダムに入力しても属性関係を推測可能であることを示す。
我々はTabPFN v2の制限がテスト時間分割・コンテキスト戦略によって対処できることを実証した。
論文 参考訳(メタデータ) (2025-02-24T17:38:42Z) - VisTabNet: Adapting Vision Transformers for Tabular Data [7.6400146954285315]
本稿では,事前学習した重み付きビジョントランスフォーマーを用いて表データ処理を行うクロスモーダルトランスファー学習法を提案する。
VisTabNetの優位性を示し、従来のアンサンブル手法と最近のディープラーニングモデルの両方より優れています。
サンプル実装をGitHubリポジトリとして公開しています。
論文 参考訳(メタデータ) (2024-12-28T13:40:46Z) - Revisiting Nearest Neighbor for Tabular Data: A Deep Tabular Baseline Two Decades Later [76.66498833720411]
K$-nearest neighbors (KNN) はもともと,インスタンス間のセマンティックな類似性を捉えるために線形投影を学習するために設計されたものだ。
意外なことに、SGDを用いたNAAの実装と次元減少のない実装は、表データの良好な性能をすでに達成しています。
本稿では、損失関数、予測戦略、深いアーキテクチャなど、これらの改善の背景にある要因を分析して、論文を締めくくる。
論文 参考訳(メタデータ) (2024-07-03T16:38:57Z) - Making Pre-trained Language Models Great on Tabular Prediction [50.70574370855663]
ディープニューラルネットワーク(DNN)の転送性は、画像および言語処理において著しく進歩している。
本稿では,表型データ予測のための訓練済みLMであるTP-BERTaを提案する。
新たな相対等級トークン化では、スカラー数値の特徴値を細分化した高次元トークンに変換し、特徴値と対応する特徴名を統合する。
論文 参考訳(メタデータ) (2024-03-04T08:38:56Z) - ReConTab: Regularized Contrastive Representation Learning for Tabular
Data [8.178223284255791]
コントラスト学習を正規化した深層自動表現学習フレームワークReConTabを紹介する。
ReConTabは、どんな種類のモデリングタスクにも依存せず、モデル入力から同じ生のフィーチャに基づいて非対称のオートエンコーダを構築する。
大規模な実世界のデータセットで実施された実験は、フレームワークのキャパシティを裏付け、実質的でロバストなパフォーマンス改善をもたらす。
論文 参考訳(メタデータ) (2023-10-28T00:05:28Z) - Unlocking the Transferability of Tokens in Deep Models for Tabular Data [67.11727608815636]
トレーニング済みのディープニューラルネットワークの微調整は、さまざまな機械学習タスクにおいて成功しているパラダイムとなっている。
本稿では,特徴トークンの品質向上を目的としたTabTokenを提案する。
トークンを規則化し、機能内および機能間のセマンティクスをキャプチャする、対照的な目的を導入します。
論文 参考訳(メタデータ) (2023-10-23T17:53:09Z) - Towards Cross-Table Masked Pretraining for Web Data Mining [22.952238405240188]
本稿では,CM2と呼ばれる,革新的で汎用的で効率的なクロステーブル事前学習フレームワークを提案する。
実験では,CM2の最先端性能を実証し,クロステーブルプレトレーニングが様々なダウンストリームタスクを向上させることを実証した。
論文 参考訳(メタデータ) (2023-07-10T02:27:38Z) - Transfer Learning with Deep Tabular Models [66.67017691983182]
上流データにより、グラフニューラルネットワークはGBDTモデルよりも決定的な優位性を示す。
そこで本研究では,表在化学習のための現実的な診断ベンチマークを提案する。
上流と下流の特徴セットが異なる場合の擬似特徴法を提案する。
論文 参考訳(メタデータ) (2022-06-30T14:24:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。