論文の概要: Scaling Experiments in Self-Supervised Cross-Table Representation Learning

• arxiv url: http://arxiv.org/abs/2309.17339v1
• Date: Fri, 29 Sep 2023 15:48:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-02 12:53:08.805678
• Title: Scaling Experiments in Self-Supervised Cross-Table Representation Learning
• Title（参考訳）: 自己教師付きクロステーブル表現学習におけるスケーリング実験
• Authors: Maximilian Schambach, Dominique Paul, Johannes S. Otterbach
• Abstract要約: 本稿では,表層データや表層表現学習に適したトランスフォーマーアーキテクチャを提案する。 私たちのトレーニングアプローチでは、単一テーブルモデルとクロステーブルモデルの両方を対象としています。 提案手法のスケーリング動作を理解するため,約104ドルから107ドルのパラメータを含む,さまざまなサイズのモデルを訓練する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To analyze the scaling potential of deep tabular representation learning models, we introduce a novel Transformer-based architecture specifically tailored to tabular data and cross-table representation learning by utilizing table-specific tokenizers and a shared Transformer backbone. Our training approach encompasses both single-table and cross-table models, trained via missing value imputation through a self-supervised masked cell recovery objective. To understand the scaling behavior of our method, we train models of varying sizes, ranging from approximately $10^4$ to $10^7$ parameters. These models are trained on a carefully curated pretraining dataset, consisting of 135M training tokens sourced from 76 diverse datasets. We assess the scaling of our architecture in both single-table and cross-table pretraining setups by evaluating the pretrained models using linear probing on a curated set of benchmark datasets and comparing the results with conventional baselines.
• Abstract（参考訳）: 表表表表現学習モデルのスケーリングポテンシャルを分析するために,表表データに適したトランスフォーマーベースアーキテクチャと表表固有のトークン化器と共有トランスフォーマーバックボーンを利用するクロステーブル表現学習を導入する。 当社のトレーニングアプローチは,シングルテーブルモデルとクロステーブルモデルの両方を包含して,自己教師付きマスク型セルリカバリ目標による価値インプテーションの欠如を通じてトレーニングする。 この手法のスケーリング挙動を理解するために,約10^4$から10^7$パラメータまで,さまざまなサイズのモデルをトレーニングした。 これらのモデルは、76の多様なデータセットからソースされた135万のトレーニングトークンからなる、注意深くキュレートされた事前トレーニングデータセットでトレーニングされる。 ベンチマークデータセットのキュレーションセット上で線形プローブを用いて事前学習したモデルを評価し,従来のベースラインと比較することにより,単一テーブルおよびクロステーブルの事前トレーニング設定におけるアーキテクチャのスケーリングを評価する。

関連論文リスト

• Transferable Post-training via Inverse Value Learning [83.75002867411263]
  別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。 このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。 得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
  論文  参考訳（メタデータ） (2024-10-28T13:48:43Z)
• Distributionally robust self-supervised learning for tabular data [2.942619386779508]
  エラースライスの存在下での堅牢な表現の学習は、高い濃度特徴とエラーセットの構築の複雑さのために困難である。 従来の堅牢な表現学習手法は、コンピュータビジョンにおける教師付き設定における最悪のグループパフォーマンスの改善に主に焦点をあてている。 提案手法は,Masked Language Modeling (MLM) の損失を学習したエンコーダ・デコーダモデルを用いて,頑健な潜在表現を学習する。
  論文  参考訳（メタデータ） (2024-10-11T04:23:56Z)
• Dynamic Post-Hoc Neural Ensemblers [55.15643209328513]
  本研究では,ニューラルネットワークをアンサンブル手法として活用することを検討する。 低多様性のアンサンブルを学習するリスクを動機として,ベースモデル予測をランダムにドロップすることでモデルの正規化を提案する。 このアプローチはアンサンブル内の多様性を低くし、オーバーフィッティングを減らし、一般化能力を向上させる。
  論文  参考訳（メタデータ） (2024-10-06T15:25:39Z)
• Distilled Datamodel with Reverse Gradient Matching [74.75248610868685]
  オフライントレーニングとオンライン評価段階を含む,データ影響評価のための効率的なフレームワークを提案する。 提案手法は, 直接再学習法と比較して, プロセスの大幅な高速化を図りながら, 同等のモデル行動評価を実現する。
  論文  参考訳（メタデータ） (2024-04-22T09:16:14Z)
• TabRepo: A Large Scale Repository of Tabular Model Evaluations and its AutoML Applications [9.457938949410583]
  TabRepoは、モデル評価と予測の新しいデータセットである。 200データセットで評価された1310モデルの予測とメトリクスを含んでいる。
  論文  参考訳（メタデータ） (2023-11-06T09:17:18Z)
• Training-Free Generalization on Heterogeneous Tabular Data via Meta-Representation [67.30538142519067]
  メタ表現(TabPTM)を用いたタブラルデータ事前学習を提案する。 深層ニューラルネットワークは、これらのメタ表現とデータセット固有の分類信頼度を関連付けるように訓練される。 実験により、TabPTMは、数ショットのシナリオであっても、新しいデータセットで有望なパフォーマンスを達成することを確認した。
  論文  参考訳（メタデータ） (2023-10-31T18:03:54Z)
• Retrieval-Based Transformer for Table Augmentation [14.460363647772745]
  我々は、自動データラングリングに対する新しいアプローチを導入する。 本研究の目的は,行数や列数,データ計算などのテーブル拡張タスクに対処することである。 我々のモデルは、教師付き統計手法と最先端のトランスフォーマーベースモデルの両方より一貫して、実質的に優れています。
  論文  参考訳（メタデータ） (2023-06-20T18:51:21Z)
• TRAK: Attributing Model Behavior at Scale [79.56020040993947]
  本稿では,大規模な微分モデルに対して有効かつ計算的に抽出可能なデータ属性法であるTRAK(Tracing with Randomly-trained After Kernel)を提案する。
  論文  参考訳（メタデータ） (2023-03-24T17:56:22Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。