論文の概要: Revisiting Pretraining Objectives for Tabular Deep Learning
- arxiv url: http://arxiv.org/abs/2207.03208v1
- Date: Thu, 7 Jul 2022 10:29:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-08 14:00:05.232932
- Title: Revisiting Pretraining Objectives for Tabular Deep Learning
- Title(参考訳): タブラルディープラーニングのための事前学習対象の再検討
- Authors: Ivan Rubachev, Artem Alekberov, Yury Gorishniy, Artem Babenko
- Abstract要約: プレトレーニング(Pretraining)は、視覚とNLPのためのディープラーニング(DL)の作業場である。
事前学習段階における対象目標ラベルの使用は,下流での演奏に有益であることを示す。
- 参考スコア(独自算出の注目度): 21.75490119265481
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent deep learning models for tabular data currently compete with the
traditional ML models based on decision trees (GBDT). Unlike GBDT, deep models
can additionally benefit from pretraining, which is a workhorse of DL for
vision and NLP. For tabular problems, several pretraining methods were
proposed, but it is not entirely clear if pretraining provides consistent
noticeable improvements and what method should be used, since the methods are
often not compared to each other or comparison is limited to the simplest MLP
architectures.
In this work, we aim to identify the best practices to pretrain tabular DL
models that can be universally applied to different datasets and architectures.
Among our findings, we show that using the object target labels during the
pretraining stage is beneficial for the downstream performance and advocate
several target-aware pretraining objectives. Overall, our experiments
demonstrate that properly performed pretraining significantly increases the
performance of tabular DL models, which often leads to their superiority over
GBDTs.
- Abstract(参考訳): 表データの最近のディープラーニングモデルは、決定木(GBDT)に基づいた従来のMLモデルと競合している。
GBDTとは異なり、ディープモデルは、ビジョンとNLPのためのDLのワークホースである事前トレーニングの恩恵を受けることができる。
表付き問題に対しては、いくつかの事前学習手法が提案されているが、事前学習が一貫した改善をもたらすか、どの方法を使うべきかは明らかになっていない。
本研究では,異なるデータセットやアーキテクチャに普遍的に適用可能な表型DLモデルを事前学習するためのベストプラクティスを特定することを目的とする。
以上の結果から,事前学習段階での目標ラベルの使用が下流のパフォーマンスに有益であることを示し,目標認識事前学習目標を提唱した。
実験の結果, 適切な事前学習を行うことで, 表型DLモデルの性能が著しく向上し, GBDTよりも優れることがわかった。
関連論文リスト
- LEVI: Generalizable Fine-tuning via Layer-wise Ensemble of Different
Views [28.917597757230745]
ファインチューニングは、新しい下流タスクで事前訓練された基礎モデルのパワーを活用するために使用される。
近年の研究では、微調整されたモデルから目に見えない分布への一般化の課題が観察されている。
そこで本研究では,タスク固有モデルを用いて,事前学習したモデルを階層的に適応的に組み立てる,一般化可能なファインチューニング手法LEVIを提案する。
論文 参考訳(メタデータ) (2024-02-07T08:16:40Z) - Learning Semantic Proxies from Visual Prompts for Parameter-Efficient
Fine-Tuning in Deep Metric Learning [15.254782791542329]
既存のソリューションは、既存の画像データセット上でトレーニング済みのモデルを微調整することに集中している。
我々は、事前学習された視覚変換器(ViT)における視覚プロンプト(VPT)の学習に基づく、新しい効果的なフレームワークを提案する。
セマンティック情報を用いた新しい近似が代表的能力よりも優れていることを示す。
論文 参考訳(メタデータ) (2024-02-04T04:42:05Z) - An Emulator for Fine-Tuning Large Language Models using Small Language
Models [91.02498576056057]
本研究では,異なるスケールでの事前学習と微調整の結果を近似する分布から,エミュレート・ファインチューニング(EFT)を原理的かつ実用的なサンプリング法として導入する。
EFTは、追加トレーニングを伴わずに、有益性や無害性といった競合する行動特性をテスト時間で調整できることを示す。
最後に、LMアップスケーリングと呼ばれるエミュレートされたファインチューニングの特殊な場合において、小さなファインチューニングモデルと組み合わせることで、大きな事前学習モデルのリソース集約的なファインチューニングを回避する。
論文 参考訳(メタデータ) (2023-10-19T17:57:16Z) - PILOT: A Pre-Trained Model-Based Continual Learning Toolbox [71.63186089279218]
本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。
一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。
一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
論文 参考訳(メタデータ) (2023-09-13T17:55:11Z) - INGENIOUS: Using Informative Data Subsets for Efficient Pre-Training of
Language Models [40.54353850357839]
トレーニングコーパスの高度に代表的なサブセットを選択するために、サブモジュラー最適化を利用する方法を示す。
その結果,完全学習モデルの性能の最大$sim99%が得られた。
論文 参考訳(メタデータ) (2023-05-11T09:24:41Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳(メタデータ) (2023-03-20T14:12:55Z) - Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。
画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
論文 参考訳(メタデータ) (2022-09-30T02:25:12Z) - Effective and Efficient Training for Sequential Recommendation using
Recency Sampling [91.02268704681124]
本稿では,新しいRecency-based Smpling of Sequencesトレーニング目標を提案する。
提案手法により拡張されたモデルにより,最先端のBERT4Recに近い性能が得られることを示す。
論文 参考訳(メタデータ) (2022-07-06T13:06:31Z) - Large Language Models Can Be Strong Differentially Private Learners [70.0317718115406]
Differentially Private(DP)学習は、テキストの大規模なディープラーニングモデルを構築する上で、限られた成功を収めている。
この性能低下は,大規模な事前学習モデルを用いることで緩和可能であることを示す。
本稿では,DP-SGDにおけるクリッピングを,サンプルごとの勾配をインスタンス化せずに実行可能にするメモリ節約手法を提案する。
論文 参考訳(メタデータ) (2021-10-12T01:45:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。