論文の概要: SAINT: Improved Neural Networks for Tabular Data via Row Attention and Contrastive Pre-Training

• arxiv url: http://arxiv.org/abs/2106.01342v1
• Date: Wed, 2 Jun 2021 17:51:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-03 16:22:58.777049
• Title: SAINT: Improved Neural Networks for Tabular Data via Row Attention and Contrastive Pre-Training
• Title（参考訳）: SAINT:Row AttentionとContrastive Pre-Trainingによる語彙データのためのニューラルネットワークの改良
• Authors: Gowthami Somepalli, Micah Goldblum, Avi Schwarzschild, C. Bayan Bruss, Tom Goldstein
• Abstract要約: タブラルデータは、機械学習の多くのハイインパクトな応用を支えている。 近年のディープラーニング手法は、一般的な技術と競合する性能を達成している。 提案手法であるSAINTは,行と列の双方に注意を向ける。
• 参考スコア（独自算出の注目度）: 45.05674813345639
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tabular data underpins numerous high-impact applications of machine learning from fraud detection to genomics and healthcare. Classical approaches to solving tabular problems, such as gradient boosting and random forests, are widely used by practitioners. However, recent deep learning methods have achieved a degree of performance competitive with popular techniques. We devise a hybrid deep learning approach to solving tabular data problems. Our method, SAINT, performs attention over both rows and columns, and it includes an enhanced embedding method. We also study a new contrastive self-supervised pre-training method for use when labels are scarce. SAINT consistently improves performance over previous deep learning methods, and it even outperforms gradient boosting methods, including XGBoost, CatBoost, and LightGBM, on average over a variety of benchmark tasks.
• Abstract（参考訳）: タブラルデータは、不正検出からゲノム学、医療に至るまで、機械学習の多くの影響の高い応用を支えている。 勾配上昇や無作為林などの表層問題に対する古典的なアプローチは、実践者によって広く用いられている。 しかし、近年のディープラーニング手法は、一般的な技術と競合する性能を達成している。 テーブル型データ問題を解決するために,ハイブリッドなディープラーニングアプローチを考案する。 提案手法である saint は行と列の両方に注意を払っており,拡張埋め込みメソッドも備えている。 また,ラベルの不足時に使用するコントラスト型自己教師付き事前学習法についても検討した。 SAINTは、従来のディープラーニングメソッドよりもパフォーマンスを継続的に改善し、XGBoost、CatBoost、LightGBMなど、さまざまなベンチマークタスクにおいて、勾配向上メソッドよりもパフォーマンスが向上している。

関連論文リスト

• An Effective Dynamic Gradient Calibration Method for Continual Learning [11.555822066922508]
  継続的学習(CL)は機械学習の基本的なトピックであり、目標は連続的なデータとタスクでモデルをトレーニングすることだ。 メモリ制限のため、すべての履歴データを保存できないため、破滅的な忘れの問題に直面します。 モデルの各更新ステップの勾配をキャリブレーションする有効なアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-07-30T16:30:09Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• Efficient Meta-Learning for Continual Learning with Taylor Expansion Approximation [2.28438857884398]
  連続学習は、非定常分布下で連続的なタスクを処理する際の破滅的な忘れを緩和することを目的としている。 本稿では,オンライン連続学習問題を解決するためのメタ学習アルゴリズムを提案する。 提案手法は, 最先端手法と比較して, 高い性能, 高い効率を実現している。
  論文  参考訳（メタデータ） (2022-10-03T04:57:05Z)
• DLCFT: Deep Linear Continual Fine-Tuning for General Incremental Learning [29.80680408934347]
  事前学習した表現からモデルを連続的に微調整するインクリメンタルラーニングのための代替フレームワークを提案する。 本手法は, ニューラルネットワークの線形化手法を利用して, 単純かつ効果的な連続学習を行う。 本手法は,データ増分,タスク増分およびクラス増分学習問題において,一般的な連続学習設定に適用可能であることを示す。
  論文  参考訳（メタデータ） (2022-08-17T06:58:14Z)
• On the efficiency of Stochastic Quasi-Newton Methods for Deep Learning [0.0]
  深部記憶ネットワークのための準ニュートン学習アルゴリズムの動作について検討する。 準ニュートンは効率が良く、よく知られたAdamの1次実行よりも性能が優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-18T20:53:58Z)
• Contrastive Neural Processes for Self-Supervised Learning [1.8059331230167266]
  コントラスト学習とニューラルプロセスを組み合わせた,新たな自己教師型学習フレームワークを提案する。 これは、時系列予測を実行するために、最近のニューラルネットワークプロセスの進歩に依存している。 従来の自己教師型手法とは異なり、拡張パイプラインはタスクに依存しないため、様々なアプリケーションでうまく機能する。
  論文  参考訳（メタデータ） (2021-10-24T21:01:27Z)
• Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
  現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。 ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。 さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
  論文  参考訳（メタデータ） (2020-12-31T08:21:37Z)
• Self-training Improves Pre-training for Natural Language Understanding [63.78927366363178]
  我々は、半教師付き学習を通じてラベルのないデータを活用する別の方法として、自己学習について研究する。 本稿では,ラベル付きデータからタスク固有のクエリの埋め込みを計算するデータ拡張手法であるSentAugmentを紹介する。 我々のアプローチは、標準的なテキスト分類ベンチマークで最大2.6%の改善を達成し、スケーラブルで効果的な自己学習に繋がる。
  論文  参考訳（メタデータ） (2020-10-05T17:52:25Z)
• AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
  我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。 実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
  論文  参考訳（メタデータ） (2020-06-11T16:36:31Z)
• Continual Deep Learning by Functional Regularisation of Memorable Past [95.97578574330934]
  知的システムにとって、新しいスキルを継続的に学習することは重要だが、標準的なディープラーニング手法は、過去の破滅的な忘れ物に悩まされている。 本稿では, 過去の記憶に残るいくつかの例を, 忘れることを避けるために活用する機能正規化手法を提案する。 提案手法は,標準ベンチマーク上での最先端性能を実現し,正規化とメモリベースの手法を自然に組み合わせた生涯学習の新たな方向性を開拓する。
  論文  参考訳（メタデータ） (2020-04-29T10:47:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。