論文の概要: Hopular: Modern Hopfield Networks for Tabular Data

• arxiv url: http://arxiv.org/abs/2206.00664v1
• Date: Wed, 1 Jun 2022 17:57:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-02 12:43:07.948612
• Title: Hopular: Modern Hopfield Networks for Tabular Data
• Title（参考訳）: Hopular: タブラルデータのためのモダンホップフィールドネットワーク
• Authors: Bernhard Sch\"afl, Lukas Gruber, Angela Bitto-Nemling, Sepp Hochreiter
• Abstract要約: 中小データセットのための新しいディープラーニングアーキテクチャである"Hopular"を提案する。 Hopularは格納されたデータを使用して、フィーチャー機能、フィーチャーターゲット、サンプルサンプル依存関係を識別する。 1,000サンプル未満の小さなデータセットの実験では、HopularはGradient Boosting、Random Forests、SVM、特にいくつかのDeep Learningメソッドを超越している。
• 参考スコア（独自算出の注目度）: 5.470026407471584
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While Deep Learning excels in structured data as encountered in vision and natural language processing, it failed to meet its expectations on tabular data. For tabular data, Support Vector Machines (SVMs), Random Forests, and Gradient Boosting are the best performing techniques with Gradient Boosting in the lead. Recently, we saw a surge of Deep Learning methods that were tailored to tabular data but still underperform compared to Gradient Boosting on small-sized datasets. We suggest "Hopular", a novel Deep Learning architecture for medium- and small-sized datasets, where each layer is equipped with continuous modern Hopfield networks. The modern Hopfield networks use stored data to identify feature-feature, feature-target, and sample-sample dependencies. Hopular's novelty is that every layer can directly access the original input as well as the whole training set via stored data in the Hopfield networks. Therefore, Hopular can step-wise update its current model and the resulting prediction at every layer like standard iterative learning algorithms. In experiments on small-sized tabular datasets with less than 1,000 samples, Hopular surpasses Gradient Boosting, Random Forests, SVMs, and in particular several Deep Learning methods. In experiments on medium-sized tabular data with about 10,000 samples, Hopular outperforms XGBoost, CatBoost, LightGBM and a state-of-the art Deep Learning method designed for tabular data. Thus, Hopular is a strong alternative to these methods on tabular data.
• Abstract（参考訳）: Deep Learningは視覚や自然言語処理で遭遇する構造化データに優れていますが、表形式のデータに対する期待を満たせませんでした。 表データでは、Support Vector Machines (SVM)、Random Forests、Gradient Boostingが、Gradient Boostingをリードする最高のパフォーマンス技術である。 近年,小規模データセットの勾配増加と比較して,表データに合わせた深層学習手法の急増がみられた。 中小規模のデータセットのための新しいディープラーニングアーキテクチャであるhopularを提案する。 現代のホップフィールドネットワークは、特徴量、特徴量、サンプルサンプルの依存関係を識別するためにストアドデータを使用する。 hopularの目新しさは、すべてのレイヤがhopfieldネットワークに格納されたデータを通じて、元の入力やトレーニングセットに直接アクセスできることである。 したがって、Hopularは現在のモデルを段階的に更新し、標準反復学習アルゴリズムのようなすべての層で結果を予測することができる。 1,000サンプル未満の小さな表型データセットの実験では、HopularはGradient Boosting、Random Forests、SVM、特にいくつかのDeep Learningメソッドを上回っている。 約10,000のサンプルを持つ中規模の表型データの実験では、HopularはXGBoost、CatBoost、LightGBM、そして表型データ用に設計された最先端のDeep Learningメソッドより優れている。 したがって、hopularは表データ上のこれらの方法の強力な代替である。

関連論文リスト

• Mambular: A Sequential Model for Tabular Deep Learning [0.7184556517162347]
  本稿では,表データに最適化されたMambularアーキテクチャについて紹介する。 我々は、ニューラルネットワークやツリーベースの手法を含む最先端モデルに対してMambularをベンチマークする。 解析の結果、特徴をシーケンスとして解釈し、それらをMamba層に渡すと驚くほど高性能なモデルが得られることがわかった。
  論文  参考訳（メタデータ） (2024-08-12T16:57:57Z)
• Not Everything is All You Need: Toward Low-Redundant Optimization for Large Language Model Alignment [126.34547428473968]
  大規模言語モデル(LLM)は、複雑なタスクやシナリオにおいて、人間の好みに合わせるのに依然として苦労しています。 我々は、最も有用な教師付き信号を用いて、最も関連性の高いニューロンを最適化することに焦点を当てた、textbfALLOという低輝度アライメント手法を提案する。 10個のデータセットに対する実験結果から、ALLOの有効性が示された。
  論文  参考訳（メタデータ） (2024-06-18T13:34:40Z)
• BiSHop: Bi-Directional Cellular Learning for Tabular Data with Generalized Sparse Modern Hopfield Model [6.888608574535993]
  BiSHopは、深層表型学習の2つの大きな課題に対処する。 BiSHopはデュアルコンポーネントのアプローチを採用し、列ワイドと行ワイドの両方のデータを逐次処理する。 We show BiSHop comes over current SOTA method with significantly less HPO run。
  論文  参考訳（メタデータ） (2024-04-04T23:13:32Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Generating and Imputing Tabular Data via Diffusion and Flow-based Gradient-Boosted Trees [11.732842929815401]
  タブラルデータは取得が困難で、値が失われる。 本稿では,混合型(連続型および分類型)データの生成と計算のための新しいアプローチを提案する。 スコア関数やベクトル場をニューラルネットワークで学習する従来の手法とは対照的に,我々はXGBoostを採用する。
  論文  参考訳（メタデータ） (2023-09-18T17:49:09Z)
• HyperTab: Hypernetwork Approach for Deep Learning on Small Tabular Datasets [3.9870413777302027]
  データセット上の小さなサンプル問題を解決するためのハイパーネットワークベースのアプローチであるHyperTabを紹介する。 ランダムフォレストとニューラルネットワークの利点を組み合わせることで、HyperTabはニューラルネットワークのアンサンブルを生成する。 私たちは、HyperTabが小さなデータで他のメソッドを一貫して上回り、より大きなデータセットでそれと同等のスコアを示します。
  論文  参考訳（メタデータ） (2023-04-07T08:48:07Z)
• Is margin all you need? An extensive empirical study of active learning on tabular data [66.18464006872345]
  我々は,OpenML-CC18ベンチマークを用いて,69の実世界のデータセット上での各種能動学習アルゴリズムの性能を解析した。 意外なことに、古典的なマージンサンプリング技術は、現在の最先端技術を含む、他のすべてのものよりも優れている。
  論文  参考訳（メタデータ） (2022-10-07T21:18:24Z)
• Why do tree-based models still outperform deep learning on tabular data? [0.0]
  木をベースとしたモデルが中規模データの最先端のままであることを示す。 木系モデルとニューラルネットワーク(NN)の異なる帰納バイアスに関する実証的研究を行う。
  論文  参考訳（メタデータ） (2022-07-18T08:36:08Z)
• Transfer Learning with Deep Tabular Models [66.67017691983182]
  上流データにより、グラフニューラルネットワークはGBDTモデルよりも決定的な優位性を示す。 そこで本研究では,表在化学習のための現実的な診断ベンチマークを提案する。 上流と下流の特徴セットが異なる場合の擬似特徴法を提案する。
  論文  参考訳（メタデータ） (2022-06-30T14:24:32Z)
• Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach [80.8446673089281]
  グラフ表現と学習を伴う新しい学習パラダイムを提案する。 本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
  論文  参考訳（メタデータ） (2021-10-09T09:02:45Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。