Fugu-MT 論文翻訳(概要): BiSHop: Bi-Directional Cellular Learning for Tabular Data with Generalized Sparse Modern Hopfield Model

論文の概要: BiSHop: Bi-Directional Cellular Learning for Tabular Data with Generalized Sparse Modern Hopfield Model

arxiv url: http://arxiv.org/abs/2404.03830v1
Date: Thu, 4 Apr 2024 23:13:32 GMT
ステータス: 処理完了
システム内更新日: 2024-04-08 17:16:00.590878
Title: BiSHop: Bi-Directional Cellular Learning for Tabular Data with Generalized Sparse Modern Hopfield Model
Title（参考訳）: BiSHop: 汎用スパースホップフィールドモデルによる話者データの双方向セルラー学習
Authors: Chenwei Xu, Yu-Chao Huang, Jerry Yao-Chieh Hu, Weijian Li, Ammar Gilani, Hsi-Sheng Goan, Han Liu,
Abstract要約: BiSHopは、深層表型学習の2つの大きな課題に対処する。 BiSHopはデュアルコンポーネントのアプローチを採用し、列ワイドと行ワイドの両方のデータを逐次処理する。 We show BiSHop comes over current SOTA method with significantly less HPO run。
参考スコア（独自算出の注目度）: 6.888608574535993
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: We introduce the \textbf{B}i-Directional \textbf{S}parse \textbf{Hop}field Network (\textbf{BiSHop}), a novel end-to-end framework for deep tabular learning. BiSHop handles the two major challenges of deep tabular learning: non-rotationally invariant data structure and feature sparsity in tabular data. Our key motivation comes from the recent established connection between associative memory and attention mechanisms. Consequently, BiSHop uses a dual-component approach, sequentially processing data both column-wise and row-wise through two interconnected directional learning modules. Computationally, these modules house layers of generalized sparse modern Hopfield layers, a sparse extension of the modern Hopfield model with adaptable sparsity. Methodologically, BiSHop facilitates multi-scale representation learning, capturing both intra-feature and inter-feature interactions, with adaptive sparsity at each scale. Empirically, through experiments on diverse real-world datasets, we demonstrate that BiSHop surpasses current SOTA methods with significantly less HPO runs, marking it a robust solution for deep tabular learning.
Abstract（参考訳）: 本稿では,表層学習のための新しいエンド・ツー・エンド・エンドフレームワークであるtextbf{B}i-Directional \textbf{S}parse \textbf{Hop}field Network (\textbf{BiSHop})を紹介する。 BiSHopは、深層表型学習の2つの大きな課題に対処する。我々の主要な動機は、連想記憶と注意機構の結びつきが最近確立されたことにある。結果として、BiSHopは2つの相互接続された指向学習モジュールを通して列と行の両方のデータを逐次処理するデュアルコンポーネントアプローチを使用する。計算学的には、これらの加群は一般化されたスパースな現代的なホップフィールド層(英語版)の層を持ち、適応可能な間隔を持つ現代のホップフィールドモデルのスパース拡張である。メソジカルには、BiSHopはマルチスケールの表現学習を促進し、機能内相互作用と機能間相互作用の両方を、各スケールで適応的な間隔でキャプチャする。実証的には、さまざまな実世界のデータセットの実験を通じて、BiSHopが現在のSOTAメソッドをはるかに少ないHPOの実行で超越し、深い表層学習のための堅牢なソリューションであることを実証した。

関連論文リスト

TabDeco: A Comprehensive Contrastive Framework for Decoupled Representations in Tabular Data [5.98480077860174]
本研究では,行と列をまたいだアテンションベースの符号化手法であるTabDecoを紹介する。革新的な機能の分離によって、TabDecoは既存のディープラーニングメソッドを一貫して上回っている。
論文参考訳（メタデータ） (2024-11-17T18:42:46Z)
A Survey on Deep Tabular Learning [0.0]
タブラルデータは、その不均一な性質と空間構造が欠如していることから、深層学習の独特な課題を提示する。本調査では,早期完全接続ネットワーク(FCN)から,TabNet,SAINT,TabTranSELU,MambaNetといった先進アーキテクチャに至るまで,タブラルデータのディープラーニングモデルの進化を概観する。
論文参考訳（メタデータ） (2024-10-15T20:08:08Z)
Modern Neighborhood Components Analysis: A Deep Tabular Baseline Two Decades Later [59.88557193062348]
我々は、インスタンス間のセマンティックな類似性をキャプチャする線形射影を学習するために設計された古典的近傍成分分析(NCA)を再考する。学習目的の調整や深層学習アーキテクチャの統合といった微調整は,NAAの性能を著しく向上させることがわかった。また,提案したModernNCAの効率性と予測精度を向上する,近隣のサンプリング戦略も導入する。
論文参考訳（メタデータ） (2024-07-03T16:38:57Z)
Retrieval & Fine-Tuning for In-Context Tabular Models [16.668695961462827]
トランスフォーマーベースのインコンテキスト学習を用いた最近の進歩は、より小さく、より複雑でないデータセットを約束しているが、より大きく、より複雑なデータセットにスケールするのに苦労している。検索と微調整の組み合わせを提案する: 近接する近隣住民を収集することで、変換器をデータの局所的なサブセットに適応させ、その周辺住民の状況に応じてタスク固有の微調整を行うことができる。テキスト内モデルと比較すると,性能が大幅に向上した。
論文参考訳（メタデータ） (2024-06-07T18:43:33Z)
Bidirectional Trained Tree-Structured Decoder for Handwritten Mathematical Expression Recognition [51.66383337087724]
Handwriting Mathematical Expression Recognition (HMER) タスクは、OCRの分野における重要な分岐である。近年の研究では、双方向コンテキスト情報の導入により、HMERモデルの性能が大幅に向上することが示されている。本稿では,MF-SLT と双方向非同期トレーニング (BAT) 構造を提案する。
論文参考訳（メタデータ） (2023-12-31T09:24:21Z)
STanHop: Sparse Tandem Hopfield Model for Memory-Enhanced Time Series Prediction [13.815793371488613]
本稿では,ホップフィールドをベースとした新しいニューラルネットワークブロックを提案する。本質的に、StanHopは2つのタンデムスパースホップフィールド層を用いて時間的表現とシリーズ間表現を逐次学習する。本フレームワークは,メモリ容量を犠牲にすることなく,より高密度なメモリに対して,より厳密なメモリ検索誤差を付与することを示す。
論文参考訳（メタデータ） (2023-12-28T20:26:23Z)
Learning with MISELBO: The Mixture Cookbook [62.75516608080322]
本稿では,VampPriorとPixelCNNデコーダネットワークを用いて,フローベース階層型変分オートエンコーダ(VAE)の正規化のための変分近似を初めて提案する。我々は、この協調行動について、VIと適応的重要度サンプリングの新たな関係を描いて説明する。我々は、MNISTおよびFashionMNISTデータセット上の負のログ類似度の観点から、VAEアーキテクチャの最先端結果を得る。
論文参考訳（メタデータ） (2022-09-30T15:01:35Z)
Hopular: Modern Hopfield Networks for Tabular Data [5.470026407471584]
中小データセットのための新しいディープラーニングアーキテクチャである"Hopular"を提案する。 Hopularは格納されたデータを使用して、フィーチャー機能、フィーチャーターゲット、サンプルサンプル依存関係を識別する。 1,000サンプル未満の小さなデータセットの実験では、HopularはGradient Boosting、Random Forests、SVM、特にいくつかのDeep Learningメソッドを超越している。
論文参考訳（メタデータ） (2022-06-01T17:57:44Z)
Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach [80.8446673089281]
グラフ表現と学習を伴う新しい学習パラダイムを提案する。本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
論文参考訳（メタデータ） (2021-10-09T09:02:45Z)
Semi-Supervised Domain Generalization with Stochastic StyleMatch [90.98288822165482]
実世界のアプリケーションでは、アノテーションのコストが高いため、各ソースドメインから利用可能なラベルはわずかです。本研究では,より現実的で実践的な半教師付き領域一般化について検討する。提案手法であるStyleMatchは,擬似ラベルに基づく最先端の半教師付き学習手法であるFixMatchに着想を得たものである。
論文参考訳（メタデータ） (2021-06-01T16:00:08Z)
Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
論文参考訳（メタデータ） (2020-09-08T13:10:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。