論文の概要: TabSeq: A Framework for Deep Learning on Tabular Data via Sequential Ordering

• arxiv url: http://arxiv.org/abs/2410.13203v1
• Date: Thu, 17 Oct 2024 04:10:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:21:13.604888
• Title: TabSeq: A Framework for Deep Learning on Tabular Data via Sequential Ordering
• Title（参考訳）: TabSeq: 逐次順序付けによる語彙データ深層学習フレームワーク
• Authors: Al Zadid Sultan Bin Habib, Kesheng Wang, Mary-Anne Hartley, Gianfranco Doretto, Donald A. Adjeroh,
• Abstract要約: この作業では、機能のシーケンシャルな順序付けのための新しいフレームワークであるTabSeqを紹介している。 このような機能の最適なシーケンス順序を見つけることで、ディープラーニングモデルの学習プロセスを改善することができる。
• 参考スコア（独自算出の注目度）: 5.946579489162407
• License:
• Abstract: Effective analysis of tabular data still poses a significant problem in deep learning, mainly because features in tabular datasets are often heterogeneous and have different levels of relevance. This work introduces TabSeq, a novel framework for the sequential ordering of features, addressing the vital necessity to optimize the learning process. Features are not always equally informative, and for certain deep learning models, their random arrangement can hinder the model's learning capacity. Finding the optimum sequence order for such features could improve the deep learning models' learning process. The novel feature ordering technique we provide in this work is based on clustering and incorporates both local ordering and global ordering. It is designed to be used with a multi-head attention mechanism in a denoising autoencoder network. Our framework uses clustering to align comparable features and improve data organization. Multi-head attention focuses on essential characteristics, whereas the denoising autoencoder highlights important aspects by rebuilding from distorted inputs. This method improves the capability to learn from tabular data while lowering redundancy. Our research, demonstrating improved performance through appropriate feature sequence rearrangement using raw antibody microarray and two other real-world biomedical datasets, validates the impact of feature ordering. These results demonstrate that feature ordering can be a viable approach to improved deep learning of tabular data.
• Abstract（参考訳）: 表データの効果的な分析は、表のデータセットの特徴が多種多様であり、関連性のレベルが異なるため、ディープラーニングにおいて依然として重要な問題となっている。 この研究は、機能のシーケンシャルな順序付けのための新しいフレームワークであるTabSeqを導入し、学習プロセスの最適化に必須の課題に対処する。 特定のディープラーニングモデルでは、それらのランダムなアレンジメントがモデルの学習能力を妨げる可能性がある。 このような機能の最適なシーケンス順序を見つけることで、ディープラーニングモデルの学習プロセスを改善することができる。 この研究で提供される新しい特徴順序付け技術はクラスタリングに基づいており、局所順序付けとグローバル順序付けの両方を取り入れている。 マルチヘッドアテンション機構をデノナイズドオートエンコーダネットワークで使用するように設計されている。 当社のフレームワークはクラスタリングを使用して、同等の機能とデータ構造を改善しています。 マルチヘッドアテンションは本質的な特徴に重点を置いているが、デノナイジングオートエンコーダは歪んだ入力から再構築することで重要な側面を強調している。 この方法は、冗長性を低下させながら表データから学習する能力を向上させる。 生の抗体マイクロアレイと2つの実世界のバイオメディカルデータセットを用いて、適切な特徴配列再構成による性能向上を実証し、特徴順序付けの影響を検証した。 これらの結果は、表データの深層学習を改善するために、機能順序付けが有効なアプローチであることを示している。

関連論文リスト

• Enriching Tabular Data with Contextual LLM Embeddings: A Comprehensive Ablation Study for Ensemble Classifiers [20.46918103875102]
  本研究では,大規模言語モデルの埋め込みから派生した特徴を持つデータセットを豊かにするための体系的アプローチを提案する。 我々はRoBERTaとGPT-2の埋め込みがランダムフォレスト、XGBoost、CatBoostなどのアンサンブル分類器に与える影響を評価する。 その結果,埋め込みと従来の数値的特徴とカテゴリー的特徴を統合することで,予測性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2024-11-03T17:45:00Z)
• A Survey on Deep Tabular Learning [0.0]
  タブラルデータは、その不均一な性質と空間構造が欠如していることから、深層学習の独特な課題を提示する。 本調査では,早期完全接続ネットワーク(FCN)から,TabNet,SAINT,TabTranSELU,MambaNetといった先進アーキテクチャに至るまで,タブラルデータのディープラーニングモデルの進化を概観する。
  論文  参考訳（メタデータ） (2024-10-15T20:08:08Z)
• Distributionally robust self-supervised learning for tabular data [2.942619386779508]
  エラースライスの存在下での堅牢な表現の学習は、高い濃度特徴とエラーセットの構築の複雑さのために困難である。 従来の堅牢な表現学習手法は、コンピュータビジョンにおける教師付き設定における最悪のグループパフォーマンスの改善に主に焦点をあてている。 提案手法は,Masked Language Modeling (MLM) の損失を学習したエンコーダ・デコーダモデルを用いて,頑健な潜在表現を学習する。
  論文  参考訳（メタデータ） (2024-10-11T04:23:56Z)
• Binning as a Pretext Task: Improving Self-Supervised Learning in Tabular Domains [0.565395466029518]
  そこで本研究では,古典的ビンニング手法に基づく新しいプレテキストタスクを提案する。 その考え方は単純で、元の値ではなく、binインデックス(順序またはクラス)を再構築する。 我々の実証調査では、ビンニングの利点がいくつか確認されている。
  論文  参考訳（メタデータ） (2024-05-13T01:23:14Z)
• A Performance-Driven Benchmark for Feature Selection in Tabular Deep Learning [131.2910403490434]
  データサイエンティストは通常、データセットにできるだけ多くの機能を集め、既存の機能から新しい機能を設計する。 既存のタブ形式の特徴選択のためのベンチマークでは、古典的な下流モデル、おもちゃの合成データセット、あるいは下流のパフォーマンスに基づいて特徴セレクタを評価していない。 変換器を含む下流ニューラルネットワーク上で評価された課題のある特徴選択ベンチマークを構築した。 また,従来の特徴選択法よりも高い性能を有するニューラルネットワークのための,Lassoのインプット・グラディエント・ベース・アナログも提案する。
  論文  参考訳（メタデータ） (2023-11-10T05:26:10Z)
• Homological Convolutional Neural Networks [4.615338063719135]
  本稿では,トポロジ的に制約されたネットワーク表現を通じて,データ構造構造を利用した新しいディープラーニングアーキテクチャを提案する。 5つの古典的な機械学習モデルと3つのディープラーニングモデルに対して、18のベンチマークデータセットでモデルをテストします。
  論文  参考訳（メタデータ） (2023-08-26T08:48:51Z)
• Time Series Contrastive Learning with Information-Aware Augmentations [57.45139904366001]
  コントラスト学習の鍵となる要素は、いくつかの先行を示唆する適切な拡張を選択して、実現可能な正のサンプルを構築することである。 対照的な学習タスクやデータセットに意味のある時系列データの増大をどうやって見つけるかは、未解決の問題である。 本稿では,時系列表現学習のための最適な拡張を適応的に選択する情報認識拡張を用いた新しいコントラスト学習手法であるInfoTSを提案する。
  論文  参考訳（メタデータ） (2023-03-21T15:02:50Z)
• Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach [80.8446673089281]
  グラフ表現と学習を伴う新しい学習パラダイムを提案する。 本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
  論文  参考訳（メタデータ） (2021-10-09T09:02:45Z)
• Online Coreset Selection for Rehearsal-based Continual Learning [65.85595842458882]
  継続的な学習では、後に再生されるトレーニング例(コアセット)のサブセットを格納し、破滅的な忘れを軽減します。 提案するオンラインコアセット選択(OCS, Online Coreset Selection)は, 各イテレーションにおいて最も代表的で情報性の高いコアセットを選択するシンプルで効果的な方法である。 提案手法は,過去のタスクに対して高親和性サンプルを選択しながら,目標データセットへのモデル適応を最大化し,破滅的忘れを直接的に抑制する。
  論文  参考訳（メタデータ） (2021-06-02T11:39:25Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)
• A Trainable Optimal Transport Embedding for Feature Aggregation and its Relationship to Attention [96.77554122595578]
  固定サイズのパラメータ化表現を導入し、与えられた入力セットから、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って要素を埋め込み、集約する。 我々のアプローチは大規模なデータセットにスケールし、参照のエンドツーエンドのトレーニングを可能にすると同時に、計算コストの少ない単純な教師なし学習メカニズムも提供する。
  論文  参考訳（メタデータ） (2020-06-22T08:35:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。