Fugu-MT 論文翻訳(概要): A Survey on Deep Tabular Learning

論文の概要: A Survey on Deep Tabular Learning

arxiv url: http://arxiv.org/abs/2410.12034v1
Date: Tue, 15 Oct 2024 20:08:08 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-17 13:43:49.957512
Title: A Survey on Deep Tabular Learning
Title（参考訳）: 深発語学習に関する調査研究
Authors: Shriyank Somvanshi, Subasish Das, Syed Aaqib Javed, Gian Antariksa, Ahmed Hossain,
Abstract要約: タブラルデータは、その不均一な性質と空間構造が欠如していることから、深層学習の独特な課題を提示する。本調査では,早期完全接続ネットワーク(FCN)から,TabNet,SAINT,TabTranSELU,MambaNetといった先進アーキテクチャに至るまで,タブラルデータのディープラーニングモデルの進化を概観する。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: Tabular data, widely used in industries like healthcare, finance, and transportation, presents unique challenges for deep learning due to its heterogeneous nature and lack of spatial structure. This survey reviews the evolution of deep learning models for tabular data, from early fully connected networks (FCNs) to advanced architectures like TabNet, SAINT, TabTranSELU, and MambaNet. These models incorporate attention mechanisms, feature embeddings, and hybrid architectures to address tabular data complexities. TabNet uses sequential attention for instance-wise feature selection, improving interpretability, while SAINT combines self-attention and intersample attention to capture complex interactions across features and data points, both advancing scalability and reducing computational overhead. Hybrid architectures such as TabTransformer and FT-Transformer integrate attention mechanisms with multi-layer perceptrons (MLPs) to handle categorical and numerical data, with FT-Transformer adapting transformers for tabular datasets. Research continues to balance performance and efficiency for large datasets. Graph-based models like GNN4TDL and GANDALF combine neural networks with decision trees or graph structures, enhancing feature representation and mitigating overfitting in small datasets through advanced regularization techniques. Diffusion-based models like the Tabular Denoising Diffusion Probabilistic Model (TabDDPM) generate synthetic data to address data scarcity, improving model robustness. Similarly, models like TabPFN and Ptab leverage pre-trained language models, incorporating transfer learning and self-supervised techniques into tabular tasks. This survey highlights key advancements and outlines future research directions on scalability, generalization, and interpretability in diverse tabular data applications.
Abstract（参考訳）: 医療、金融、交通などの産業で広く使われているタブラルデータは、その異種性や空間構造が欠如していることから、ディープラーニングに固有の課題を提示している。この調査では、初期の完全接続ネットワーク(FCN)から、TabNet、SAINT、TabTranSELU、MambaNetといった先進的なアーキテクチャまで、表データのためのディープラーニングモデルの進化についてレビューする。これらのモデルには、注意機構、特徴埋め込み、および表データの複雑さに対処するハイブリッドアーキテクチャが含まれる。 TabNetは、インスタンス単位の機能選択のシーケンシャルな注意、解釈可能性の改善、SAINTは自己注意と相互注意を組み合わせることで、スケーラビリティの向上と計算オーバーヘッドの削減の両方で、機能とデータポイント間の複雑なインタラクションをキャプチャする。 TabTransformerやFT-Transformerといったハイブリッドアーキテクチャは、多層パーセプトロン(MLP)とアテンション機構を統合して、分類的および数値的なデータを処理する。研究は、大規模なデータセットのパフォーマンスと効率のバランスを保ち続けている。 GNN4TDLやGANDALFといったグラフベースのモデルは、ニューラルネットワークを決定木やグラフ構造と組み合わせ、特徴表現を強化し、高度な正規化技術を通じて小さなデータセットにおける過剰適合を緩和する。 Tabular Denoising Diffusion Probabilistic Model (TabDDPM)のような拡散モデルでは、データの不足に対応するために合成データを生成し、モデルの堅牢性を向上させる。同様に、TabPFNやPtabといったモデルは、事前訓練された言語モデルを活用し、トランスファーラーニングと自己教師型のテクニックを表計算タスクに取り入れている。この調査は、様々な表データアプリケーションにおけるスケーラビリティ、一般化、解釈可能性に関する今後の研究の方向性を概説する。

関連論文リスト

TabDiff: a Multi-Modal Diffusion Model for Tabular Data Generation [91.50296404732902]
1つのモデルで表データのマルチモーダル分布をモデル化する共同拡散フレームワークであるTabDiffを紹介する。我々の重要な革新は、数値データと分類データのための連立連続時間拡散プロセスの開発である。 TabDiffは、既存の競合ベースラインよりも優れた平均性能を実現し、ペアワイドカラム相関推定における最先端モデルよりも最大で22.5%改善されている。
論文参考訳（メタデータ） (2024-10-27T22:58:47Z)
Escaping the Forest: Sparse Interpretable Neural Networks for Tabular Data [0.0]
我々のモデルであるSparse TABular NET や sTAB-Net がツリーベースモデルよりも効果的であることを示す。 SHAPのようなポストホックメソッドよりも優れたパフォーマンスを実現している。
論文参考訳（メタデータ） (2024-10-23T10:50:07Z)
Knowledge-Aware Reasoning over Multimodal Semi-structured Tables [85.24395216111462]
本研究では、現在のAIモデルがマルチモーダルな構造化データに基づいて知識を考慮した推論を行うことができるかどうかを検討する。この目的のために設計された新しいデータセットであるMMTabQAを紹介する。我々の実験は、複数のテキストと画像の入力を効果的に統合し解釈する上で、現在のAIモデルに対する重大な課題を浮き彫りにしている。
論文参考訳（メタデータ） (2024-08-25T15:17:43Z)
InterpreTabNet: Distilling Predictive Signals from Tabular Data by Salient Feature Interpretation [7.67293014317639]
本稿では,注意機構をGumbel-Softmax分布からサンプリングした潜在変数としてモデル化するTabNetモデルの変種を提案する。これにより、KLディバージェンス正規化器を用いて、注意マスクの異なる概念を学習できるようにモデルを正規化することができる。モデルの有効性を最大化し、解釈可能性を向上させるようなスパーシティを促進することで、重複した特徴選択を防止する。
論文参考訳（メタデータ） (2024-06-01T12:48:11Z)
Making Pre-trained Language Models Great on Tabular Prediction [50.70574370855663]
ディープニューラルネットワーク(DNN)の転送性は、画像および言語処理において著しく進歩している。本稿では,表型データ予測のための訓練済みLMであるTP-BERTaを提案する。新たな相対等級トークン化では、スカラー数値の特徴値を細分化した高次元トークンに変換し、特徴値と対応する特徴名を統合する。
論文参考訳（メタデータ） (2024-03-04T08:38:56Z)
Deep Learning with Tabular Data: A Self-supervised Approach [0.0]
本研究では,自己指導型学習手法を用いた。目的は、分類的特徴と数値的特徴の最も効果的なTabTransformerモデル表現を見つけることである。この研究は、TabTransformerモデルの様々なバリエーションを作成することによって、新しいアプローチを提示している。
論文参考訳（メタデータ） (2024-01-26T23:12:41Z)
Images in Discrete Choice Modeling: Addressing Data Isomorphism in Multi-Modality Inputs [77.54052164713394]
本稿では,離散選択モデリング(DCM)と機械学習の交わりについて考察する。本稿では,DCMフレームワーク内の従来の表型入力と同型情報を共有する高次元画像データの埋め込み結果について検討する。
論文参考訳（メタデータ） (2023-12-22T14:33:54Z)
Training-Free Generalization on Heterogeneous Tabular Data via Meta-Representation [67.30538142519067]
メタ表現(TabPTM)を用いたタブラルデータ事前学習を提案する。深層ニューラルネットワークは、これらのメタ表現とデータセット固有の分類信頼度を関連付けるように訓練される。実験により、TabPTMは、数ショットのシナリオであっても、新しいデータセットで有望なパフォーマンスを達成することを確認した。
論文参考訳（メタデータ） (2023-10-31T18:03:54Z)
Generating tabular datasets under differential privacy [0.0]
ディープニューラルネットワークのトレーニングプロセスに差分プライバシー(DP)を導入する。これにより、結果データの品質とプライバシの間にトレードオフが生じます。我々は、注意機構を活用する新しいエンドツーエンドモデルを実装している。
論文参考訳（メタデータ） (2023-08-28T16:35:43Z)
Transfer Learning with Deep Tabular Models [66.67017691983182]
上流データにより、グラフニューラルネットワークはGBDTモデルよりも決定的な優位性を示す。そこで本研究では,表在化学習のための現実的な診断ベンチマークを提案する。上流と下流の特徴セットが異なる場合の擬似特徴法を提案する。
論文参考訳（メタデータ） (2022-06-30T14:24:32Z)
ARM-Net: Adaptive Relation Modeling Network for Structured Data [29.94433633729326]
ARM-Netは、構造化データに適した適応関係モデリングネットワークであり、リレーショナルデータのためのARM-Netに基づく軽量フレームワークARMORである。 ARM-Netは既存のモデルより一貫して優れており、データセットに対してより解釈可能な予測を提供する。
論文参考訳（メタデータ） (2021-07-05T07:37:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。