論文の概要: Comparative Analysis of Transformers for Modeling Tabular Data: A Casestudy using Industry Scale Dataset

• arxiv url: http://arxiv.org/abs/2311.14335v1
• Date: Fri, 24 Nov 2023 08:16:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-27 15:35:44.686101
• Title: Comparative Analysis of Transformers for Modeling Tabular Data: A Casestudy using Industry Scale Dataset
• Title（参考訳）: 表データモデリング用変圧器の比較分析:業界規模データセットを用いたケーススタディ
• Authors: Usneek Singh, Piyush Arora, Shamika Ganesan, Mohit Kumar, Siddhant Kulkarni, Salil R. Joshi
• Abstract要約: この研究は、American Expressの合成データセットとデフォルト予測Kaggleデータセット(2022)の両方を用いて、様々なトランスフォーマーベースのモデルを広範囲に検証する。 本稿では、最適データ前処理に関する重要な知見を提示し、事前学習と直接教師付き学習法を比較し、分類的特徴と数値的特徴を管理するための戦略について議論し、計算資源と性能のトレードオフを強調する。
• 参考スコア（独自算出の注目度）: 1.0758036046280266
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We perform a comparative analysis of transformer-based models designed for modeling tabular data, specifically on an industry-scale dataset. While earlier studies demonstrated promising outcomes on smaller public or synthetic datasets, the effectiveness did not extend to larger industry-scale datasets. The challenges identified include handling high-dimensional data, the necessity for efficient pre-processing of categorical and numerical features, and addressing substantial computational requirements. To overcome the identified challenges, the study conducts an extensive examination of various transformer-based models using both synthetic datasets and the default prediction Kaggle dataset (2022) from American Express. The paper presents crucial insights into optimal data pre-processing, compares pre-training and direct supervised learning methods, discusses strategies for managing categorical and numerical features, and highlights trade-offs between computational resources and performance. Focusing on temporal financial data modeling, the research aims to facilitate the systematic development and deployment of transformer-based models in real-world scenarios, emphasizing scalability.
• Abstract（参考訳）: 我々は、特に産業規模のデータセットに基づいて、表データモデリング用に設計されたトランスフォーマーモデルの比較分析を行う。 以前の研究では、より小さな公開データセットや合成データセットに対して有望な結果が示されたが、その効果はより大きな産業規模のデータセットにまで及ばなかった。 特定された課題は、高次元データの取り扱い、カテゴリー的および数値的特徴の効率的な前処理の必要性、実質的な計算要件への対処などである。 同定された課題を克服するために、american expressの合成データセットとデフォルト予測kaggleデータセット(2022年)の両方を使用して、様々なトランスフォーマーベースのモデルを広範囲に検討した。 本稿では,最適データ前処理に関する重要な知見を示し,事前学習法と直接教師あり学習法を比較し,分類的および数値的特徴を管理するための戦略を考察し,計算資源と性能のトレードオフを強調する。 時間的金融データモデリングに焦点を当てたこの研究は、リアルタイムシナリオにおけるトランスフォーマーベースのモデルの体系的な開発と展開を促進し、スケーラビリティを強調することを目的としている。

関連論文リスト

• Meta-Statistical Learning: Supervised Learning of Statistical Inference [59.463430294611626]
  この研究は、大きな言語モデル(LLM)の成功を駆動するツールと原則が、分散レベルのタスクに取り組むために再利用可能であることを実証している。 本稿では,統計的推論タスクを教師付き学習問題として再構成するマルチインスタンス学習に触発されたメタ統計学習を提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:04:39Z)
• Generalized Factor Neural Network Model for High-dimensional Regression [50.554377879576066]
  複素・非線形・雑音に隠れた潜在低次元構造を持つ高次元データセットをモデル化する課題に取り組む。 我々のアプローチは、非パラメトリック回帰、因子モデル、高次元回帰のためのニューラルネットワークの概念のシームレスな統合を可能にする。
  論文  参考訳（メタデータ） (2025-02-16T23:13:55Z)
• Exploring the Landscape for Generative Sequence Models for Specialized Data Synthesis [0.0]
  本稿では, 複雑度の異なる3つの生成モデルを用いて, 悪意ネットワークトラフィックを合成する手法を提案する。 提案手法は,数値データをテキストに変換し,言語モデリングタスクとして再フレーミングする。 提案手法は,高忠実度合成データの生成において,最先端の生成モデルを超えている。
  論文  参考訳（メタデータ） (2024-11-04T09:51:10Z)
• On the Diversity of Synthetic Data and its Impact on Training Large Language Models [34.00031258223175]
  大規模言語モデル(LLM)は、多種多様な高品質な事前学習データの必要性を強調している。 合成データは、データの不足とアクセシビリティの課題に対する、実行可能なソリューションとして現れます。 本研究では, 事前学習および微調整段階における合成データ多様性の下流効果について検討した。
  論文  参考訳（メタデータ） (2024-10-19T22:14:07Z)
• Data-Juicer Sandbox: A Feedback-Driven Suite for Multimodal Data-Model Co-development [67.55944651679864]
  統合データモデル共同開発に適した新しいサンドボックススイートを提案する。 このサンドボックスは、フィードバック駆動の実験プラットフォームを提供し、コスト効率とデータとモデルの両方のガイド付き洗練を可能にする。
  論文  参考訳（メタデータ） (2024-07-16T14:40:07Z)
• Diffusion Models for Tabular Data Imputation and Synthetic Data Generation [3.667364190843767]
  拡散モデルは、複雑なデータ分布をキャプチャできる強力な生成モデルとして登場した。 本稿では,3つの重要な拡張を導入した表データの拡散モデルを提案する。 コンディショニングアテンション機構は、条件と合成データの関係をキャプチャするモデルの能力を改善するように設計されている。 変換器層は条件(エンコーダ)や合成データ(デコーダ)内の相互作用をモデル化し、動的マスキングにより、欠落したデータ計算と合成データ生成タスクの両方を効率的に処理できる。
  論文  参考訳（メタデータ） (2024-07-02T15:27:06Z)
• A Comprehensive Survey on Data Augmentation [55.355273602421384]
  データ拡張(Data augmentation)は、既存のデータサンプルを操作することによって高品質な人工データを生成する技術である。 既存の文献調査では、特定のモダリティデータにのみ焦点が当てられている。 本稿では,異なる共通データモダリティのためのデータ拡張技術を含む,より啓蒙的な分類法を提案する。
  論文  参考訳（メタデータ） (2024-05-15T11:58:08Z)
• Comprehensive Exploration of Synthetic Data Generation: A Survey [4.485401662312072]
  この研究は、過去10年間で417のSynthetic Data Generationモデルを調査します。 その結果、ニューラルネットワークベースのアプローチが普及し、モデルのパフォーマンスと複雑性が向上したことが明らかになった。 コンピュータビジョンが支配的であり、GANが主要な生成モデルであり、拡散モデル、トランスフォーマー、RNNが競合する。
  論文  参考訳（メタデータ） (2024-01-04T20:23:51Z)
• Reimagining Synthetic Tabular Data Generation through Data-Centric AI: A Comprehensive Benchmark [56.8042116967334]
  合成データは、機械学習モデルのトレーニングの代替となる。 合成データが現実世界データの複雑なニュアンスを反映することを保証することは、難しい作業です。 本稿では,データ中心型AI技術の統合による合成データ生成プロセスのガイドの可能性について検討する。
  論文  参考訳（メタデータ） (2023-10-25T20:32:02Z)
• Does Synthetic Data Make Large Language Models More Efficient? [0.0]
  本稿では,NLPにおける合成データ生成のニュアンスについて考察する。 データ拡張の可能性や構造化品種の導入など、その利点を強調します。 テンプレートベースの合成データが現代の変圧器モデルの性能に与える影響を実証する。
  論文  参考訳（メタデータ） (2023-10-11T19:16:09Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。