論文の概要: TabuLa: Harnessing Language Models for Tabular Data Synthesis

• arxiv url: http://arxiv.org/abs/2310.12746v2
• Date: Fri, 10 Jan 2025 07:38:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-13 15:24:16.281029
• Title: TabuLa: Harnessing Language Models for Tabular Data Synthesis
• Title（参考訳）: TabuLa: 語彙データ合成のためのハーネス言語モデル
• Authors: Zilong Zhao, Robert Birke, Lydia Chen,
• Abstract要約: Tabulaは、大きな言語モデル(LLM)の構造を利用する表形式のデータシンセサイザーである。 State-of-the-art (SOTA) の LLM とは異なり、Tabula は元々自然言語処理用に設計されたトレーニング済みのウェイトを捨てている。 実験により,Tabulaは現在のSOTA法と比較して優れた合成データユーティリティを実現していることが示された。
• 参考スコア（独自算出の注目度）: 4.539846270369207
• License:
• Abstract: Tabular data synthesis is crucial for addressing privacy and security concerns in industries reliant on tabular data. While recent advancements adopt large language models (LLMs) for realistic tabular data generation, their long training times and limited reusability hinder practical applications. In this paper, we propose Tabula, a tabular data synthesizer that leverages the structure of LLM. Unlike state-of-the-art (SOTA) LLM-based tabular data synthesizers that rely on pre-trained LLMs, Tabula discards the pre-trained weights originally designed for natural language tasks, focusing instead on a tailored approach for tabular data. In addition, Tabula introduces a token sequence compression strategy that significantly reduces training time while maintaining data quality, alongside a novel token padding method that improves sequence alignment across training batches. Experiments on six datasets show that Tabula achieves superior synthetic data utility compared to current SOTA methods. Additionally, the results demonstrate that Tabula model trained on tabular datasets serves effectively as a foundational model for synthesizing new tabular datasets. Furthermore, the proposed padding method outperforms the conventional left and right padding strategies. Finally, the results highlight that Tabula averagely reduces training time per epoch by 46.2% compared to state-of-the-art LLM approaches while achieving higher data utility. Our code is available at https://github.com/zhao-zilong/Tabula
• Abstract（参考訳）: タブラルデータ合成は、表のデータに依存する業界におけるプライバシーとセキュリティの懸念に対処するために不可欠である。 最近の進歩は、現実的な表形式のデータ生成に大規模な言語モデル(LLM)を採用しているが、その長いトレーニング時間と限られた再利用性は、実用的な応用を妨げている。 本稿では,LLMの構造を利用した表型データシンセサイザであるTabulaを提案する。 最先端(SOTA)のLLMベースの表データシンセサイザーとは異なり、タブラはトレーニング済みのLLMに依存しているため、元々は自然言語処理用に設計されたトレーニング済みの重みを廃止し、表データのための調整されたアプローチに重点を置いている。 さらに、Tabulaでは、トレーニングバッチ間のシーケンスアライメントを改善する新しいトークンパディング方法とともに、データ品質を維持しながらトレーニング時間を著しく短縮するトークンシーケンス圧縮戦略を導入している。 6つのデータセットの実験により、Tabulaは現在のSOTA法と比較して優れた合成データユーティリティを実現することが示された。 さらに,表付きデータセットをトレーニングしたTabulaモデルは,新しい表付きデータセットを合成するための基礎モデルとして有効であることを示した。 さらに,提案手法は従来の左右のパッド方式よりも優れていた。 最後に、Tabulaは最先端のLCMアプローチと比較して、エポックあたりのトレーニング時間を平均46.2%削減し、高いデータユーティリティを実現している。 私たちのコードはhttps://github.com/zhao-zilong/Tabulaで利用可能です。

関連論文リスト

• Transformers Boost the Performance of Decision Trees on Tabular Data across Sample Sizes [135.68092471784516]
  本稿では,大規模言語モデルと勾配ブースト決定木を融合させる,シンプルで軽量な手法を提案する。 融合法を LLM-Boost と PFN-Boost と命名した。 多数のベースラインとアンサンブルアルゴリズムに対して最先端の性能を示す。
  論文  参考訳（メタデータ） (2025-02-04T19:30:41Z)
• Generating Realistic Tabular Data with Large Language Models [49.03536886067729]
  大規模言語モデル(LLM)は多様なタスクに使われてきたが、特徴と対象変数の正確な相関は捉えていない。 そこで本研究では,LLMに基づく3つの重要な改良を加えて,実データの特徴クラス相関を正しく把握する手法を提案する。 実験の結果,本手法は下流タスクにおいて,20個のデータセット上で10個のSOTAベースラインを著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-10-29T04:14:32Z)
• TabDPT: Scaling Tabular Foundation Models [20.00390825519329]
  実データによる性能向上と一般化の方法を示す。 本モデルでは,CC18(分類)およびCTR23(回帰)ベンチマークの最先端性能を実現する。 TabDPTはまた、モデルのサイズと利用可能なデータの量の両方が増加するにつれて、強力なスケーリングを示す。
  論文  参考訳（メタデータ） (2024-10-23T18:00:00Z)
• TabReD: Analyzing Pitfalls and Filling the Gaps in Tabular Deep Learning Benchmarks [30.922069185335246]
  典型的産業応用における表型データの2つの共通特性は、通常文献で評価に使用されるデータセットに不足している。 運用環境におけるデータセットのかなりの部分は、広範なデータ取得と機能エンジニアリングパイプラインに由来する。 これは、学術的なデータセットと比較して、予測的、非形式的、相関的な特徴の絶対的および相対的な数に影響を与える可能性がある。
  論文  参考訳（メタデータ） (2024-06-27T17:55:31Z)
• LaTable: Towards Large Tabular Models [63.995130144110156]
  タブラル生成基盤モデルは、異なるデータセットの不均一な特徴空間のために構築が困難である。 LaTableは、これらの課題に対処し、異なるデータセットでトレーニング可能な、新しい拡散モデルである。 LaTableは、分散生成のベースラインよりも優れており、微調整されたLaTableは、より少ないサンプルで分散データセットをより良く生成できる。
  論文  参考訳（メタデータ） (2024-06-25T16:03:50Z)
• Mixture of In-Context Prompters for Tabular PFNs [33.76194735049027]
  MIXTUREPFNは、36の多様なデータセットに対して、19の強力なディープラーニングとツリーベースのベースラインに対して、Condorcetの勝者である。 上記のアルゴリズムのうち、統計的に有意な上位10位を達成している。
  論文  参考訳（メタデータ） (2024-05-25T09:47:59Z)
• Rethinking Pre-Training in Tabular Data: A Neighborhood Embedding Perspective [71.45945607871715]
  メタ表現(TabPTM)を用いたタブラルデータ事前学習を提案する。 中心となる考え方は、データインスタンスを共有機能空間に埋め込むことで、各インスタンスは、近隣の固定数とそのラベルまでの距離で表現される。 101データセットの大規模な実験は、微調整の有無にかかわらず、分類タスクと回帰タスクの両方においてTabPTMの有効性を確認した。
  論文  参考訳（メタデータ） (2023-10-31T18:03:54Z)
• Generative Table Pre-training Empowers Models for Tabular Prediction [71.76829961276032]
  本稿では,テーブル事前学習を利用した最初の試みであるTapTapを提案する。 TapTapは、プライバシ保護、リソースの低さ、価値計算の欠如、不均衡な分類など、さまざまなアプリケーションをサポートするための高品質な合成テーブルを生成することができる。 LightGBM、Multilayer Perceptron (MLP)、Transformerなどのバックボーンモデルと簡単に組み合わせることができる。
  論文  参考訳（メタデータ） (2023-05-16T06:37:38Z)
• PTab: Using the Pre-trained Language Model for Modeling Tabular Data [5.791972449406902]
  近年の研究では、ニューラルネットワークモデルがタブラルデータの文脈表現の学習に有効であることが示されている。 本稿では,事前学習言語モデルを用いて,タブラルデータをモデル化する新しいフレームワークPTabを提案する。 提案手法は,最先端のベースラインに比べて,教師付き設定における平均AUCスコアが向上した。
  論文  参考訳（メタデータ） (2022-09-15T08:58:42Z)
• TaBERT: Pretraining for Joint Understanding of Textual and Tabular Data [113.29476656550342]
  本研究では,NL文と表の表現を共同で学習する事前学習型LMであるTaBERTを提案する。 TaBERTは、600万のテーブルとその英語コンテキストからなる大規模なコーパスで訓練されている。 モデルの実装はhttp://fburl.com/TaBERT.comで公開される。
  論文  参考訳（メタデータ） (2020-05-17T17:26:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。