論文の概要: Masked Language Modeling Becomes Conditional Density Estimation for Tabular Data Synthesis

• arxiv url: http://arxiv.org/abs/2405.20602v2
• Date: Mon, 19 Aug 2024 01:36:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-21 02:38:38.179811
• Title: Masked Language Modeling Becomes Conditional Density Estimation for Tabular Data Synthesis
• Title（参考訳）: タブラルデータ合成のための条件密度推定のためのマスケ言語モデリング
• Authors: Seunghwan An, Gyeongdong Woo, Jaesung Lim, ChangHyun Kim, Sungchul Hong, Jong-June Jeon,
• Abstract要約: Masked Modeling (MLM) の連続的多クラス分類タスクをヒストグラムに基づく条件密度推定として再定義し,MaCoDEを提案する。 目的変数と条件変数の任意の組み合わせで条件密度を推定できる。 提案モデルの有効性を検証するため,10個の実世界のデータセットにまたがる合成データ生成の性能を評価する。
• 参考スコア（独自算出の注目度）: 0.74454067778951
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In this paper, our goal is to generate synthetic data for heterogeneous (mixed-type) tabular datasets with high machine learning utility (MLu). Since the MLu performance depends on accurately approximating the conditional distributions, we focus on devising a synthetic data generation method based on conditional distribution estimation. We introduce MaCoDE by redefining the consecutive multi-class classification task of Masked Language Modeling (MLM) as histogram-based non-parametric conditional density estimation. Our approach enables the estimation of conditional densities across arbitrary combinations of target and conditional variables. We bridge the theoretical gap between distributional learning and MLM by demonstrating that minimizing the orderless multi-class classification loss leads to minimizing the total variation distance between conditional distributions. To validate our proposed model, we evaluate its performance in synthetic data generation across 10 real-world datasets, demonstrating its ability to adjust data privacy levels easily without re-training. Additionally, since masked input tokens in MLM are analogous to missing data, we further assess its effectiveness in handling training datasets with missing values, including multiple imputations of the missing entries.
• Abstract（参考訳）: 本稿では,機械学習ユーティリティ(MLu)を用いた異種(混合型)表型データセットの合成データを生成することを目的とする。 MLuの性能は条件分布の正確な近似に依存するため,条件分布推定に基づく合成データ生成手法の開発に注力する。 Masked Language Modeling (MLM) の連続的多クラス分類タスクをヒストグラムに基づく非パラメトリック条件密度推定として再定義し,MaCoDEを提案する。 目的変数と条件変数の任意の組み合わせで条件密度を推定できる。 我々は,MLMと分布学習の理論的ギャップを,無秩序な多クラス分類損失の最小化が条件分布間の全変動距離の最小化に繋がることを示すことによって橋渡しする。 提案モデルの有効性を検証するため,10個の実世界のデータセットにまたがる合成データ生成の性能を評価し,データプライバシレベルを再学習することなく容易に調整できることを実証した。 さらに,MLMにおけるマスク付き入力トークンは,欠落データと類似しているため,欠落したエントリの複数命令を含む,欠落値によるトレーニングデータセットの処理の有効性をさらに評価する。

関連論文リスト

• Generating Realistic Tabular Data with Large Language Models [49.03536886067729]
  大規模言語モデル(LLM)は多様なタスクに使われてきたが、特徴と対象変数の正確な相関は捉えていない。 そこで本研究では,LLMに基づく3つの重要な改良を加えて,実データの特徴クラス相関を正しく把握する手法を提案する。 実験の結果,本手法は下流タスクにおいて,20個のデータセット上で10個のSOTAベースラインを著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-10-29T04:14:32Z)
• Towards a Theoretical Understanding of Memorization in Diffusion Models [76.85077961718875]
  拡散確率モデル(DPM)は、生成人工知能(GenAI)の主流モデルとして採用されている。 モデル収束を前提とした条件付きおよび非条件付きDPMにおける記憶の理論的理解を提供する。 本研究では、生成されたデータに基づいて訓練された時間依存型分類器を代理条件として利用し、無条件DPMからトレーニングデータを抽出する、textbfSurrogate condItional Data extract (SIDE) という新しいデータ抽出手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T13:17:06Z)
• Dataset Condensation with Latent Quantile Matching [5.466962214217334]
  電流分布マッチング (DM) に基づく直流法は, 合成外乱と実外乱の遅延埋め込みの平均をマッチングすることにより, 合成データセットを学習する。 本稿では,2つの分布間の適合試験統計量の良さを最小化するために,遅延埋め込みの量子化と一致する潜在量子マッチング(LQM)を提案する。
  論文  参考訳（メタデータ） (2024-06-14T09:20:44Z)
• Generative modeling of density regression through tree flows [3.0262553206264893]
  本稿では,表データの密度回帰タスクに適したフローベース生成モデルを提案する。 本稿では,木質変換を分割・対数戦略を用いて適合させる学習アルゴリズムを提案する。 本手法は, トレーニングおよびサンプリング予算のごく一部において, 同等あるいは優れた性能を継続的に達成する。
  論文  参考訳（メタデータ） (2024-06-07T21:07:35Z)
• Minimally Supervised Learning using Topological Projections in Self-Organizing Maps [55.31182147885694]
  自己組織化マップ(SOM)におけるトポロジカルプロジェクションに基づく半教師付き学習手法を提案する。 提案手法は,まずラベル付きデータ上でSOMを訓練し,最小限のラベル付きデータポイントをキーベストマッチングユニット(BMU)に割り当てる。 提案した最小教師付きモデルが従来の回帰手法を大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2024-01-12T22:51:48Z)
• Learning from aggregated data with a maximum entropy model [73.63512438583375]
  我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。 我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
  論文  参考訳（メタデータ） (2022-10-05T09:17:27Z)
• Model-based Clustering with Missing Not At Random Data [0.8777702580252754]
  我々は,MNARデータを含む,非常に一般的なタイプの欠落データを扱うために設計されたモデルベースのクラスタリングアルゴリズムを提案する。 いくつかのMNARモデルについて議論し、不足の原因は、欠落変数自体の値とクラスメンバーシップの両方に依存する。 MNARzと呼ばれる特定のMNARモデルに注目する。
  論文  参考訳（メタデータ） (2021-12-20T09:52:12Z)
• Mixing Deep Learning and Multiple Criteria Optimization: An Application to Distributed Learning with Multiple Datasets [0.0]
  トレーニングフェーズは、マシンラーニングプロセスにおいて最も重要なステージです。 本研究では,特定の入力とラベルに関連付けられた出力との距離を基準として,複数の基準最適化モデルを構築した。 MNISTデータを用いた数値分類において,このモデルと数値実験を実現するためのスカラー化手法を提案する。
  論文  参考訳（メタデータ） (2021-12-02T16:00:44Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)
• BREEDS: Benchmarks for Subpopulation Shift [98.90314444545204]
  本研究では,人口変動に対するモデルのロバスト性を評価する手法を開発した。 既存のデータセットの基盤となるクラス構造を利用して、トレーニングとテストの分散を構成するデータサブポピュレーションを制御する。 この手法をImageNetデータセットに適用し、様々な粒度のサブポピュレーションシフトベンチマークスイートを作成する。
  論文  参考訳（メタデータ） (2020-08-11T17:04:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。