Fugu-MT 論文翻訳(概要): Masked Language Modeling Becomes Conditional Density Estimation for Tabular Data Synthesis

論文の概要: Masked Language Modeling Becomes Conditional Density Estimation for Tabular Data Synthesis

arxiv url: http://arxiv.org/abs/2405.20602v1
Date: Fri, 31 May 2024 03:26:42 GMT
ステータス: 処理完了
システム内更新日: 2024-06-03 15:36:24.137454
Title: Masked Language Modeling Becomes Conditional Density Estimation for Tabular Data Synthesis
Title（参考訳）: タブラルデータ合成のための条件密度推定のためのマスケ言語モデリング
Authors: Seunghwan An, Gyeongdong Woo, Jaesung Lim, ChangHyun Kim, Sungchul Hong, Jong-June Jeon,
Abstract要約: 非パラメトリック条件密度推定を考案し,新しい合成データ生成手法MaCoDEを提案する。提案モデルでは,再トレーニングを必要とせず,データプライバシレベルの調整を可能にする。
参考スコア（独自算出の注目度）: 0.74454067778951
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: In this paper, our goal is to generate synthetic data for heterogeneous (mixed-type) tabular datasets with high machine learning utility (MLu). Given that the MLu performance relies on accurately approximating the conditional distributions, we focus on devising a synthetic data generation method based on conditional distribution estimation. We propose a novel synthetic data generation method, MaCoDE, by redefining the multi-class classification task of Masked Language Modeling (MLM) as histogram-based non-parametric conditional density estimation. Our proposed method enables estimating conditional densities across arbitrary combinations of target and conditional variables. Furthermore, we demonstrate that our proposed method bridges the theoretical gap between distributional learning and MLM. To validate the effectiveness of our proposed model, we conduct synthetic data generation experiments on 10 real-world datasets. Given the analogy between predicting masked input tokens in MLM and missing data imputation, we also evaluate the performance of multiple imputations on incomplete datasets with various missing data mechanisms. Moreover, our proposed model offers the advantage of enabling adjustments to data privacy levels without requiring re-training.
Abstract（参考訳）: 本稿では,機械学習ユーティリティ(MLu)を用いた異種(混合型)表型データセットの合成データを生成することを目的とする。 MLuの性能は条件分布を正確に近似することに依存しているため,条件分布推定に基づく合成データ生成手法の開発に注力する。本研究では,Masked Language Modeling (MLM) のマルチクラス分類タスクをヒストグラムに基づく非パラメトリック条件密度推定として再定義し,新しい合成データ生成手法であるMaCoDEを提案する。提案手法は,目的変数と条件変数の任意の組み合わせで条件密度を推定できる。さらに,本提案手法は分布学習とMDMの理論的ギャップを埋めることを示した。提案モデルの有効性を検証するため,10個の実世界のデータセット上で合成データ生成実験を行った。 MLMにおけるマスク付き入力トークンの予測と欠落データ計算との類似性を考えると,不完全なデータセットに対する複数の命令の性能を,様々なデータ機構が欠落している場合に評価する。さらに,本提案モデルでは,データプライバシレベルの調整を,再トレーニングを必要とせずに行うことができる。

関連論文リスト

Generating Realistic Tabular Data with Large Language Models [49.03536886067729]
大規模言語モデル(LLM)は多様なタスクに使われてきたが、特徴と対象変数の正確な相関は捉えていない。そこで本研究では,LLMに基づく3つの重要な改良を加えて,実データの特徴クラス相関を正しく把握する手法を提案する。実験の結果,本手法は下流タスクにおいて,20個のデータセット上で10個のSOTAベースラインを著しく上回っていることがわかった。
論文参考訳（メタデータ） (2024-10-29T04:14:32Z)
Towards a Theoretical Understanding of Memorization in Diffusion Models [76.85077961718875]
拡散確率モデル(DPM)は、生成人工知能(GenAI)の主流モデルとして採用されている。モデル収束を前提とした条件付きおよび非条件付きDPMにおける記憶の理論的理解を提供する。本研究では、生成されたデータに基づいて訓練された時間依存型分類器を代理条件として利用し、無条件DPMからトレーニングデータを抽出する、textbfSurrogate condItional Data extract (SIDE) という新しいデータ抽出手法を提案する。
論文参考訳（メタデータ） (2024-10-03T13:17:06Z)
Dataset Condensation with Latent Quantile Matching [5.466962214217334]
電流分布マッチング (DM) に基づく直流法は, 合成外乱と実外乱の遅延埋め込みの平均をマッチングすることにより, 合成データセットを学習する。本稿では,2つの分布間の適合試験統計量の良さを最小化するために,遅延埋め込みの量子化と一致する潜在量子マッチング(LQM)を提案する。
論文参考訳（メタデータ） (2024-06-14T09:20:44Z)
Generative modeling of density regression through tree flows [3.0262553206264893]
本稿では,表データの密度回帰タスクに適したフローベース生成モデルを提案する。本稿では,木質変換を分割・対数戦略を用いて適合させる学習アルゴリズムを提案する。本手法は, トレーニングおよびサンプリング予算のごく一部において, 同等あるいは優れた性能を継続的に達成する。
論文参考訳（メタデータ） (2024-06-07T21:07:35Z)
Minimally Supervised Learning using Topological Projections in Self-Organizing Maps [55.31182147885694]
自己組織化マップ(SOM)におけるトポロジカルプロジェクションに基づく半教師付き学習手法を提案する。提案手法は,まずラベル付きデータ上でSOMを訓練し,最小限のラベル付きデータポイントをキーベストマッチングユニット(BMU)に割り当てる。提案した最小教師付きモデルが従来の回帰手法を大幅に上回ることを示す。
論文参考訳（メタデータ） (2024-01-12T22:51:48Z)
Learning from aggregated data with a maximum entropy model [73.63512438583375]
我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
論文参考訳（メタデータ） (2022-10-05T09:17:27Z)
Model-based Clustering with Missing Not At Random Data [0.8777702580252754]
我々は,MNARデータを含む,非常に一般的なタイプの欠落データを扱うために設計されたモデルベースのクラスタリングアルゴリズムを提案する。いくつかのMNARモデルについて議論し、不足の原因は、欠落変数自体の値とクラスメンバーシップの両方に依存する。 MNARzと呼ばれる特定のMNARモデルに注目する。
論文参考訳（メタデータ） (2021-12-20T09:52:12Z)
Mixing Deep Learning and Multiple Criteria Optimization: An Application to Distributed Learning with Multiple Datasets [0.0]
トレーニングフェーズは、マシンラーニングプロセスにおいて最も重要なステージです。本研究では,特定の入力とラベルに関連付けられた出力との距離を基準として,複数の基準最適化モデルを構築した。 MNISTデータを用いた数値分類において,このモデルと数値実験を実現するためのスカラー化手法を提案する。
論文参考訳（メタデータ） (2021-12-02T16:00:44Z)
Autoregressive Score Matching [113.4502004812927]
自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
論文参考訳（メタデータ） (2020-10-24T07:01:24Z)
BREEDS: Benchmarks for Subpopulation Shift [98.90314444545204]
本研究では,人口変動に対するモデルのロバスト性を評価する手法を開発した。既存のデータセットの基盤となるクラス構造を利用して、トレーニングとテストの分散を構成するデータサブポピュレーションを制御する。この手法をImageNetデータセットに適用し、様々な粒度のサブポピュレーションシフトベンチマークスイートを作成する。
論文参考訳（メタデータ） (2020-08-11T17:04:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。