論文の概要: Causality for Tabular Data Synthesis: A High-Order Structure Causal Benchmark Framework
- arxiv url: http://arxiv.org/abs/2406.08311v2
- Date: Fri, 5 Jul 2024 06:44:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-08 22:44:48.629971
- Title: Causality for Tabular Data Synthesis: A High-Order Structure Causal Benchmark Framework
- Title（参考訳）: 語彙データ合成のための因果性:高階構造因果ベンチマークフレームワーク
- Authors: Ruibo Tu, Zineb Senane, Lele Cao, Cheng Zhang, Hedvig Kjellström, Gustav Eje Henter,
- Abstract要約: 本稿では,自然の先行知識として高次構造因果情報を導入する。
合成データの質を評価するために,複数のベンチマークタスク,高次メトリクス,因果推論タスクを下流タスクとして提案する。
- 参考スコア（独自算出の注目度）: 18.11940247961923
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Tabular synthesis models remain ineffective at capturing complex dependencies, and the quality of synthetic data is still insufficient for comprehensive downstream tasks, such as prediction under distribution shifts, automated decision-making, and cross-table understanding. A major challenge is the lack of prior knowledge about underlying structures and high-order relationships in tabular data. We argue that a systematic evaluation on high-order structural information for tabular data synthesis is the first step towards solving the problem. In this paper, we introduce high-order structural causal information as natural prior knowledge and provide a benchmark framework for the evaluation of tabular synthesis models. The framework allows us to generate benchmark datasets with a flexible range of data generation processes and to train tabular synthesis models using these datasets for further evaluation. We propose multiple benchmark tasks, high-order metrics, and causal inference tasks as downstream tasks for evaluating the quality of synthetic data generated by the trained models. Our experiments demonstrate to leverage the benchmark framework for evaluating the model capability of capturing high-order structural causal information. Furthermore, our benchmarking results provide an initial assessment of state-of-the-art tabular synthesis models. They have clearly revealed significant gaps between ideal and actual performance and how baseline methods differ. Our benchmark framework is available at URL https://github.com/TURuibo/CauTabBench.
- Abstract（参考訳）: タブラル合成モデルは複雑な依存関係を捉えるのに効果がなく、分散シフト下での予測や自動意思決定、クロステーブル理解といった包括的な下流タスクでは、合成データの質は依然として不十分である。
大きな課題は、表データの基盤構造と高次関係に関する事前知識の欠如である。
グラフデータ合成のための高次構造情報の体系的評価が,この問題の解決に向けた第一歩である,と我々は主張する。
本稿では,高次構造因果情報を自然な事前知識として導入し,表層合成モデル評価のためのベンチマークフレームワークを提案する。
このフレームワークにより、フレキシブルなデータ生成プロセスでベンチマークデータセットを生成し、これらのデータセットを使用して表形式の合成モデルをトレーニングし、さらなる評価を行うことができる。
複数のベンチマークタスク、高次メトリクス、因果推論タスクを下流タスクとして提案し、トレーニングされたモデルが生成した合成データの品質を評価する。
実験では,高次構造因果情報を取得するためのモデル能力を評価するために,ベンチマークフレームワークを活用することを実証した。
さらに, ベンチマークの結果から, 最先端の表層合成モデルの初期評価が得られた。
彼らは明らかに、理想的なパフォーマンスと実際のパフォーマンスのギャップと、ベースラインメソッドの違いを明らかにしている。
ベンチマークフレームワークはURL https://github.com/TURuibo/CauTabBench.comで利用可能です。
関連論文リスト
- Benchmarking the Fidelity and Utility of Synthetic Relational Data [1.024113475677323]
我々は、関係データ合成、共通ベンチマークデータセット、および合成データの忠実性と有用性を測定するためのアプローチに関する関連研究についてレビューする。
ベストプラクティスと、新しい堅牢な検出アプローチをベンチマークツールに組み合わせて、6つのメソッドを比較します。
実用面では、モデル予測性能と特徴量の両方において、実データと合成データの適度な相関が観察されるのが一般的である。
論文 参考訳（メタデータ） (2024-10-04T13:23:45Z) - EBES: Easy Benchmarking for Event Sequences [17.277513178760348]
イベントシーケンスは、ヘルスケア、ファイナンス、ユーザインタラクションログなど、さまざまな現実世界のドメインにおける一般的なデータ構造である。
時間データモデリング技術の進歩にもかかわらず、イベントシーケンスのパフォーマンスを評価するための標準ベンチマークは存在しない。
標準化された評価シナリオとプロトコルを備えた総合的なベンチマークツールであるEBESを紹介する。
論文 参考訳（メタデータ） (2024-10-04T13:03:43Z) - Unveiling the Flaws: Exploring Imperfections in Synthetic Data and Mitigation Strategies for Large Language Models [89.88010750772413]
大規模言語モデル(LLM)の学習における高品質なデータ不足問題に対する解決法として,合成データを提案する。
我々の研究は、Q-A(Q-A)ペア、一般的な合成データに関連するこれらの特定の欠陥を掘り下げ、これらの欠陥を軽減するための未学習技術に基づく方法を提案する。
我々の研究は、より堅牢で効率的なLLMトレーニングを促進することを目的として、合成データの効果的な利用に関する重要な洞察を得た。
論文 参考訳（メタデータ） (2024-06-18T08:38:59Z) - An evaluation framework for synthetic data generation models [3.3748750222488657]
高品質な合成データを開発するための合成データ生成モデルの能力を評価するための新しいフレームワークを提案する。
2つのユースケースシナリオは、合成データ生成モデルが高品質なデータを生成する能力を評価するための提案フレームワークの適用性を示す。
論文 参考訳（メタデータ） (2024-04-13T01:16:45Z) - Structured Evaluation of Synthetic Tabular Data [6.418460620178983]
タブラルデータは一般的には不完全であり、ボリュームは小さく、プライバシー上の懸念からアクセス制限されている。
本稿では,観測データと同じ分布から合成データを抽出すべきと仮定した,単一の数学的目的を持つ評価フレームワークを提案する。
深層学習を利用した構造情報型シンセサイザーとシンセサイザーの評価を行った。
論文 参考訳（メタデータ） (2024-03-15T15:58:37Z) - Reimagining Synthetic Tabular Data Generation through Data-Centric AI: A
Comprehensive Benchmark [56.8042116967334]
合成データは、機械学習モデルのトレーニングの代替となる。
合成データが現実世界データの複雑なニュアンスを反映することを保証することは、難しい作業です。
本稿では,データ中心型AI技術の統合による合成データ生成プロセスのガイドの可能性について検討する。
論文 参考訳（メタデータ） (2023-10-25T20:32:02Z) - Homological Convolutional Neural Networks [4.615338063719135]
本稿では,トポロジ的に制約されたネットワーク表現を通じて,データ構造構造を利用した新しいディープラーニングアーキテクチャを提案する。
5つの古典的な機械学習モデルと3つのディープラーニングモデルに対して、18のベンチマークデータセットでモデルをテストします。
論文 参考訳（メタデータ） (2023-08-26T08:48:51Z) - Importance of Synthesizing High-quality Data for Text-to-SQL Parsing [71.02856634369174]
最先端のテキストから重み付けアルゴリズムは、強化された合成データでトレーニングされた場合、一般的なベンチマークでは改善されなかった。
本稿では,スキーマから重要な関係を取り入れ,強い型付けを課し,スキーマ重み付きカラムサンプリングを行う新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2022-12-17T02:53:21Z) - Generating Realistic Synthetic Relational Data through Graph Variational
Autoencoders [47.89542334125886]
変動型オートエンコーダフレームワークとグラフニューラルネットワークを組み合わせることで,リアルな合成関係データベースを生成する。
結果は、実際のデータベースの構造が結果の合成データセットに正確に保存されていることを示している。
論文 参考訳（メタデータ） (2022-11-30T10:40:44Z) - SynBench: Task-Agnostic Benchmarking of Pretrained Representations using
Synthetic Data [78.21197488065177]
近年、下流のタスクで大規模なデータで事前訓練された微調整大型モデルが成功し、ディープラーニングにおける重要なパラダイムシフトにつながった。
本稿では,合成データを用いて事前学習した表現の質を測定するためのタスク非依存フレームワークであるtextitSynBenchを提案する。
論文 参考訳（メタデータ） (2022-10-06T15:25:00Z) - Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。
我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。
本稿では,様々な要約データセットに対して提案手法の有効性を示す。
論文 参考訳（メタデータ） (2022-03-15T01:24:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。