論文の概要: What's Wrong with Your Synthetic Tabular Data? Using Explainable AI to Evaluate Generative Models

• arxiv url: http://arxiv.org/abs/2504.20687v1
• Date: Tue, 29 Apr 2025 12:10:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:54.886614
• Title: What's Wrong with Your Synthetic Tabular Data? Using Explainable AI to Evaluate Generative Models
• Title（参考訳）: 合成語彙データに何が間違っているのか? 説明可能なAIを使って生成モデルを評価する
• Authors: Jan Kapar, Niklas Koenen, Martin Jullum,
• Abstract要約: 我々は、実データと合成データとを区別するために訓練されたバイナリ検出分類器に、説明可能なAI(XAI)技術を適用した。 分類器は分布差を識別するが、XAIの概念は置換特徴の重要性、部分依存プロット、シェープリー値などの方法で解析され、なぜ合成データが識別可能であるかを明らかにする。 この解釈可能性は、合成データ評価における透明性を高め、従来のメトリクスを超えて深い洞察を提供する。
• 参考スコア（独自算出の注目度）: 1.024113475677323
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating synthetic tabular data is challenging, since they can differ from the real data in so many ways. There exist numerous metrics of synthetic data quality, ranging from statistical distances to predictive performance, often providing conflicting results. Moreover, they fail to explain or pinpoint the specific weaknesses in the synthetic data. To address this, we apply explainable AI (XAI) techniques to a binary detection classifier trained to distinguish real from synthetic data. While the classifier identifies distributional differences, XAI concepts such as feature importance and feature effects, analyzed through methods like permutation feature importance, partial dependence plots, Shapley values and counterfactual explanations, reveal why synthetic data are distinguishable, highlighting inconsistencies, unrealistic dependencies, or missing patterns. This interpretability increases transparency in synthetic data evaluation and provides deeper insights beyond conventional metrics, helping diagnose and improve synthetic data quality. We apply our approach to two tabular datasets and generative models, showing that it uncovers issues overlooked by standard evaluation techniques.
• Abstract（参考訳）: 合成表データの評価は、実際のデータと多くの点で異なる可能性があるため、難しい。 統計的距離から予測性能まで、多くの合成データ品質の指標があり、しばしば矛盾する結果をもたらす。 さらに、合成データの特定の弱点の説明や特定に失敗する。 これを解決するために、実データと合成データとを区別するために訓練されたバイナリ検出分類器に、説明可能なAI(XAI)技術を適用する。 分類器は分布的差異を識別するが、特徴の重要性や特徴効果などのXAI概念は、置換特徴の重要性、部分依存プロット、シェープリー値、反ファクト的説明などの手法を通して分析され、なぜ合成データが区別可能であるのか、不整合、非現実的依存関係、欠落パターンをハイライトする。 この解釈可能性によって、合成データ評価の透明性が向上し、従来のメトリクスを超えて深い洞察が得られ、合成データ品質の診断と改善に役立つ。 提案手法を2つの表付きデータセットと生成モデルに適用し,標準評価手法で見落とされた問題を明らかにする。

関連論文リスト

• Scaling Laws of Synthetic Data for Language Models [132.67350443447611]
  プレトレーニングコーパスを多種多様な高品質な合成データセットに変換するスケーラブルなフレームワークであるSynthLLMを紹介した。 提案手法は,グラフアルゴリズムを用いて複数の文書にまたがるハイレベルな概念を自動的に抽出し,再結合することで実現している。
  論文  参考訳（メタデータ） (2025-03-25T11:07:12Z)
• Boosting Semi-Supervised Scene Text Recognition via Viewing and Summarizing [71.29488677105127]
  既存のシーンテキスト認識(STR)手法は、特に芸術的で歪んだ文字に対して、挑戦的なテキストを認識するのに苦労している。 人的コストを伴わずに、合成データと実際のラベルなしデータを活用して、対照的な学習ベースのSTRフレームワークを提案する。 本手法は,共通ベンチマークとUnion14M-Benchmarkで平均精度94.7%,70.9%のSOTA性能を実現する。
  論文  参考訳（メタデータ） (2024-11-23T15:24:47Z)
• Unveiling the Flaws: Exploring Imperfections in Synthetic Data and Mitigation Strategies for Large Language Models [89.88010750772413]
  大規模言語モデル(LLM)の学習における高品質なデータ不足問題に対する解決法として,合成データを提案する。 我々の研究は、Q-A(Q-A)ペア、一般的な合成データに関連するこれらの特定の欠陥を掘り下げ、これらの欠陥を軽減するための未学習技術に基づく方法を提案する。 我々の研究は、より堅牢で効率的なLLMトレーニングを促進することを目的として、合成データの効果的な利用に関する重要な洞察を得た。
  論文  参考訳（メタデータ） (2024-06-18T08:38:59Z)
• Massively Annotated Datasets for Assessment of Synthetic and Real Data in Face Recognition [0.2775636978045794]
  実データと合成データを用いて学習したモデルの性能のドリフトについて検討する。 属性集合上の実データと合成データセットの差について検討する。 興味深いことに、我々は実際のサンプルが合成分布を説明するのに十分であるにもかかわらず、その逆はもはや真実ではないことを検証した。
  論文  参考訳（メタデータ） (2024-04-23T17:10:49Z)
• Reliability in Semantic Segmentation: Can We Use Synthetic Data? [69.28268603137546]
  セマンティックセグメンテーションモデルの現実的信頼性を総合的に評価するために、合成データを具体的に生成する方法を初めて示す。 この合成データは、事前訓練されたセグメンタの堅牢性を評価するために使用される。 セグメンタのキャリブレーションとOOD検出能力を向上するために,我々のアプローチをどのように活用できるかを実証する。
  論文  参考訳（メタデータ） (2023-12-14T18:56:07Z)
• The Real Deal Behind the Artificial Appeal: Inferential Utility of Tabular Synthetic Data [40.165159490379146]
  評価値が不偏であっても, 偽陽性の発見率(タイプ1の誤り)は不可避的に高いことが示唆された。 以前提案された補正係数が使用されているにもかかわらず、この問題は深層生成モデルに対して持続する。
  論文  参考訳（メタデータ） (2023-12-13T02:04:41Z)
• Boosting Data Analytics With Synthetic Volume Expansion [3.568650932986342]
  本稿では,合成データに対する統計的手法の有効性と,合成データのプライバシーリスクについて考察する。 この枠組みにおける重要な発見は、合成データに対する統計的手法の誤差率は、より多くの合成データを追加することで減少するが、最終的には上昇または安定化する可能性があることを明らかにする世代効果である。
  論文  参考訳（メタデータ） (2023-10-27T01:57:27Z)
• Reimagining Synthetic Tabular Data Generation through Data-Centric AI: A Comprehensive Benchmark [56.8042116967334]
  合成データは、機械学習モデルのトレーニングの代替となる。 合成データが現実世界データの複雑なニュアンスを反映することを保証することは、難しい作業です。 本稿では,データ中心型AI技術の統合による合成データ生成プロセスのガイドの可能性について検討する。
  論文  参考訳（メタデータ） (2023-10-25T20:32:02Z)
• A Discrepancy Aware Framework for Robust Anomaly Detection [51.710249807397695]
  本稿では,DAF(Disdisrepancy Aware Framework)を提案する。 本手法は,デコーダの欠陥同定に外見に依存しないキューを利用して,その合成外観への依存を緩和する。 単純な合成戦略の下では,既存の手法を大きなマージンで上回り,また,最先端のローカライゼーション性能も達成している。
  論文  参考訳（メタデータ） (2023-10-11T15:21:40Z)
• Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
  生成過程が下流MLタスクにどのように影響するかを示す。 本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
  論文  参考訳（メタデータ） (2023-05-16T07:30:29Z)
• TabSynDex: A Universal Metric for Robust Evaluation of Synthetic Tabular Data [14.900342838726747]
  合成データのロバストな評価のための新しい普遍計量TabSynDexを提案する。 シングルスコアメトリックであるTabSynDexは、ニューラルネットワークベースのアプローチのトレーニングを観察および評価するためにも使用できる。
  論文  参考訳（メタデータ） (2022-07-12T04:08:11Z)
• Transitioning from Real to Synthetic data: Quantifying the bias in model [1.6134566438137665]
  本研究では,合成データを用いたモデルにおけるバイアスと公平性のトレードオフを確立することを目的とする。 合成データを用いて訓練したモデルには、様々なレベルのバイアスの影響があることを実証する。
  論文  参考訳（メタデータ） (2021-05-10T06:57:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。