論文の概要: Benchmarking Synthetic Tabular Data: A Multi-Dimensional Evaluation Framework

• arxiv url: http://arxiv.org/abs/2504.01908v1
• Date: Wed, 02 Apr 2025 17:10:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:24:00.535357
• Title: Benchmarking Synthetic Tabular Data: A Multi-Dimensional Evaluation Framework
• Title（参考訳）: 合成語彙データのベンチマーク:多次元評価フレームワーク
• Authors: Andrey Sidorenko, Michael Platzer, Mario Scriminaci, Paul Tiwald,
• Abstract要約: 合成データの品質を評価することは、データ駆動リサーチにおけるプライバシとユーティリティを確保する上で、依然として重要な課題である。 本稿では,プライバシを確保しつつ,合成データが元の分布特性をいかにうまく再現するかを定量化するフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.4874819476581695
• License:
• Abstract: Evaluating the quality of synthetic data remains a key challenge for ensuring privacy and utility in data-driven research. In this work, we present an evaluation framework that quantifies how well synthetic data replicates original distributional properties while ensuring privacy. The proposed approach employs a holdout-based benchmarking strategy that facilitates quantitative assessment through low- and high-dimensional distribution comparisons, embedding-based similarity measures, and nearest-neighbor distance metrics. The framework supports various data types and structures, including sequential and contextual information, and enables interpretable quality diagnostics through a set of standardized metrics. These contributions aim to support reproducibility and methodological consistency in benchmarking of synthetic data generation techniques. The code of the framework is available at https://github.com/mostly-ai/mostlyai-qa.
• Abstract（参考訳）: 合成データの品質を評価することは、データ駆動リサーチにおけるプライバシとユーティリティを確保する上で、依然として重要な課題である。 本研究では,プライバシを確保しつつ,合成データが元の分布特性をいかにうまく再現するかを定量的に評価する枠組みを提案する。 提案手法は,低次元と高次元の分布比較,埋め込み型類似度測定,近接距離測定による定量的評価を容易にするホールトアウト型ベンチマーク手法を用いる。 このフレームワークは、シーケンシャルおよびコンテキスト情報を含むさまざまなデータタイプと構造をサポートし、標準化されたメトリクスセットを通じて、解釈可能な品質診断を可能にする。 これらの貢献は、合成データ生成技術のベンチマークにおける再現性と方法論的整合性をサポートすることを目的としている。 フレームワークのコードはhttps://github.com/mostly-ai/mostlyai-qa.comで公開されている。

関連論文リスト

• Backdoor-based Explainable AI Benchmark for High Fidelity Evaluation of Attribution Methods [49.62131719441252]
  属性法は入力特徴の重要度を計算し、深層モデルの出力予測を説明する。 本研究はまず,属性手法の信頼性ベンチマークが満たすであろう信頼度基準の集合を同定する。 次に、望ましい忠実度基準に準拠したBackdoorベースのeXplainable AIベンチマーク(BackX)を紹介します。
  論文  参考訳（メタデータ） (2024-05-02T13:48:37Z)
• SynthEval: A Framework for Detailed Utility and Privacy Evaluation of Tabular Synthetic Data [3.360001542033098]
  SynthEvalは、合成データのための新しいオープンソース評価フレームワークである。 特別な種類の前処理ステップを仮定することなく、分類的および数値的な属性を同等のケアで扱う。 我々のツールは統計的および機械学習技術を利用して、合成データの忠実度とプライバシー保護の整合性を包括的に評価する。
  論文  参考訳（メタデータ） (2024-04-24T11:49:09Z)
• A Multi-Faceted Evaluation Framework for Assessing Synthetic Data Generated by Large Language Models [3.672850225066168]
  生成AIと大規模言語モデル(LLM)は、合成データを生成するための新たな道を開いた。 潜在的なメリットにもかかわらず、プライバシー漏洩に関する懸念が浮上している。 我々は,合成表データの忠実さ,有用性,およびプライバシー保護を評価するために設計されたオープンソースの評価フレームワークであるSynEvalを紹介する。
  論文  参考訳（メタデータ） (2024-04-20T08:08:28Z)
• Structured Evaluation of Synthetic Tabular Data [6.418460620178983]
  タブラルデータは一般的には不完全であり、ボリュームは小さく、プライバシー上の懸念からアクセス制限されている。 本稿では,観測データと同じ分布から合成データを抽出すべきと仮定した,単一の数学的目的を持つ評価フレームワークを提案する。 深層学習を利用した構造情報型シンセサイザーとシンセサイザーの評価を行った。
  論文  参考訳（メタデータ） (2024-03-15T15:58:37Z)
• Systematic Assessment of Tabular Data Synthesis Algorithms [9.08530697055844]
  データ合成アルゴリズムを評価するための体系的評価フレームワークを提案する。 それらの制限に対処するために、フィリティ、プライバシ、ユーティリティの観点から、一連の新しいメトリクスを導入します。 また,提案手法に基づいて,合成データの質を継続的に向上する,チューニングのための統一的な目標も考案した。
  論文  参考訳（メタデータ） (2024-02-09T22:07:59Z)
• Statistical properties and privacy guarantees of an original distance-based fully synthetic data generation method [0.0]
  この研究は、多段階のフレームワークを用いて、公開リリース可能な合成データを生成する技術的実現可能性を示す。 新たな多段階合成データ生成フレームワークを用いて生成したデータの質を評価することで,Open-CESPイニシアチブの技術的,概念的健全性を実証した。
  論文  参考訳（メタデータ） (2023-10-10T12:29:57Z)
• Detection and Evaluation of Clusters within Sequential Data [58.720142291102135]
  Block Markov Chainsのクラスタリングアルゴリズムは理論的最適性を保証する。 特に、私たちのシーケンシャルデータは、ヒトのDNA、テキスト、動物運動データ、金融市場から派生しています。 ブロックマルコフ連鎖モデルの仮定は、実際に探索データ解析において有意義な洞察を得られることが判明した。
  論文  参考訳（メタデータ） (2022-10-04T15:22:39Z)
• DC-BENCH: Dataset Condensation Benchmark [79.18718490863908]
  この研究は、データセットの凝縮に関する最初の大規模標準ベンチマークを提供する。 それは、凝縮法の生成可能性と有効性を包括的に反映する一連の評価から成り立っている。 ベンチマークライブラリは、将来の研究とアプリケーションを容易にするためにオープンソース化されている。
  論文  参考訳（メタデータ） (2022-07-20T03:54:05Z)
• Investigating Crowdsourcing Protocols for Evaluating the Factual Consistency of Summaries [59.27273928454995]
  要約に適用される現在の事前学習モデルは、ソーステキストを誤って表現したり、外部情報を導入したりする事実上の矛盾がちである。 評価ベースのLikertスケールとランキングベースのBest-Worst Scalingプロトコルを用いた,事実整合性のためのクラウドソーシング評価フレームワークを構築した。 ランキングベースのプロトコルは、データセット間の要約品質をより信頼性の高い尺度を提供するのに対して、Likertレーティングの信頼性はターゲットデータセットと評価設計に依存する。
  論文  参考訳（メタデータ） (2021-09-19T19:05:00Z)
• Towards Question-Answering as an Automatic Metric for Evaluating the Content Quality of a Summary [65.37544133256499]
  質問回答(QA)を用いて要約内容の質を評価する指標を提案する。 提案指標であるQAEvalの分析を通じて,QAに基づくメトリクスの実験的メリットを実証する。
  論文  参考訳（メタデータ） (2020-10-01T15:33:09Z)
• BREEDS: Benchmarks for Subpopulation Shift [98.90314444545204]
  本研究では,人口変動に対するモデルのロバスト性を評価する手法を開発した。 既存のデータセットの基盤となるクラス構造を利用して、トレーニングとテストの分散を構成するデータサブポピュレーションを制御する。 この手法をImageNetデータセットに適用し、様々な粒度のサブポピュレーションシフトベンチマークスイートを作成する。
  論文  参考訳（メタデータ） (2020-08-11T17:04:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。