論文の概要: A density ratio framework for evaluating the utility of synthetic data

• arxiv url: http://arxiv.org/abs/2408.13167v1
• Date: Fri, 23 Aug 2024 15:39:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-26 14:30:32.635172
• Title: A density ratio framework for evaluating the utility of synthetic data
• Title（参考訳）: 合成データの有効性評価のための密度比フレームワーク
• Authors: Thom Benjamin Volker, Peter-Paul de Wolf, Erik-Jan van Kesteren,
• Abstract要約: 合成データの品質評価を改善するために密度比推定法を提案する。 非パラメトリック密度比モデルの自動選択による手動チューニングをほとんど必要としない推定器を開発する。 実世界のデータアプリケーションは、密度比がモデルの洗練を導く方法を示し、下流の分析を改善するために使用できる。
• 参考スコア（独自算出の注目度）: 0.5852077003870417
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Synthetic data generation is a promising technique to facilitate the use of sensitive data while mitigating the risk of privacy breaches. However, for synthetic data to be useful in downstream analysis tasks, it needs to be of sufficient quality. Various methods have been proposed to measure the utility of synthetic data, but their results are often incomplete or even misleading. In this paper, we propose using density ratio estimation to improve quality evaluation for synthetic data, and thereby the quality of synthesized datasets. We show how this framework relates to and builds on existing measures, yielding global and local utility measures that are informative and easy to interpret. We develop an estimator which requires little to no manual tuning due to automatic selection of a nonparametric density ratio model. Through simulations, we find that density ratio estimation yields more accurate estimates of global utility than established procedures. A real-world data application demonstrates how the density ratio can guide refinements of synthesis models and can be used to improve downstream analyses. We conclude that density ratio estimation is a valuable tool in synthetic data generation workflows and provide these methods in the accessible open source R-package densityratio.
• Abstract（参考訳）: 合成データ生成は、プライバシー侵害のリスクを軽減しつつ、機密データの使用を容易にするための有望なテクニックである。 しかし、下流分析タスクにおいて合成データが有用であるためには、十分な品質が必要である。 合成データの有用性を測定するために様々な方法が提案されているが、その結果は不完全あるいは誤解を招くことが多い。 本稿では,合成データの品質評価を改善するために密度比推定法を提案する。 我々は,この枠組みが既存の施策とどのように関連し,また,情報的かつ容易に解釈できるグローバル・ローカル・ユーティリティー対策を生み出すかを示す。 非パラメトリック密度比モデルの自動選択による手動チューニングをほとんど必要としない推定器を開発する。 シミュレーションにより, 密度比推定により, 確立された方法よりも精度の高い大域的効用推定値が得られることがわかった。 実世界のデータアプリケーションは、密度比が合成モデルの洗練を導く方法を示し、下流の分析を改善するために使用できる。 我々は、密度比の推定は、合成データ生成ワークフローにおいて貴重なツールであり、これらの手法をアクセス可能なオープンソースRパッケージ密度比で提供すると結論付けた。

関連論文リスト

• Little Giants: Synthesizing High-Quality Embedding Data at Scale [71.352883755806]
  SPEEDは,オープンソースの小型モデルと協調して大規模な埋め込みデータを効率的に生成するフレームワークである。 SPEEDはGPT API呼び出しの1/10未満しか使用せず、両者が合成データのみに基づいてトレーニングされている場合、最先端の埋め込みモデルE5_mistralよりも優れている。
  論文  参考訳（メタデータ） (2024-10-24T10:47:30Z)
• SynthEval: A Framework for Detailed Utility and Privacy Evaluation of Tabular Synthetic Data [3.360001542033098]
  SynthEvalは、合成データのための新しいオープンソース評価フレームワークである。 特別な種類の前処理ステップを仮定することなく、分類的および数値的な属性を同等のケアで扱う。 我々のツールは統計的および機械学習技術を利用して、合成データの忠実度とプライバシー保護の整合性を包括的に評価する。
  論文  参考訳（メタデータ） (2024-04-24T11:49:09Z)
• A Multi-Faceted Evaluation Framework for Assessing Synthetic Data Generated by Large Language Models [3.672850225066168]
  生成AIと大規模言語モデル(LLM)は、合成データを生成するための新たな道を開いた。 潜在的なメリットにもかかわらず、プライバシー漏洩に関する懸念が浮上している。 我々は,合成表データの忠実さ,有用性,およびプライバシー保護を評価するために設計されたオープンソースの評価フレームワークであるSynEvalを紹介する。
  論文  参考訳（メタデータ） (2024-04-20T08:08:28Z)
• Reimagining Synthetic Tabular Data Generation through Data-Centric AI: A Comprehensive Benchmark [56.8042116967334]
  合成データは、機械学習モデルのトレーニングの代替となる。 合成データが現実世界データの複雑なニュアンスを反映することを保証することは、難しい作業です。 本稿では,データ中心型AI技術の統合による合成データ生成プロセスのガイドの可能性について検討する。
  論文  参考訳（メタデータ） (2023-10-25T20:32:02Z)
• Utility Theory of Synthetic Data Generation [12.511220449652384]
  本稿では,統計的学習フレームワークにおける実用理論の確立により,実践と理論のギャップを埋める。 合成データに基づいてトレーニングされたモデルの一般化とランキングの2つのユーティリティメトリクスを考慮に入れている。
  論文  参考訳（メタデータ） (2023-05-17T07:49:16Z)
• Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
  生成過程が下流MLタスクにどのように影響するかを示す。 本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
  論文  参考訳（メタデータ） (2023-05-16T07:30:29Z)
• Delving into High-Quality Synthetic Face Occlusion Segmentation Datasets [83.749895930242]
  そこで本研究では,高品質な自然主義的合成隠蔽顔を製造するための2つの手法を提案する。 両手法の有効性とロバスト性を実証的に示す。 我々は,RealOccとRealOcc-Wildという,微細なアノテーションを付加した高精細な実世界の顔データセットを2つ提示する。
  論文  参考訳（メタデータ） (2022-05-12T17:03:57Z)
• CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
  本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。 このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。 提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
  論文  参考訳（メタデータ） (2022-03-03T05:58:49Z)
• Copula Flows for Synthetic Data Generation [0.5801044612920815]
  確率モデルを合成データ生成器として用いることを提案する。 密度推定の手法として,シミュレーションと実データの両方をベンチマークした。
  論文  参考訳（メタデータ） (2021-01-03T10:06:23Z)
• TraDE: Transformers for Density Estimation [101.20137732920718]
  TraDEは自己回帰密度推定のための自己アテンションに基づくアーキテクチャである。 本稿では, 生成したサンプルを用いた回帰, 分布外検出, トレーニングデータにおける雑音に対する頑健性などのタスクについて述べる。
  論文  参考訳（メタデータ） (2020-04-06T07:32:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。