論文の概要: Utility Theory of Synthetic Data Generation

• arxiv url: http://arxiv.org/abs/2305.10015v2
• Date: Tue, 12 Mar 2024 07:26:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-14 02:13:49.551813
• Title: Utility Theory of Synthetic Data Generation
• Title（参考訳）: 合成データ生成の実用性理論
• Authors: Shirong Xu and Will Wei Sun and Guang Cheng
• Abstract要約: 本稿では,統計的学習フレームワークにおける実用理論の確立により,実践と理論のギャップを埋める。 合成データに基づいてトレーニングされたモデルの一般化とランキングの2つのユーティリティメトリクスを考慮に入れている。
• 参考スコア（独自算出の注目度）: 14.061357975073319
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Synthetic data algorithms are widely employed in industries to generate artificial data for downstream learning tasks. While existing research primarily focuses on empirically evaluating utility of synthetic data, its theoretical understanding is largely lacking. This paper bridges the practice-theory gap by establishing relevant utility theory in a statistical learning framework. It considers two utility metrics: generalization and ranking of models trained on synthetic data. The former is defined as the generalization difference between models trained on synthetic and on real data. By deriving analytical bounds for this utility metric, we demonstrate that the synthetic feature distribution does not need to be similar as that of real data for ensuring comparable generalization of synthetic models, provided proper model specifications in downstream learning tasks. The latter utility metric studies the relative performance of models trained on synthetic data. In particular, we discover that the distribution of synthetic data is not necessarily similar as the real one to ensure consistent model comparison. Interestingly, consistent model comparison is still achievable even when synthetic responses are not well generated, as long as downstream models are separable by a generalization gap. Finally, extensive experiments on non-parametric models and deep neural networks have been conducted to validate these theoretical findings.
• Abstract（参考訳）: 合成データアルゴリズムは下流学習タスクのための人工データを生成する産業で広く利用されている。 既存の研究は主に合成データの実用性を実証的に評価することに焦点を当てているが、その理論的理解はほとんど欠けている。 本稿では,統計的学習フレームワークにおける実用理論の確立により,実践と理論のギャップを埋める。 合成データに基づいてトレーニングされたモデルの一般化とランキングの2つのユーティリティメトリクスを考える。 前者は、合成と実データで訓練されたモデル間の一般化差として定義される。 この実用的メトリクスの解析的境界を導出することにより、合成特徴分布は、下流学習タスクにおいて適切なモデル仕様を提供する合成モデルの同等な一般化を保証するために、実データと類似する必要はないことを実証する。 後者のユーティリティメトリックは、合成データで訓練されたモデルの相対的性能を研究する。 特に,合成データの分布が実データと必ずしも類似しているとは限らないことを見出し,一貫性のあるモデル比較を行う。 興味深いことに、合成応答が十分に生成されていない場合でも、一般化ギャップによって下流モデルが分離できる限り、一貫性のあるモデル比較が達成可能である。 最後に、これらの理論的発見を検証するために、非パラメトリックモデルとディープニューラルネットワークに関する広範な実験が行われた。

関連論文リスト

• Benchmarking the Fidelity and Utility of Synthetic Relational Data [1.024113475677323]
  我々は、関係データ合成、共通ベンチマークデータセット、および合成データの忠実性と有用性を測定するためのアプローチに関する関連研究についてレビューする。 ベストプラクティスと、新しい堅牢な検出アプローチをベンチマークツールに組み合わせて、6つのメソッドを比較します。 実用面では、モデル予測性能と特徴量の両方において、実データと合成データの適度な相関が観察されるのが一般的である。
  論文  参考訳（メタデータ） (2024-10-04T13:23:45Z)
• Unveiling the Flaws: Exploring Imperfections in Synthetic Data and Mitigation Strategies for Large Language Models [89.88010750772413]
  大規模言語モデル(LLM)の学習における高品質なデータ不足問題に対する解決法として,合成データを提案する。 我々の研究は、Q-A(Q-A)ペア、一般的な合成データに関連するこれらの特定の欠陥を掘り下げ、これらの欠陥を軽減するための未学習技術に基づく方法を提案する。 我々の研究は、より堅牢で効率的なLLMトレーニングを促進することを目的として、合成データの効果的な利用に関する重要な洞察を得た。
  論文  参考訳（メタデータ） (2024-06-18T08:38:59Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• A Bias-Variance Decomposition for Ensembles over Multiple Synthetic Datasets [4.389150156866014]
  最近の研究は、教師あり学習のための複数の合成データセットを生成する利点を強調している。 これらの利点は明らかな実証的な支持を持っているが、理論的な理解は今のところ非常に軽い。 複数の合成データセットを使用するいくつかの設定に対して、バイアス分散分解を導出することで理論的理解を高めることを目指す。
  論文  参考訳（メタデータ） (2024-02-06T13:20:46Z)
• The Real Deal Behind the Artificial Appeal: Inferential Utility of Tabular Synthetic Data [40.165159490379146]
  評価値が不偏であっても, 偽陽性の発見率(タイプ1の誤り)は不可避的に高いことが示唆された。 以前提案された補正係数が使用されているにもかかわらず、この問題は深層生成モデルに対して持続する。
  論文  参考訳（メタデータ） (2023-12-13T02:04:41Z)
• Let's Synthesize Step by Step: Iterative Dataset Synthesis with Large Language Models by Extrapolating Errors from Small Models [69.76066070227452]
  ※データ合成*はラベル付きデータの少ない小さなモデルをトレーニングするための有望な方法です。 本稿では,この分散ギャップを縮めるデータ合成フレームワークであるStep* (**S3**) による合成ステップを提案する。 提案手法は,合成データセットと実データとのギャップを小さくすることで,小型モデルの性能を向上させる。
  論文  参考訳（メタデータ） (2023-10-20T17:14:25Z)
• On the Stability of Iterative Retraining of Generative Models on their own Data [56.153542044045224]
  混合データセットに対する生成モデルの訓練が与える影響について検討する。 まず、初期生成モデルがデータ分布を十分に近似する条件下で反復学習の安定性を実証する。 我々は、正規化フローと最先端拡散モデルを繰り返し訓練することにより、合成画像と自然画像の両方に関する我々の理論を実証的に検証する。
  論文  参考訳（メタデータ） (2023-09-30T16:41:04Z)
• Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
  生成過程が下流MLタスクにどのように影響するかを示す。 本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
  論文  参考訳（メタデータ） (2023-05-16T07:30:29Z)
• A Scaling Law for Synthetic-to-Real Transfer: A Measure of Pre-Training [52.93808218720784]
  合成から現実への変換学習は,実タスクのための合成画像と接地真実アノテーションを用いた事前学習を行うフレームワークである。 合成画像はデータの不足を克服するが、事前訓練されたモデルで微調整性能がどのようにスケールするかは定かではない。 我々は、合成事前学習データの様々なタスク、モデル、複雑さにおける学習曲線を一貫して記述する、単純で一般的なスケーリング法則を観察する。
  論文  参考訳（メタデータ） (2021-08-25T02:29:28Z)
• Simple Imputation Rules for Prediction with Missing Data: Contrasting Theoretical Guarantees with Empirical Performance [7.642646077340124]
  実際のデータセットでは、データの欠落が一般的な問題である。 本稿では, 理論的, 実証的証拠を対比して, 即効性パイプラインの性能について検討する。
  論文  参考訳（メタデータ） (2021-04-07T14:45:14Z)
• Foundations of Bayesian Learning from Synthetic Data [1.6249267147413522]
  我々はベイズパラダイムを用いて、合成データから学習する際のモデルパラメータの更新を特徴付ける。 ベイジアン・アップデートの最近の成果は、決定理論に基づく新しい、堅牢な合成学習のアプローチを支持している。
  論文  参考訳（メタデータ） (2020-11-16T21:49:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。