論文の概要: Beyond Real Data: Synthetic Data through the Lens of Regularization

• arxiv url: http://arxiv.org/abs/2510.08095v1
• Date: Thu, 09 Oct 2025 11:33:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-10 17:54:15.040391
• Title: Beyond Real Data: Synthetic Data through the Lens of Regularization
• Title（参考訳）: リアルデータを超えて: 正規化のレンズによる合成データ
• Authors: Amitis Shidani, Tyler Farghly, Yang Sun, Habib Ganjgahi, George Deligiannidis,
• Abstract要約: 合成データは、実際のデータが不足しているときに一般化を改善することができるが、過度な依存は、性能を低下させる分布ミスマッチをもたらす可能性がある。 本稿では,合成データと実データとのトレードオフを定量化する学習理論フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 9.459299281438074
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Synthetic data can improve generalization when real data is scarce, but excessive reliance may introduce distributional mismatches that degrade performance. In this paper, we present a learning-theoretic framework to quantify the trade-off between synthetic and real data. Our approach leverages algorithmic stability to derive generalization error bounds, characterizing the optimal synthetic-to-real data ratio that minimizes expected test error as a function of the Wasserstein distance between the real and synthetic distributions. We motivate our framework in the setting of kernel ridge regression with mixed data, offering a detailed analysis that may be of independent interest. Our theory predicts the existence of an optimal ratio, leading to a U-shaped behavior of test error with respect to the proportion of synthetic data. Empirically, we validate this prediction on CIFAR-10 and a clinical brain MRI dataset. Our theory extends to the important scenario of domain adaptation, showing that carefully blending synthetic target data with limited source data can mitigate domain shift and enhance generalization. We conclude with practical guidance for applying our results to both in-domain and out-of-domain scenarios.
• Abstract（参考訳）: 合成データは、実際のデータが不足しているときに一般化を改善することができるが、過度な依存は、性能を低下させる分布ミスマッチをもたらす可能性がある。 本稿では,合成データと実データとのトレードオフを定量化する学習理論フレームワークを提案する。 提案手法はアルゴリズムの安定性を利用して一般化誤差境界を導出し,実数分布と合成分布とのワッサーシュタイン距離の関数として期待されるテスト誤差を最小化する最適合成-実データ比を特徴付ける。 我々は、カーネルリッジ回帰と混合データの設定において、我々のフレームワークを動機付け、独立した関心を持つ可能性のある詳細な分析を提供する。 我々の理論は最適比の存在を予測し、合成データの比率に関してテスト誤差のU字型挙動をもたらす。 CIFAR-10と臨床脳MRIデータセットを用いて,この予測を実証的に検証した。 提案理論は, 領域適応の重要なシナリオに拡張され, 限られたソースデータと合成対象データを慎重にブレンドすることで, 領域シフトを緩和し, 一般化を促進できることを示す。 ドメイン内シナリオとドメイン外シナリオの両方に結果を適用するための実践的なガイダンスで締めくくります。

関連論文リスト

• High-dimensional Analysis of Synthetic Data Selection [44.67519806837088]
  線形モデルでは,対象分布と合成データの分布の共分散が一般化誤差に影響を与えることを示す。 興味深いことに、線形モデルからの理論的な洞察は、ディープニューラルネットワークと生成モデルに受け継がれる。
  論文  参考訳（メタデータ） (2025-10-09T12:06:31Z)
• Valid Inference with Imperfect Synthetic Data [39.10587411316875]
  モーメントの一般化法に基づく新しい推定器を提案する。 合成データのモーメント残差と実データのモーメント間の相互作用は、対象パラメータの推定を大幅に改善できることがわかった。
  論文  参考訳（メタデータ） (2025-08-08T18:32:52Z)
• Conditional Data Synthesis Augmentation [4.3108820946281945]
  Conditional Data Synthesis Augmentation (CoDSA)は、マルチモーダルドメイン間のモデルパフォーマンスを改善するために高忠実度データを合成する新しいフレームワークである。 合成データの現実性を高め,スパース領域の試料密度を高めるために,CoDSAファインチューン事前学習生成モデルを構築した。 本稿では,合成サンプル量と対象領域割り当ての関数として,CoDSAが実現した統計的精度向上を定量化する理論的枠組みを提案する。
  論文  参考訳（メタデータ） (2025-04-10T03:38:11Z)
• A Theoretical Perspective: How to Prevent Model Collapse in Self-consuming Training Loops [55.07063067759609]
  高品質なデータは大規模な生成モデルのトレーニングには不可欠だが、オンラインで利用可能な実際のデータの膨大な蓄積はほとんど枯渇している。 モデルは、さらなるトレーニングのために独自のデータを生成し、自己消費訓練ループ(STL)を形成する。 一部のモデルは劣化または崩壊するが、他のモデルはこれらの失敗をうまく回避し、理論的な理解にかなりのギャップを残している。
  論文  参考訳（メタデータ） (2025-02-26T06:18:13Z)
• Unveiling the Flaws: Exploring Imperfections in Synthetic Data and Mitigation Strategies for Large Language Models [89.88010750772413]
  大規模言語モデル(LLM)の学習における高品質なデータ不足問題に対する解決法として,合成データを提案する。 我々の研究は、Q-A(Q-A)ペア、一般的な合成データに関連するこれらの特定の欠陥を掘り下げ、これらの欠陥を軽減するための未学習技術に基づく方法を提案する。 我々の研究は、より堅牢で効率的なLLMトレーニングを促進することを目的として、合成データの効果的な利用に関する重要な洞察を得た。
  論文  参考訳（メタデータ） (2024-06-18T08:38:59Z)
• The Real Deal Behind the Artificial Appeal: Inferential Utility of Tabular Synthetic Data [40.165159490379146]
  評価値が不偏であっても, 偽陽性の発見率(タイプ1の誤り)は不可避的に高いことが示唆された。 以前提案された補正係数が使用されているにもかかわらず、この問題は深層生成モデルに対して持続する。
  論文  参考訳（メタデータ） (2023-12-13T02:04:41Z)
• Boosting Data Analytics With Synthetic Volume Expansion [3.568650932986342]
  本稿では,合成データに対する統計的手法の有効性と,合成データのプライバシーリスクについて考察する。 この枠組みにおける重要な発見は、合成データに対する統計的手法の誤差率は、より多くの合成データを追加することで減少するが、最終的には上昇または安定化する可能性があることを明らかにする世代効果である。
  論文  参考訳（メタデータ） (2023-10-27T01:57:27Z)
• Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
  生成過程が下流MLタスクにどのように影響するかを示す。 本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
  論文  参考訳（メタデータ） (2023-05-16T07:30:29Z)
• CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
  本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。 このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。 提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
  論文  参考訳（メタデータ） (2022-03-03T05:58:49Z)
• Simple Imputation Rules for Prediction with Missing Data: Contrasting Theoretical Guarantees with Empirical Performance [7.642646077340124]
  実際のデータセットでは、データの欠落が一般的な問題である。 本稿では, 理論的, 実証的証拠を対比して, 即効性パイプラインの性能について検討する。
  論文  参考訳（メタデータ） (2021-04-07T14:45:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。