論文の概要: A Generalized Theory of Mixup for Structure-Preserving Synthetic Data

• arxiv url: http://arxiv.org/abs/2503.02645v1
• Date: Mon, 03 Mar 2025 14:28:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 18:50:39.594857
• Title: A Generalized Theory of Mixup for Structure-Preserving Synthetic Data
• Title（参考訳）: 構造保存型合成データの混合に関する一般化理論
• Authors: Chungpa Lee, Jongho Im, Joseph H. T. Kim,
• Abstract要約: 混合は分散などの重要な統計特性を歪め、データ合成において意図しない結果をもたらす可能性があることを示す。 一般化されたフレキシブルな重み付け方式を取り入れた新しい混合手法を提案し,元のデータ構造をよりよく保存する。 数値実験により、新しい手法は元のデータの統計特性を保存できるだけでなく、繰り返し合成するモデル性能も維持できることを確認した。
• 参考スコア（独自算出の注目度）: 2.184775414778289
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Mixup is a widely adopted data augmentation technique known for enhancing the generalization of machine learning models by interpolating between data points. Despite its success and popularity, limited attention has been given to understanding the statistical properties of the synthetic data it generates. In this paper, we delve into the theoretical underpinnings of mixup, specifically its effects on the statistical structure of synthesized data. We demonstrate that while mixup improves model performance, it can distort key statistical properties such as variance, potentially leading to unintended consequences in data synthesis. To address this, we propose a novel mixup method that incorporates a generalized and flexible weighting scheme, better preserving the original data's structure. Through theoretical developments, we provide conditions under which our proposed method maintains the (co)variance and distributional properties of the original dataset. Numerical experiments confirm that the new approach not only preserves the statistical characteristics of the original data but also sustains model performance across repeated synthesis, alleviating concerns of model collapse identified in previous research.
• Abstract（参考訳）: Mixupは、データポイント間の補間によって機械学習モデルの一般化を強化することで知られている、広く採用されているデータ拡張技術である。 その成功と人気にもかかわらず、それらが生成する合成データの統計的性質を理解することには、限られた注意が向けられている。 本稿では,ミキサップの理論的基盤,特に合成データの統計的構造に対する影響について検討する。 ミックスアップはモデル性能を向上させるが、分散などの重要な統計特性を歪め、データ合成において意図しない結果をもたらす可能性があることを実証する。 そこで本研究では,一般化およびフレキシブルな重み付け方式を取り入れた新しい混合手法を提案し,元のデータ構造をよりよく保存する。 理論的発展を通じて,提案手法が元のデータセットの(共)分散と分布特性を維持する条件を提供する。 数値実験により,本手法は原データの統計的特性を保存できるだけでなく,繰り返し合成によるモデル性能も維持し,過去の研究で確認されたモデル崩壊の懸念を緩和することを確認した。

関連論文リスト

• Conditional Data Synthesis Augmentation [4.3108820946281945]
  Conditional Data Synthesis Augmentation (CoDSA)は、マルチモーダルドメイン間のモデルパフォーマンスを改善するために高忠実度データを合成する新しいフレームワークである。 合成データの現実性を高め,スパース領域の試料密度を高めるために,CoDSAファインチューン事前学習生成モデルを構築した。 本稿では,合成サンプル量と対象領域割り当ての関数として,CoDSAが実現した統計的精度向上を定量化する理論的枠組みを提案する。
  論文  参考訳（メタデータ） (2025-04-10T03:38:11Z)
• Scaling Laws of Synthetic Data for Language Models [132.67350443447611]
  プレトレーニングコーパスを多種多様な高品質な合成データセットに変換するスケーラブルなフレームワークであるSynthLLMを紹介した。 提案手法は,グラフアルゴリズムを用いて複数の文書にまたがるハイレベルな概念を自動的に抽出し,再結合することで実現している。
  論文  参考訳（メタデータ） (2025-03-25T11:07:12Z)
• A Theoretical Perspective: How to Prevent Model Collapse in Self-consuming Training Loops [55.07063067759609]
  高品質なデータは大規模な生成モデルのトレーニングには不可欠だが、オンラインで利用可能な実際のデータの膨大な蓄積はほとんど枯渇している。 モデルは、さらなるトレーニングのために独自のデータを生成し、自己消費訓練ループ(STL)を形成する。 一部のモデルは劣化または崩壊するが、他のモデルはこれらの失敗をうまく回避し、理論的な理解にかなりのギャップを残している。
  論文  参考訳（メタデータ） (2025-02-26T06:18:13Z)
• Golden Ratio Mixing of Real and Synthetic Data for Stabilizing Generative Model Training [9.087950471621653]
  近年の研究では、モデル崩壊として知られる生成モデルトレーニングにおいて、以前のモデルによって生成されたデータに基づいてトレーニングされたモデルが深刻な性能劣化を示す現象が特定されている。 本稿では, この現象を, 新たに収集した実データと前回の学習段階からの合成データの組み合わせに基づいて, 生成モデルを反復的に訓練する, 新たな枠組み内で理論的に検討する。
  論文  参考訳（メタデータ） (2025-02-25T10:15:16Z)
• Distribution-Aware Data Expansion with Diffusion Models [55.979857976023695]
  本研究では,分散型拡散モデルに基づくトレーニングフリーなデータ拡張フレームワークであるDistDiffを提案する。 DistDiffは、オリジナルデータのみにトレーニングされたモデルと比較して、さまざまなデータセットの精度を一貫して向上させる。
  論文  参考訳（メタデータ） (2024-03-11T14:07:53Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• Fake It Till Make It: Federated Learning with Consensus-Oriented Generation [52.82176415223988]
  コンセンサス指向生成による連合学習(FedCOG)を提案する。 FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。 古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2023-12-10T18:49:59Z)
• Boosting Data Analytics With Synthetic Volume Expansion [3.568650932986342]
  本稿では,合成データに対する統計的手法の有効性と,合成データのプライバシーリスクについて考察する。 この枠組みにおける重要な発見は、合成データに対する統計的手法の誤差率は、より多くの合成データを追加することで減少するが、最終的には上昇または安定化する可能性があることを明らかにする世代効果である。
  論文  参考訳（メタデータ） (2023-10-27T01:57:27Z)
• Perturbation-Assisted Sample Synthesis: A Novel Approach for Uncertainty Quantification [3.175239447683357]
  本稿では、摂動支援サンプル合成(PASS)法により生成された合成データを利用した新しい摂動支援推論(PAI)フレームワークを提案する。 このフレームワークは、複雑なデータシナリオ、特に非構造化データの不確実性定量化に焦点を当てている。 我々は、画像合成、感情語分析、マルチモーダル推論、予測区間の構築など、様々な分野に適用することで、複雑なデータ駆動タスクにおける不確実性定量化を推し進める上で、PAIの有効性を実証する。
  論文  参考訳（メタデータ） (2023-05-30T01:01:36Z)
• Utility Theory of Synthetic Data Generation [12.511220449652384]
  本稿では,統計的学習フレームワークにおける実用理論の確立により,実践と理論のギャップを埋める。 合成データに基づいてトレーニングされたモデルの一般化とランキングの2つのユーティリティメトリクスを考慮に入れている。
  論文  参考訳（メタデータ） (2023-05-17T07:49:16Z)
• CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
  本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。 このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。 提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
  論文  参考訳（メタデータ） (2022-03-03T05:58:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。