論文の概要: Epidemiology of Model Collapse: Modeling Synthetic Data Contamination via Bilayer SIR Dynamics

• arxiv url: http://arxiv.org/abs/2606.05168v1
• Date: Tue, 14 Apr 2026 06:49:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 07:09:36.615988
• Title: Epidemiology of Model Collapse: Modeling Synthetic Data Contamination via Bilayer SIR Dynamics
• Title（参考訳）: モデル崩壊の疫学:二層SIRダイナミクスによる合成データ汚染のモデル化
• Authors: Xiangyu Wang,
• Abstract要約: 合成データのトレーニングはモデル崩壊を引き起こすが、既存の分析ではこれを単一鎖分解として扱う。 本稿では,データコーパスとAIモデルを相互作用する2つの集団として扱う2層結合SIR/SIRSフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 1.7832408661523071
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training on synthetic data causes model collapse, but existing analyses treat this as single-chain degradation. In reality, the AI ecosystem involves cross-contamination: models ingest synthetic data from other models, produce new synthetic text, and contaminate shared corpora. We propose a bilayer coupled SIR/SIRS framework -- a phenomenological mean-field model treating data corpora and AI models as two interacting populations, each with susceptible, infected, and recovered compartments linked by cross-layer transmission. The SIRS variant (our primary recommendation) incorporates immunity waning, reflecting that filtered corpora and retrained models remain susceptible to re-contamination. We derive the basic reproduction number $R_0 = \sqrt{β_D β_M / [(γ_D+μ_D)(γ_M+μ_M)]}$ via the Next Generation Matrix and apply standard epidemic threshold results to the bilayer system. Illustrative scenario-based calibration from public AI text prevalence data yields supercritical dynamics ($R_0 > 1$) across three scenarios; Sobol sensitivity analysis identifies synthetic-text detection as the highest-leverage parameter. A bipartite-network agent-based model confirms mean-field consistency ($R^2 > 0.96$) for dense networks but degrades under heterogeneity. GPT-2 contamination chain experiments (192 runs across WikiText and Shakespeare) show dose-response degradation and diversity loss qualitatively consistent with the threshold picture. Matched-budget source-diversity experiments (1,088 runs) provide suggestive evidence that multi-source mixing modestly attenuates collapse, but the effect vanishes at lower contamination fractions. Intervention analysis identifies detection-based filtering and herd immunity as the highest-leverage strategies.
• Abstract（参考訳）: 合成データのトレーニングはモデル崩壊を引き起こすが、既存の分析ではこれを単一鎖分解として扱う。 モデルは他のモデルから合成データを取り込み、新しい合成テキストを生成し、共有コーパスを汚染する。 データコーパスとAIモデルを相互作用する2つの集団として扱う2層結合SIR/SIRSフレームワークを提案する。 SIRSの変種(私たちの主要な勧告)は免疫抑制を取り入れており、フィルターされたコーパスと再訓練されたモデルが再汚染の影響を受けやすいことを反映している。 R_0 = \sqrt{β_D β_M / [(γ_D+μ_D)(γ_M+μ_M)]}$をNext Generation Matrix経由で導き、二層構造に標準流行閾値を適用した。 公開AIテキストの精度データからの図解的なシナリオベースのキャリブレーションは、3つのシナリオにわたって超臨界ダイナミクス(R_0 > 1$)をもたらす。 バイパルタイト・ネットワーク・エージェント・ベース・モデルにより、高密度ネットワークに対する平均場整合性(R^2 > 0.96$)が確認されるが、不均一性の下では劣化する。 GPT-2汚染連鎖実験(192回はWikiTextとシェイクスピアで行われている)では、線量応答劣化と多様性損失がしきい値画像と定性的に一致していることが示されている。 マッチング・予算源多様性実験(1,088ラン)は、マルチソース混合が崩壊を緩やかに抑制するが、その効果は低い汚染率で消滅するという示唆的な証拠を提供する。 インターベンション分析は、検出に基づくフィルタリングと群れ免疫を最上位の戦略として同定する。

関連論文リスト

• Few-Shot Synthetic Data Generation with Diffusion Models for Downstream Vision Tasks [36.94429692322632]
  クラス不均衡は視覚認識において永続的な課題である。 稀なクラスの20～50個の実画像にLoRAアダプタを微調整する,軽量な合成データ拡張パイプラインを提案する。
  論文  参考訳（メタデータ） (2026-05-12T10:11:57Z)
• SynSur: An end-to-end generative pipeline for synthetic industrial surface defect generation and detection [4.219862887901752]
  合成欠陥生成とアノテーションのためのエンドツーエンドパイプラインを提案する。 パイプラインの重要なステージを解析し、プロンプト構築、LoRA選択、サンプルフィルタリングを行う。 本報告では,拡散型産業欠陥合成のエンドツーエンド評価について述べる。
  論文  参考訳（メタデータ） (2026-04-29T12:57:32Z)
• SNPgen: Phenotype-Supervised Genotype Representation and Synthetic Data Generation via Latent Diffusion [6.660968772645983]
  SNPgenは、表現型制御された合成遺伝子型を生成するための条件付き潜伏拡散フレームワークである。 英国バイオバンクの個人を4つの複雑な疾患に分けて評価した。
  論文  参考訳（メタデータ） (2026-03-11T15:23:37Z)
• Towards Syn-to-Real IQA: A Novel Perspective on Reshaping Synthetic Data Distributions [74.00222571094437]
  Blind Image Quality Assessment (BIQA)はディープラーニングを通じて大幅に進歩しているが、大規模なラベル付きデータセットの不足は依然として課題である。 合成データセットから学習した表現は、しばしば回帰性能を妨げる離散的かつクラスタ化されたパターンを示す。 本稿では,BIQAの一般化を促進するために,合成データ分布を再考する新しいフレームワークであるSynDR-IQAを紹介する。
  論文  参考訳（メタデータ） (2026-01-01T06:11:16Z)
• BURN: Backdoor Unlearning via Adversarial Boundary Analysis [73.14147934175604]
  Backdoor Unlearningは、モデル本来の機能を保持しながら、バックドア関連の情報を削除することを目的としている。 本稿では, 偽相関疎結合, プログレッシブデータリファインメント, モデル浄化を統合した新しい防御フレームワーク, BURNによるバックドア・アンラーニングを提案する。
  論文  参考訳（メタデータ） (2025-07-14T17:13:06Z)
• Unlasting: Unpaired Single-Cell Multi-Perturbation Estimation by Dual Conditional Diffusion Implicit Bridges [68.98973318553983]
  本稿では,Dual Diffusion Implicit Bridges (DDIB) に基づくフレームワークを提案する。 我々は、生物学的に意味のある方法で摂動シグナルを伝達するために遺伝子制御ネットワーク(GRN)情報を統合する。 また、サイレント遺伝子を予測し、生成したプロファイルの品質を向上させるためのマスキング機構も組み込んだ。
  論文  参考訳（メタデータ） (2025-06-26T09:05:38Z)
• Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
  本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。 我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。 その結果,我々のモデルは最先端の性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2020-10-12T03:27:07Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。