論文の概要: When Sample Selection Bias Precipitates Model Collapse

• arxiv url: http://arxiv.org/abs/2606.13732v1
• Date: Thu, 11 Jun 2026 11:49:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 16:00:42.528799
• Title: When Sample Selection Bias Precipitates Model Collapse
• Title（参考訳）: サンプル選択バイアスによるモデル崩壊の予測
• Authors: Xinbao Qiao, Xianglong Du, Wei Liu, Jingqi Zhang, Peihua Mai, Meng Zhang, Yan Pang,
• Abstract要約: 各検証器が対象多様体の小さな、断片化され、偏りのあるスライスのみを観測する低リソース検証方式において、選択自体がバイアスとなることを示す。 このようなサイロ選択が崩壊を加速し、パワー・ローの多様性の崩壊を引き起こすことを理論的に証明する。
• 参考スコア（独自算出の注目度）: 18.23682629353108
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The proliferation of recursive training on synthetic data can alleviate data scarcity but risks model collapse, where repeated training erodes distributional tails and homogenizes outputs. Data selection is widely viewed as a remedy, yet its reliability depends critically on the reference distribution used by the verifier. We show that in low-resource verification regimes, where each verifier observes only a small, fragmented, and biased slice of the target manifold, selection itself becomes biased. This situation naturally arises in low-resource data silos such as healthcare consortia or proprietary financial institutions, where raw data cannot be pooled and local references are inherently incomplete. As a result, selection preferentially retains samples aligned with the local manifold while pruning globally relevant tail modes, turning from a safeguard against collapse into a mechanism that precipitates it. We theoretically prove that such siloed selection accelerates collapse and induces power-law diversity decay. As an initial mitigation, we construct Wasserstein proxy references from multiple silos without sharing raw data. Empirical results confirm that local-reference selection fails on skewed distributions, whereas collaborative proxy references mitigate diversity degradation, suggesting that recursive synthetic-data pipelines require particular caution when real-data coverage is fragmented or scarce.
• Abstract（参考訳）: 合成データに対する再帰的トレーニングの拡散は、データの不足を軽減するが、繰り返しトレーニングが分散尾部を侵食し、出力を均質化するリスクモデル崩壊を生じさせる。 データの選択は治療として広く見なされているが、信頼性は検証者が使用する参照分布に大きく依存する。 各検証器が対象多様体の小さな、断片化され、偏りのあるスライスのみを観測する低リソース検証方式において、選択自体がバイアスとなることを示す。 この状況は、医療コンソーシアムや独自金融機関のような低リソースのデータサイロにおいて自然に発生し、生データをプールできず、ローカル参照が本質的に不完全である。 その結果、選択は局所多様体に整列したサンプルを優先的に保持し、グローバルに関連するテールモードをプルーニングし、崩壊に対する保護から、それを沈降させるメカニズムへと転換する。 このようなサイロ選択が崩壊を加速し、パワー・ローの多様性の崩壊を引き起こすことを理論的に証明する。 初期緩和として、生データを共有せずに複数のサイロからWassersteinプロキシ参照を構築する。 実験の結果、局所参照選択が歪んだ分布で失敗するのに対して、協調的プロキシ参照は多様性の低下を軽減し、実際のデータカバレッジが断片化または不足している場合には、再帰的な合成データパイプラインに特に注意が必要であることが示唆された。

関連論文リスト

• CANN-EUCLID: unsupervised constitutive artificial neural network model discovery from full-field data [0.0]
  構成的人工ニューラルネットワーク(CANN)は、解釈可能な物質モデル発見を提供する。 CANNは、これまで、均質なテストから明らかなストレス-ストレインデータに基づいて、ストレス誘発設定に使われてきた。 ここでは, 応力非教師付きフルフィールド発見フレームワークであるEUCLIDとCANNを組み合わせて, スパース超弾性法則を同定する。
  論文  参考訳（メタデータ） (2026-06-12T15:44:06Z)
• Curated Synthetic Data Doesn't Have to Collapse: A Theoretical Study of Generative Retraining with Pluralistic Preferences [13.835275211048113]
  生成モデルの再帰的再訓練は、重要な表現問題を引き起こす。 複数の報酬関数に基づいたキュレーションにより崩壊を緩和できることを示す。
  論文  参考訳（メタデータ） (2026-05-08T13:27:23Z)
• Recover Experimental Data with Selection Bias using Counterfactual Logic [12.014061086940817]
  我々は、観測界における選択機構が反現実領域にどのように伝播するかを分析する。 偏りのない観測データを利用して、偏りのある実験データセットから$P(Y*_x*)$を回収する原理的手法を提案する。
  論文  参考訳（メタデータ） (2025-05-31T01:23:39Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Correcting Underrepresentation and Intersectional Bias for Classification [49.1574468325115]
  我々は、表現不足のバイアスによって破損したデータから学習する問題を考察する。 偏りのないデータの少ない場合、グループワイドのドロップアウト率を効率的に推定できることが示される。 本アルゴリズムは,有限VC次元のモデルクラスに対して,効率的な学習を可能にする。
  論文  参考訳（メタデータ） (2023-06-19T18:25:44Z)
• The Decaying Missing-at-Random Framework: Model Doubly Robust Causal Inference with Partially Labeled Data [8.916614661563893]
  因果推論を両立させるために,MARフレームワークの欠落と関連するアプローチを導入する。 これはラベル付け機構における選択バイアスとラベル付きグループとラベルなしグループの極端な不均衡に同時に対処する。 因果関係の堅牢性を確保するため,平均治療効果に対するバイアス低減SS推定器を提案する。
  論文  参考訳（メタデータ） (2023-05-22T07:37:12Z)
• Breaking the Spurious Causality of Conditional Generation via Fairness Intervention with Corrective Sampling [77.15766509677348]
  条件生成モデルは、トレーニングデータセットから急激な相関を継承することが多い。 これは別の潜在属性に対して不均衡なラベル条件分布をもたらす。 この問題を緩和するための一般的な2段階戦略を提案する。
  論文  参考訳（メタデータ） (2022-12-05T08:09:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。