論文の概要: Position: the Stochastic Parrot in the Coal Mine. Model Collapse is a Threat to Low-Resource Communities

• arxiv url: http://arxiv.org/abs/2605.04127v1
• Date: Tue, 05 May 2026 15:42:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-07 18:41:07.453829
• Title: Position: the Stochastic Parrot in the Coal Mine. Model Collapse is a Threat to Low-Resource Communities
• Title（参考訳）: 石炭鉱山における確率的パロット : モデル崩壊は低資源コミュニティへの脅威である
• Authors: Devon Jarvis, Richard Klein, Benjamin Rosman, Steven James, Stefano Sarao Mannelli,
• Abstract要約: 私たちは、モデル崩壊がAIを民主化する現在の努力を脅かすと主張している。 トレーニングの効率を低下させ、データの分散を彼らのサポートから切り離すことで、モデル崩壊は低リソースと疎結合のコミュニティに不釣り合いに影響を及ぼす。
• 参考スコア（独自算出の注目度）: 24.39423195179737
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model collapse, the degradation in performance that arises when generative models are trained on the outputs of prior models, is an increasing concern as artificially generated content proliferates. Related critiques of large language models have highlighted their tendency to reproduce frequent patterns in training data, their reliance on vast datasets, and their substantial environmental cost. Together, these factors contribute to data degradation, the reinforcement of cultural biases, and inefficient resource use. In this position paper we aim to combine these views and argue that model collapse threatens current efforts to democratize AI. By reducing training efficiency and skewing data distributions away from the tails of their support, model collapse disproportionately impacts low-resource and marginalized communities. We examine both the environmental and cultural implications of this phenomenon, situate our position within recent position papers on model collapse, and conclude with a call to action. Finally, we outline initial directions for mitigating these effects.
• Abstract（参考訳）: モデル崩壊は、生成モデルが事前モデルの出力で訓練されたときに生じる性能の劣化であり、人工的に生成されたコンテンツが増殖するにつれて懸念が高まる。 大規模言語モデルの関連する批判は、トレーニングデータにおける頻繁なパターンを再現する傾向、大規模なデータセットへの依存、環境コストの大幅な向上を強調している。 これらの要因は共に、データの劣化、文化バイアスの強化、非効率な資源利用に寄与する。 このポジションペーパーでは、これらの見解を組み合わせて、モデル崩壊がAIを民主化する現在の努力を脅かすと主張している。 トレーニングの効率を低下させ、サポートの尾部からデータ分散を引き離すことで、モデル崩壊は低リソースと限界化されたコミュニティに不均等に影響を及ぼす。 本研究は, この現象の環境・文化的意味を考察し, モデル崩壊に関する最近の立場論文における位置を定め, 行動を呼び掛けて結論付ける。 最後に、これらの効果を緩和するための最初の方向性について概説する。

関連論文リスト

• A Closer Look at Model Collapse: From a Generalization-to-Memorization Perspective [31.227375452793634]
  拡散モデルによってAI生成データが多くなり、モデル崩壊に対する懸念が高まっている。 本稿では,拡散モデルにおけるモデル崩壊時の一般化から記憶への移行について述べる。 この知見により,一般化から記憶への移行を緩和するエントロピーに基づくデータ選択戦略を提案する。
  論文  参考訳（メタデータ） (2025-09-20T02:09:14Z)
• Boosting Alignment for Post-Unlearning Text-to-Image Generative Models [55.82190434534429]
  大規模な生成モデルは、大量のデータによって推進される印象的な画像生成能力を示している。 これはしばしば必然的に有害なコンテンツや不適切なコンテンツを生み出し、著作権の懸念を引き起こす。 学習しない反復ごとに最適なモデル更新を求めるフレームワークを提案し、両方の目的に対して単調な改善を確実にする。
  論文  参考訳（メタデータ） (2024-12-09T21:36:10Z)
• SPARTAN: A Sparse Transformer Learning Local Causation [63.29645501232935]
  因果構造は、環境の変化に柔軟に適応する世界モデルにおいて中心的な役割を果たす。 本研究では,SPARse TrANsformer World Model(SPARTAN)を提案する。 オブジェクト指向トークン間の注意パターンに空間規則を適用することで、SPARTANは、将来のオブジェクト状態を正確に予測するスパース局所因果モデルを特定する。
  論文  参考訳（メタデータ） (2024-11-11T11:42:48Z)
• Learning by Surprise: Surplexity for Mitigating Model Collapse in Generative AI [1.6545633988217645]
  合成コンテンツがWebに浸透するにつれて、生成的AIモデルは自身の出力で再訓練される可能性がある。 これによってモデルが崩壊し、世代間でパフォーマンスと多様性が徐々に失われます。 本稿では,モデルの次点確率分布から直接崩壊を特徴付ける新しい尺度を提案する。
  論文  参考訳（メタデータ） (2024-10-16T08:02:48Z)
• On the Stability of Iterative Retraining of Generative Models on their own Data [56.153542044045224]
  混合データセットに対する生成モデルの訓練が与える影響について検討する。 まず、初期生成モデルがデータ分布を十分に近似する条件下で反復学習の安定性を実証する。 我々は、正規化フローと最先端拡散モデルを繰り返し訓練することにより、合成画像と自然画像の両方に関する我々の理論を実証的に検証する。
  論文  参考訳（メタデータ） (2023-09-30T16:41:04Z)
• Graceful Degradation and Related Fields [0.0]
  優雅な劣化は、アウト・オブ・ディストリビューションデータに遭遇するモデルパフォーマンスの最適化を指す。 この研究は、優雅な劣化の定義と議論であり、どのようにデプロイされた視覚システムに適用できるかを示す。
  論文  参考訳（メタデータ） (2021-06-21T13:56:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。