Fugu-MT 論文翻訳(概要): Model Collapse Demystified: The Case of Regression

論文の概要: Model Collapse Demystified: The Case of Regression

arxiv url: http://arxiv.org/abs/2402.07712v2
Date: Tue, 30 Apr 2024 18:03:13 GMT
ステータス: 処理完了
システム内更新日: 2024-05-02 18:05:17.592835
Title: Model Collapse Demystified: The Case of Regression
Title（参考訳）: Model Collapse Demystified: the case of Regression
Authors: Elvis Dohmatob, Yunzhen Feng, Julia Kempe,
Abstract要約: 大規模言語や画像生成モデルの普及期における「モデル崩壊」現象について検討する。我々は、この現象を幅広い状況で定量的に概説する分析式を得る。モデル崩壊を緩和する適応正則化に基づく簡単な戦略を提案する。
参考スコア（独自算出の注目度）: 12.115359951879462
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In the era of proliferation of large language and image generation models, the phenomenon of "model collapse" refers to the situation whereby as a model is trained recursively on data generated from previous generations of itself over time, its performance degrades until the model eventually becomes completely useless, i.e the model collapses. In this work, we study this phenomenon in the setting of high-dimensional regression and obtain analytic formulae which quantitatively outline this phenomenon in a broad range of regimes. In the special case of polynomial decaying spectral and source conditions, we obtain modified scaling laws which exhibit new crossover phenomena from fast to slow rates. We also propose a simple strategy based on adaptive regularization to mitigate model collapse. Our theoretical results are validated with experiments.
Abstract（参考訳）: 大規模言語や画像生成モデルの普及の時代において、「モデル崩壊」という現象は、モデルが過去の世代から生成されたデータに基づいて再帰的に訓練されることで、モデルが最終的に完全に役に立たないようになるまでその性能が低下する状況である。本研究では,この現象を高次元回帰の設定において研究し,この現象を幅広い状況下で定量的に概説する解析式を得る。多項式減衰スペクトルとソース条件の特別な場合、高速から低速のクロスオーバー現象を示す改良されたスケーリング法則を得る。また、モデル崩壊を緩和する適応正則化に基づく簡単な戦略を提案する。我々の理論的結果は実験によって検証される。

関連論文リスト

Strong Model Collapse [16.071600606637908]
本稿では,モデル崩壊現象の強い形態が存在することを示す。以上の結果から,最小の合成データであっても,モデル崩壊につながる可能性が示唆された。大規模言語モデルの学習における現在の傾向に沿ったアプローチであるモデルサイズの増加が,モデル崩壊を悪化させるか緩和させるかを検討する。
論文参考訳（メタデータ） (2024-10-07T08:54:23Z)
Model Collapse in the Self-Consuming Chain of Diffusion Finetuning: A Novel Perspective from Quantitative Trait Modeling [10.159932782892865]
生成モデルは、出力が実際のデータと区別できないユニークなしきい値に達した。トレーニングと生成の繰り返しループが発生すると、パフォーマンスの深刻な劣化が観察されている。本稿では,遺伝子変異に触発された簡便かつ効果的な方法として,再利用可能な拡散微細構造(ReDiFine)を提案する。
論文参考訳（メタデータ） (2024-07-04T13:41:54Z)
Scaling and renormalization in high-dimensional regression [72.59731158970894]
本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
論文参考訳（メタデータ） (2024-05-01T15:59:00Z)
Heat Death of Generative Models in Closed-Loop Learning [63.83608300361159]
本研究では、独自の学習データセットに加えて、生成したコンテンツをフィードバックする生成モデルの学習ダイナミクスについて検討する。各イテレーションで十分な量の外部データが導入されない限り、非自明な温度がモデルを退化させることを示す。
論文参考訳（メタデータ） (2024-04-02T21:51:39Z)
Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data [49.73114504515852]
各世代の合成データによって元の実データを置き換えることは、モデル崩壊の傾向にあることを示す。生成した実データと連続する合成データの蓄積は,モデル崩壊を回避することを実証する。
論文参考訳（メタデータ） (2024-04-01T18:31:24Z)
Analysis of Interpolating Regression Models and the Double Descent Phenomenon [3.883460584034765]
ノイズの多いトレーニングデータを補間するモデルは、一般化に乏しいと一般的に推測されている。得られた最良のモデルは過度にパラメータ化され、テストエラーはモデル順序が増加するにつれて二重降下挙動を示す。回帰行列の最小特異値の振舞いに基づいて、テスト誤差のピーク位置と二重降下形状をモデル順序の関数として説明する。
論文参考訳（メタデータ） (2023-04-17T09:44:33Z)
On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
論文参考訳（メタデータ） (2022-06-09T17:12:32Z)
Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文参考訳（メタデータ） (2021-06-25T22:08:51Z)
Robustness of Model Predictions under Extension [3.766702945560518]
分析にモデルを使うのに注意すべき点は、予測因果効果と条件独立性はモデル拡張の下では堅牢でないことである。定性モデル予測のロバスト性を効率的に評価するために,因果順序付け手法の使い方を示す。平衡の力学系では、新しい洞察が適切なモデル拡張を選択するのにどのように役立つかを示す。
論文参考訳（メタデータ） (2020-12-08T20:21:03Z)
Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
論文参考訳（メタデータ） (2020-10-25T18:51:15Z)
Dimension Independent Generalization Error by Stochastic Gradient Descent [12.474236773219067]
本稿では, 局所凸損失関数に対する降下(SGD)解の一般化誤差に関する理論を提案する。一般化誤差は$p$次元に依存したり、低効用$p$対数因子に依存しないことを示す。
論文参考訳（メタデータ） (2020-03-25T03:08:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。