Fugu-MT 論文翻訳(概要): A theoretical basis for model collapse in recursive training

論文の概要: A theoretical basis for model collapse in recursive training

arxiv url: http://arxiv.org/abs/2506.09401v1
Date: Wed, 11 Jun 2025 05:15:08 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-13 06:35:02.497597
Title: A theoretical basis for model collapse in recursive training
Title（参考訳）: 再帰学習におけるモデル崩壊の理論的基礎
Authors: Vivek Shripad Borkar,
Abstract要約: 生成モデルからのトレーニングは、シミュレーションされた確率分布のいわゆる「崩壊」につながることが知られている。このノートは、外部ソース、どのようにマイナーであれ、サンプルにも貢献するかどうかによって、実際には2つの異なる振る舞いが得られていることを示している。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: It is known that recursive training from generative models can lead to the so called `collapse' of the simulated probability distribution. This note shows that one in fact gets two different asymptotic behaviours depending on whether an external source, howsoever minor, is also contributing samples.
Abstract（参考訳）: 生成モデルからの帰納的トレーニングは、シミュレーションされた確率分布のいわゆる「崩壊」につながることが知られている。このノートは、外部ソース、どのようにマイナーであれ、サンプルにも寄与するかどうかによって、実際には2つの異なる漸近的振る舞いが得られていることを示している。

関連論文リスト

A Probabilistic Perspective on Model Collapse [9.087950471621653]
本研究の目的は,モデル崩壊の発生条件と,その緩和方法である。軽度条件下では,モデルの崩壊を防止するために,各トレーニングステップにおけるサンプルサイズを徐々に増加させる必要があることを厳格に示す。また, 合成データを用いた学習が, 実データのみを用いた学習よりも優れるモデルを生み出す可能性についても検討した。
論文参考訳（メタデータ） (2025-05-20T05:25:29Z)
Rate of Model Collapse in Recursive Training [13.722324504719282]
最適確率(MLか近距離ML)推定の下で、よく研究された分布族に対して、モデル崩壊がどれだけ早く起こるかを問う。驚くべきことに、離散分布やガウス分布のような基本的な分布であっても、モデル崩壊の正確な速度は不明である。その結果,単語を忘れる時間は,元のコーパスで発生した回数にほぼ線形に依存していることがわかった。
論文参考訳（メタデータ） (2024-12-23T15:21:50Z)
Bayesian Circular Regression with von Mises Quasi-Processes [57.88921637944379]
本研究では、円値ランダム関数上の表現的および解釈可能な分布の族を探索する。後部推論のために,高速ギブズサンプリングに寄与するストラトノビッチ様拡張法を導入する。本研究では,このモデルを用いて風向予測と走行歩行周期のパーセンテージを関節角度の関数として適用する実験を行った。
論文参考訳（メタデータ） (2024-06-19T01:57:21Z)
Logistic-beta processes for dependent random probabilities with beta marginals [58.91121576998588]
本稿では,ロジスティック・ベータプロセスと呼ばれる新しいプロセスを提案する。本稿では,提案したロジスティックベータプロセスを用いて,計算処理可能な非パラメトリックモデルの設計を行う方法について述べる。
論文参考訳（メタデータ） (2024-02-10T21:41:32Z)
Credal Learning Theory [4.64390130376307]
我々は,データ生成分布の変動をモデル化するために,凸集合の確率を用いて,不規則な学習理論の基礎を定めている。境界は有限仮説空間や古典的な結果を直接一般化する無限モデル空間の場合に導かれる。
論文参考訳（メタデータ） (2024-02-01T19:25:58Z)
A Mathematical Framework for Learning Probability Distributions [0.0]
生成的モデリングと密度推定は近年非常にポピュラーな話題になっています本論文は、すべての有名なモデルを単純な原理に基づいて導出できる数学的枠組みを提供する。特に,これらのモデルが訓練中に暗黙的な正規化を楽しむことを証明し,早期停止時の一般化誤差が次元性の呪いを避ける。
論文参考訳（メタデータ） (2022-12-22T04:41:45Z)
Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
まず確率分布をモデル化し,そのモデルからサンプリングする。これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
論文参考訳（メタデータ） (2021-10-20T12:25:22Z)
Estimation of Bivariate Structural Causal Models by Variational Gaussian Process Regression Under Likelihoods Parametrised by Normalising Flows [74.85071867225533]
因果機構は構造因果モデルによって記述できる。最先端の人工知能の大きな欠点の1つは、説明責任の欠如である。
論文参考訳（メタデータ） (2021-09-06T14:52:58Z)
Why do classifier accuracies show linear trends under distribution shift? [58.40438263312526]
あるデータ分布上のモデルの精度は、別の分布上の精度のほぼ線形関数である。 2つのモデルが予測で一致する確率は、精度レベルだけで推測できるものよりも高いと仮定します。分布シフトの大きさが大きければ, 2 つの分布のモデルを評価する場合, 線形傾向が生じなければならない。
論文参考訳（メタデータ） (2020-12-31T07:24:30Z)
Distributional Reinforcement Learning via Moment Matching [54.16108052278444]
ニューラルネットワークを用いて各戻り分布から統計量の有限集合を学習する手法を定式化する。我々の手法は、戻り分布とベルマン目標の間のモーメントの全ての順序を暗黙的に一致させるものとして解釈できる。 Atariゲームスイートの実験により,本手法は標準分布RLベースラインよりも優れていることが示された。
論文参考訳（メタデータ） (2020-07-24T05:18:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。