論文の概要: Preventing Model Collapse via Contraction-Conditioned Neural Filters

• arxiv url: http://arxiv.org/abs/2512.00757v1
• Date: Sun, 30 Nov 2025 06:48:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 19:46:34.402653
• Title: Preventing Model Collapse via Contraction-Conditioned Neural Filters
• Title（参考訳）: 縮退型ニューラルフィルタによるモデル崩壊防止
• Authors: Zongjian Han, Yiran Liang, Ruiwen Wang, Yiwei Luo, Yilin Huang, Xiaotong Song, Dongqing Wei,
• Abstract要約: 提案手法は,非バイアス推定フレームワークにおけるサンプルサイズ増加への依存を完全に排除する。 我々は、フィルタが収縮条件を積極的に学習できるように、特殊なニューラルネットワークアーキテクチャと損失関数を開発する。 実験の結果,ニューラルネットワークフィルタは収縮条件を効果的に学習し,一定のサンプルサイズ設定下でのモデル崩壊を防止することがわかった。
• 参考スコア（独自算出の注目度）: 0.7720091178131443
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a neural network filter method based on contraction operators to address model collapse in recursive training of generative models. Unlike \cite{xu2024probabilistic}, which requires superlinear sample growth ($O(t^{1+s})$), our approach completely eliminates the dependence on increasing sample sizes within an unbiased estimation framework by designing a neural filter that learns to satisfy contraction conditions. We develop specialized neural network architectures and loss functions that enable the filter to actively learn contraction conditions satisfying Assumption 2.3 in exponential family distributions, thereby ensuring practical application of our theoretical results. Theoretical analysis demonstrates that when the learned contraction conditions are satisfied, estimation errors converge probabilistically even with constant sample sizes, i.e., $\limsup_{t\to\infty}\mathbb{P}(\|\mathbf{e}_t\|>δ)=0$ for any $δ>0$. Experimental results show that our neural network filter effectively learns contraction conditions and prevents model collapse under fixed sample size settings, providing an end-to-end solution for practical applications.
• Abstract（参考訳）: 本稿では, 縮約演算子に基づくニューラルネットワークフィルタを用いて, 生成モデルの再帰学習におけるモデル崩壊に対処する手法を提案する。 超線形サンプル成長(O(t^{1+s})$)を必要とする \cite{xu2024probabilistic} とは異なり、本手法は、収縮条件を満たすニューラルネットワークを設計することにより、不偏推定フレームワーク内のサンプルサイズの増加への依存を完全に排除する。 本研究では,指数関数的家族分布における推定2.3を満たす収縮条件をフィルタが積極的に学習することのできる,特殊なニューラルネットワークアーキテクチャと損失関数を開発し,理論的結果の実用性を確保する。 理論解析は、学習された収縮条件が満たされると、推定誤差は一定のサンプルサイズであっても確率的に収束し、任意の$δ>0$に対して$\limsup_{t\to\infty}\mathbb{P}(\|\mathbf{e}_t\|>δ)=0$となることを示した。 実験の結果,ニューラルネットワークフィルタは収縮条件を効果的に学習し,一定のサンプルサイズ設定下でのモデル崩壊を防止し,実用用途のエンドツーエンドソリューションを提供することがわかった。

関連論文リスト

• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  リッジ回帰に関する最近の結果について統一的な視点を提示する。 我々は、物理とディープラーニングの背景を持つ読者を対象に、ランダム行列理論と自由確率の基本的なツールを使用する。 我々の結果は拡張され、初期のスケーリング法則のモデルについて統一的な視点を提供する。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• A Pseudo-Semantic Loss for Autoregressive Models with Logical Constraints [87.08677547257733]
  ニューロシンボリックAIは、純粋にシンボリックな学習とニューラルな学習のギャップを埋める。 本稿では,ニューラルネットワークの出力分布に対するシンボリック制約の可能性を最大化する方法を示す。 また,スドクと最短経路予測の手法を自己回帰世代として評価した。
  論文  参考訳（メタデータ） (2023-12-06T20:58:07Z)
• Distribution learning via neural differential equations: a nonparametric statistical perspective [1.4436965372953483]
  この研究は、確率変換によって訓練されたODEモデルによる分布学習のための最初の一般統計収束解析を確立する。 後者はクラス $mathcal F$ の$C1$-metric entropy で定量化できることを示す。 次に、この一般フレームワークを$Ck$-smoothターゲット密度の設定に適用し、関連する2つの速度場クラスに対する最小最適収束率を$mathcal F$:$Ck$関数とニューラルネットワークに設定する。
  論文  参考訳（メタデータ） (2023-09-03T00:21:37Z)
• Understanding Pathologies of Deep Heteroskedastic Regression [25.509884677111344]
  ヘテロスケダスティックモデルは各データポイントの平均ノイズと残留ノイズの両方を予測する。 極端に言えば、これらのモデルはすべてのトレーニングデータを完璧に適合させ、残音を完全に排除する。 他方では、一定で非形式的な平均を予測しながら残音を過度に補正する。 中間地盤の欠如を観察し, モデル正則化強度に依存する相転移を示唆した。
  論文  参考訳（メタデータ） (2023-06-29T06:31:27Z)
• Conditional Distribution Function Estimation Using Neural Networks for Censored and Uncensored Data [0.0]
  検閲されたデータと検閲されていないデータの両方に対してニューラルネットワークを用いて条件分布関数を推定することを検討する。 本研究では,提案手法が望ましい性能を有することを示す一方で,モデル仮定に違反した場合に偏りのある推定値が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-06T01:12:22Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Asymptotic Risk of Overparameterized Likelihood Models: Double Descent Theory for Deep Neural Networks [12.132641563193582]
  深層モデルを含む可視性モデルに対する一般クラスのリスクについて検討する。 並列深層ニューラルネットワークやアンサンブル学習など,いくつかの明示的なモデルが我々の理論と一致していることを示す。
  論文  参考訳（メタデータ） (2021-02-28T13:02:08Z)
• Provable Model-based Nonlinear Bandit and Reinforcement Learning: Shelve Optimism, Embrace Virtual Curvature [61.22680308681648]
  決定論的報酬を有する1層ニューラルネットバンディットにおいても,グローバル収束は統計的に難解であることを示す。 非線形バンディットとRLの両方に対して,オンラインモデル学習者による仮想アセンジ(Virtual Ascent with Online Model Learner)というモデルベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-08T12:41:56Z)
• Goal-directed Generation of Discrete Structures with Conditional Generative Models [85.51463588099556]
  本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。 提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
  論文  参考訳（メタデータ） (2020-10-05T20:03:13Z)
• Random Vector Functional Link Networks for Function Approximation on Manifolds [8.535815777849786]
  ランダムな入力-隠蔽層重みとバイアスを持つ単一層ニューラルネットが実際に成功していることを示す。 さらに、このランダム化されたニューラルネットワークアーキテクチャをユークリッド空間の滑らかでコンパクトな部分多様体上の近似関数に適用する。
  論文  参考訳（メタデータ） (2020-07-30T23:50:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。