論文の概要: Lost in Retraining: Roaming the Parameter Space of Exponential Families Under Closed-Loop Learning

• arxiv url: http://arxiv.org/abs/2506.20623v1
• Date: Wed, 25 Jun 2025 17:12:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-26 21:00:42.872112
• Title: Lost in Retraining: Roaming the Parameter Space of Exponential Families Under Closed-Loop Learning
• Title（参考訳）: リトレーニングにおける損失:閉ループ学習における指数家族のパラメータ空間のローミング
• Authors: Fariba Jangjoo, Matteo Marsili, Yasser Roudi,
• Abstract要約: 閉ループ学習は、モデル自身から生成されたデータからモデルを繰り返し推定するプロセスである。 パラメータの最大確率は、マーチンゲール特性に十分な統計量を与えることを示す。 固定モデルから生成されたデータポイントの無限小のデータを汚染することにより、この結果を防止することができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Closed-loop learning is the process of repeatedly estimating a model from data generated from the model itself. It is receiving great attention due to the possibility that large neural network models may, in the future, be primarily trained with data generated by artificial neural networks themselves. We study this process for models that belong to exponential families, deriving equations of motions that govern the dynamics of the parameters. We show that maximum likelihood estimation of the parameters endows sufficient statistics with the martingale property and that as a result the process converges to absorbing states that amplify initial biases present in the data. However, we show that this outcome may be prevented by polluting the data with an infinitesimal fraction of data points generated from a fixed model, by relying on maximum a posteriori estimation or by introducing regularisation. Furthermore, we show that the asymptotic behavior of the dynamics is not reparametrisation invariant.
• Abstract（参考訳）: 閉ループ学習は、モデル自身から生成されたデータからモデルを繰り返し推定するプロセスである。 大規模なニューラルネットワークモデルが、将来的には、主に人工ニューラルネットワーク自体によって生成されたデータでトレーニングされる可能性があるため、大きな注目を集めている。 本プロセスは指数族に属するモデルに対して,パラメータの力学を制御した運動方程式を導出する。 パラメータの最大推定は、マーチンゲール特性と十分な統計値を持ち、結果として、このプロセスは、データに存在する初期バイアスを増幅する吸収状態に収束することを示す。 しかし、固定モデルから生成されるデータポイントの無限小分数でデータを汚染したり、最大余剰推定に頼ったり、正規化を導入することで、この結果を防ぐことができる。 さらに、力学の漸近的挙動は再パラメータ不変ではないことを示す。

関連論文リスト

• A Probabilistic Perspective on Model Collapse [9.087950471621653]
  本研究の目的は,モデル崩壊の発生条件と,その緩和方法である。 軽度条件下では,モデルの崩壊を防止するために,各トレーニングステップにおけるサンプルサイズを徐々に増加させる必要があることを厳格に示す。 また, 合成データを用いた学習が, 実データのみを用いた学習よりも優れるモデルを生み出す可能性についても検討した。
  論文  参考訳（メタデータ） (2025-05-20T05:25:29Z)
• A variational neural Bayes framework for inference on intractable posterior distributions [1.0801976288811024]
  トレーニングされたニューラルネットワークに観測データを供給することにより、モデルパラメータの後方分布を効率的に取得する。 理論的には、我々の後部はKulback-Leiblerの発散において真の後部に収束することを示す。
  論文  参考訳（メタデータ） (2024-04-16T20:40:15Z)
• Diffusion posterior sampling for simulation-based inference in tall data settings [53.17563688225137]
  シミュレーションベース推論(SBI)は、入力パラメータを所定の観測に関連付ける後部分布を近似することができる。 本研究では、モデルのパラメータをより正確に推測するために、複数の観測値が利用できる、背の高いデータ拡張について考察する。 提案手法を,最近提案した各種数値実験の競合手法と比較し,数値安定性と計算コストの観点から,その優位性を実証した。
  論文  参考訳（メタデータ） (2024-04-11T09:23:36Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• Neural Likelihood Approximation for Integer Valued Time Series Data [0.0]
  我々は、基礎となるモデルの無条件シミュレーションを用いて訓練できるニューラルな可能性近似を構築した。 本手法は,多くの生態学的および疫学的モデルを用いて推定を行うことにより実証する。
  論文  参考訳（メタデータ） (2023-10-19T07:51:39Z)
• Mixed Effects Neural ODE: A Variational Approximation for Analyzing the Dynamics of Panel Data [50.23363975709122]
  パネルデータ解析に(固定・ランダムな)混合効果を取り入れたME-NODEという確率モデルを提案する。 我々は、Wong-Zakai定理によって提供されるSDEの滑らかな近似を用いて、我々のモデルを導出できることを示す。 次に、ME-NODEのためのエビデンスに基づく下界を導出し、(効率的な)トレーニングアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2022-02-18T22:41:51Z)
• MINIMALIST: Mutual INformatIon Maximization for Amortized Likelihood Inference from Sampled Trajectories [61.3299263929289]
  シミュレーションベースの推論は、その可能性が実際に計算できない場合でもモデルのパラメータを学習することができる。 あるクラスのメソッドは、異なるパラメータでシミュレートされたデータを使用して、確率とエビデンス比の償却推定器を推定する。 モデルパラメータとシミュレーションデータ間の相互情報の観点から,本手法が定式化可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-03T12:59:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。