論文の概要: A theoretical framework for overfitting in energy-based modeling

• arxiv url: http://arxiv.org/abs/2501.19158v1
• Date: Fri, 31 Jan 2025 14:21:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 13:57:49.663132
• Title: A theoretical framework for overfitting in energy-based modeling
• Title（参考訳）: エネルギーモデルにおける過剰適合の理論的枠組み
• Authors: Giovanni Catania, Aurélien Decelle, Cyril Furtlehner, Beatriz Seoane,
• Abstract要約: 相互作用ネットワークの同定を目的とした逆問題に対するペアワイズエネルギーベースモデルの学習における限られたデータの影響について検討する。 我々は、結合行列の固有基底を横断する訓練軌跡を識別し、固有モデムの独立進化を利用する。 有限データ補正は確率行列理論計算によって正確にモデル化可能であることを示す。
• 参考スコア（独自算出の注目度）: 5.1337384597700995
• License:
• Abstract: We investigate the impact of limited data on training pairwise energy-based models for inverse problems aimed at identifying interaction networks. Utilizing the Gaussian model as testbed, we dissect training trajectories across the eigenbasis of the coupling matrix, exploiting the independent evolution of eigenmodes and revealing that the learning timescales are tied to the spectral decomposition of the empirical covariance matrix. We see that optimal points for early stopping arise from the interplay between these timescales and the initial conditions of training. Moreover, we show that finite data corrections can be accurately modeled through asymptotic random matrix theory calculations and provide the counterpart of generalized cross-validation in the energy based model context. Our analytical framework extends to binary-variable maximum-entropy pairwise models with minimal variations. These findings offer strategies to control overfitting in discrete-variable models through empirical shrinkage corrections, improving the management of overfitting in energy-based generative models.
• Abstract（参考訳）: 相互作用ネットワークの同定を目的とした逆問題に対するペアワイズエネルギーベースモデルの学習における限られたデータの影響について検討する。 ガウスモデルをテストベッドとして利用し、結合行列の固有基底における学習軌跡を識別し、固有モデムの独立進化を活用し、学習時間スケールが経験的共分散行列のスペクトル分解に結びついていることを明らかにする。 早期停止のための最適なポイントは、これらの時間スケールとトレーニングの初期条件の間の相互作用から生じる。 さらに, 有限データ補正は漸近的確率行列理論計算によって正確にモデル化できることを示す。 我々の分析フレームワークは、最小のばらつきを持つバイナリ変数の最大エントロピーペアワイズモデルに拡張する。 これらの知見は、実験的な収縮補正を通じて離散変数モデルのオーバーフィッティングを制御する戦略を提供し、エネルギーベースの生成モデルにおけるオーバーフィッティングの管理を改善する。

関連論文リスト

• Connectivity Shapes Implicit Regularization in Matrix Factorization Models for Matrix Completion [2.8948274245812335]
  行列完備化問題の解法として,行列分解の暗黙的正則化について検討する。 我々は、観測データの接続が暗黙のバイアスにおいて重要な役割を果たすことを経験的に発見する。 我々の研究は、行列分解モデルにおけるデータ接続、トレーニングダイナミクス、暗黙の正規化の間の複雑な相互作用を明らかにする。
  論文  参考訳（メタデータ） (2024-05-22T15:12:14Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• CoCoGen: Physically-Consistent and Conditioned Score-based Generative Models for Forward and Inverse Problems [1.0923877073891446]
  この研究は生成モデルの到達範囲を物理的問題領域に拡張する。 基礎となるPDEとの整合性を促進するための効率的なアプローチを提案する。 各種物理課題におけるスコアベース生成モデルの可能性と汎用性を示す。
  論文  参考訳（メタデータ） (2023-12-16T19:56:10Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Structured Radial Basis Function Network: Modelling Diversity for Multiple Hypotheses Prediction [51.82628081279621]
  多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。 構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。 この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
  論文  参考訳（メタデータ） (2023-09-02T01:27:53Z)
• Optimal regularizations for data generation with probabilistic graphical models [0.0]
  経験的に、よく調和された正規化スキームは、推論されたモデルの品質を劇的に改善する。 生成的ペアワイドグラフィカルモデルの最大Aポストエリオーリ(MAP)推論におけるL2とL1の正規化について検討する。
  論文  参考訳（メタデータ） (2021-12-02T14:45:16Z)
• Emergent fractal phase in energy stratified random models [0.0]
  長距離確率行列モデルの運動ホッピング項における偏相関が局在特性に及ぼす影響について検討した。 完全に相関した症例から逸脱すると,システム内の非エルゴディックな非局在化が生じる。
  論文  参考訳（メタデータ） (2021-06-07T18:00:01Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)
• Accounting for Unobserved Confounding in Domain Generalization [107.0464488046289]
  本稿では,データセットの組み合わせから頑健で一般化可能な予測モデルを学習する際の問題点について検討する。 堅牢なモデルを学ぶことの課題の一部は、保存されていない共同設立者の影響にある。 異なるモダリティの医療データに対するアプローチの実証的性能を実証する。
  論文  参考訳（メタデータ） (2020-07-21T08:18:06Z)
• Control as Hybrid Inference [62.997667081978825]
  本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。 連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
  論文  参考訳（メタデータ） (2020-07-11T19:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。