論文の概要: No Trick, No Treat: Pursuits and Challenges Towards Simulation-free Training of Neural Samplers

• arxiv url: http://arxiv.org/abs/2502.06685v1
• Date: Mon, 10 Feb 2025 17:13:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:35:00.841231
• Title: No Trick, No Treat: Pursuits and Challenges Towards Simulation-free Training of Neural Samplers
• Title（参考訳）: No Trick, No Treat: Pursuits and Challenges to the Simulation-free Training of Neural Samplers
• Authors: Jiajun He, Yuanqi Du, Francisco Vargas, Dinghuai Zhang, Shreyas Padhy, RuiKang OuYang, Carla Gomes, José Miguel Hernández-Lobato,
• Abstract要約: サンプリング問題は,正規化定数までしか知られていない分布からサンプルを抽出することを目的としている。 近年、高次元データ分布を近似する生成モデリングのブレークスルーが、この問題に対するニューラルネットワークベースの手法の開発に大きな関心を喚起している。 本稿では,時間依存正規化フローの助けを借りてシミュレーション不要なトレーニングを可能にする,従来の手法のエレガントな修正を提案する。
• 参考スコア（独自算出の注目度）: 41.867855070932706
• License:
• Abstract: We consider the sampling problem, where the aim is to draw samples from a distribution whose density is known only up to a normalization constant. Recent breakthroughs in generative modeling to approximate a high-dimensional data distribution have sparked significant interest in developing neural network-based methods for this challenging problem. However, neural samplers typically incur heavy computational overhead due to simulating trajectories during training. This motivates the pursuit of simulation-free training procedures of neural samplers. In this work, we propose an elegant modification to previous methods, which allows simulation-free training with the help of a time-dependent normalizing flow. However, it ultimately suffers from severe mode collapse. On closer inspection, we find that nearly all successful neural samplers rely on Langevin preconditioning to avoid mode collapsing. We systematically analyze several popular methods with various objective functions and demonstrate that, in the absence of Langevin preconditioning, most of them fail to adequately cover even a simple target. Finally, we draw attention to a strong baseline by combining the state-of-the-art MCMC method, Parallel Tempering (PT), with an additional generative model to shed light on future explorations of neural samplers.
• Abstract（参考訳）: サンプリング問題は,正規化定数までしか知られていない分布からサンプルを抽出することを目的としている。 近年、高次元データ分布を近似する生成モデリングのブレークスルーが、この問題に対するニューラルネットワークベースの手法の開発に大きな関心を喚起している。 しかしながら、ニューラルサンプリングは通常、トレーニング中に軌道をシミュレートするため、計算上のオーバーヘッドを発生させる。 このことは、ニューラルサンプリングのシミュレーション不要なトレーニング手順の追求を動機付けている。 本研究では,時間依存正規化フローの助けを借りてシミュレーション不要なトレーニングを可能にする,従来の手法のエレガントな修正を提案する。 しかし、最終的には深刻なモード崩壊に悩まされる。 より綿密な検査では、ほぼすべての成功したニューラルサンプリングがモード崩壊を避けるためにランゲヴィンの事前条件に依存していることがわかった。 様々な目的関数を持ついくつかの一般的な手法を体系的に解析し、ランゲヴィンの事前条件がない場合、その多くが単純な目標さえ適切にカバーできないことを示す。 最後に,現在最先端のMCMC法であるParallel Tempering(PT)と,ニューラルサンプリングの今後の探索に光を放つ新たな生成モデルを組み合わせることで,強力なベースラインに注意を向ける。

関連論文リスト

• Unsupervised textile defect detection using convolutional neural networks [0.0]
  教師なし繊維異常検出のためのモチーフに基づく新しい手法を提案する。 従来の畳み込みニューラルネットワークの利点と教師なし学習パラダイムの利点を組み合わせる。 パターンファブリクスベンチマークデータセットに対するアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2023-11-30T22:08:06Z)
• Diffusion-Model-Assisted Supervised Learning of Generative Models for Density Estimation [10.793646707711442]
  本稿では,密度推定のための生成モデルを訓練するためのフレームワークを提案する。 スコアベース拡散モデルを用いてラベル付きデータを生成する。 ラベル付きデータが生成されると、シンプルな完全に接続されたニューラルネットワークをトレーニングして、教師付き方法で生成モデルを学ぶことができます。
  論文  参考訳（メタデータ） (2023-10-22T23:56:19Z)
• Diffusion Generative Flow Samplers: Improving learning signals through partial trajectory optimization [87.21285093582446]
  Diffusion Generative Flow Samplers (DGFS) はサンプルベースのフレームワークであり、学習プロセスを短い部分的軌道セグメントに分解することができる。 生成フローネットワーク(GFlowNets)のための理論から着想を得た。
  論文  参考訳（メタデータ） (2023-10-04T09:39:05Z)
• Continuous time recurrent neural networks: overview and application to forecasting blood glucose in the intensive care unit [56.801856519460465]
  連続時間自己回帰リカレントニューラルネットワーク(Continuous Time Autoregressive Recurrent Neural Network, CTRNN)は、不規則な観測を考慮に入れたディープラーニングモデルである。 重篤なケア環境下での血糖値の確率予測へのこれらのモデルの適用を実証する。
  論文  参考訳（メタデータ） (2023-04-14T09:39:06Z)
• Minimizing Trajectory Curvature of ODE-based Generative Models [45.89620603363946]
  拡散モデル、整流モデル、流れマッチングなどの最近の生成モデルは、生成過程を固定前進過程の時間反転として定義する。 我々は, ODE/SDEシミュレーションを使わずに生成軌道の曲率を最小化するために, 前進過程を効率的に訓練する方法を提案する。
  論文  参考訳（メタデータ） (2023-01-27T21:52:03Z)
• Simple lessons from complex learning: what a neural network model learns about cosmic structure formation [7.270598539996841]
  我々は、宇宙論的N体シミュレーションの完全な位相空間進化を予測するためにニューラルネットワークモデルを訓練する。 本モデルでは, 非線形スケールでの精度を, COLAに対して有意な改善を示す$ksim 1 MathrmMpc-1, h$で達成する。
  論文  参考訳（メタデータ） (2022-06-09T15:41:09Z)
• A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
  モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。 線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。 以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
  論文  参考訳（メタデータ） (2020-10-27T17:56:14Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)
• Efficiently Sampling Functions from Gaussian Process Posteriors [76.94808614373609]
  高速後部サンプリングのための簡易かつ汎用的なアプローチを提案する。 分離されたサンプルパスがガウス過程の後部を通常のコストのごく一部で正確に表現する方法を実証する。
  論文  参考訳（メタデータ） (2020-02-21T14:03:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。