論文の概要: Nonlinear denoising score matching for enhanced learning of structured distributions

• arxiv url: http://arxiv.org/abs/2405.15625v1
• Date: Fri, 24 May 2024 15:14:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 13:30:40.310637
• Title: Nonlinear denoising score matching for enhanced learning of structured distributions
• Title（参考訳）: 構造分布の強化学習のための非線形 denoising score matching
• Authors: Jeremiah Birrell, Markos A. Katsoulakis, Luc Rey-Bellet, Benjamin Zhang, Wei Zhu,
• Abstract要約: 非線形ドリフトに一般化することで、追加構造を力学に組み込むことができる。 本手法の有効性をいくつかの例で示す。
• 参考スコア（独自算出の注目度）: 12.428200977408817
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a novel method for training score-based generative models which uses nonlinear noising dynamics to improve learning of structured distributions. Generalizing to a nonlinear drift allows for additional structure to be incorporated into the dynamics, thus making the training better adapted to the data, e.g., in the case of multimodality or (approximate) symmetries. Such structure can be obtained from the data by an inexpensive preprocessing step. The nonlinear dynamics introduces new challenges into training which we address in two ways: 1) we develop a new nonlinear denoising score matching (NDSM) method, 2) we introduce neural control variates in order to reduce the variance of the NDSM training objective. We demonstrate the effectiveness of this method on several examples: a) a collection of low-dimensional examples, motivated by clustering in latent space, b) high-dimensional images, addressing issues with mode collapse, small training sets, and approximate symmetries, the latter being a challenge for methods based on equivariant neural networks, which require exact symmetries.
• Abstract（参考訳）: 本稿では,非線形ノイズ発生ダイナミクスを用いて,構造分布の学習を改善するためのスコアベース生成モデルの学習手法を提案する。 非線形ドリフトに一般化することで、追加構造をダイナミックスに組み込むことができ、マルチモーダリティや(近似)対称性の場合には、トレーニングをよりデータに適応させることができる。 このような構造は、安価な前処理ステップでデータから得ることができる。 非線形力学は、トレーニングに新しい課題をもたらす。 1) 非線形 denoising score matching (NDSM) 法を開発した。 2)NDSM訓練目標のばらつきを軽減するため,神経制御のバラツキを導入する。 本手法の有効性をいくつかの例で示す。 a) 潜在空間におけるクラスタリングによって動機付けられた低次元例の集合 b) モード崩壊、小さなトレーニングセット、近似対称性に関する問題に対処する高次元画像。後者は、正確な対称性を必要とする同変ニューラルネットワークに基づく手法の課題である。

関連論文リスト

• Modeling Latent Neural Dynamics with Gaussian Process Switching Linear Dynamical Systems [2.170477444239546]
  ガウス過程スイッチング線形力学系(gpSLDS)の2つの目的をバランスさせるアプローチを開発する。 我々の手法は、非線形力学をガウス過程(GP-SDE)で記述した微分方程式による潜在状態の進化をモデル化した以前の研究に基づいている。 本手法は, 離散状態境界近傍の力学における人工振動など, rSLDS の重要な限界を解消するとともに, 力学の後方不確かさを推定する。
  論文  参考訳（メタデータ） (2024-07-19T15:32:15Z)
• Recurrent Deep Kernel Learning of Dynamical Systems [0.5825410941577593]
  デジタル双対は計算効率の低い低次モデル(ROM)を必要とし、物理的資産の複雑な力学を正確に記述することができる。 データから低次元の潜伏空間を発見するために,データ駆動型非侵入型深層学習法(SVDKL)を提案する。 その結果,本フレームワークは, (i) 測定値の復調と再構成, (ii) システム状態のコンパクトな表現の学習, (iii) 低次元潜在空間におけるシステム進化の予測, (iv) 不確実性をモデル化できることがわかった。
  論文  参考訳（メタデータ） (2024-05-30T07:49:02Z)
• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• Harnessing Orthogonality to Train Low-Rank Neural Networks [0.07538606213726905]
  本研究は,ニューラルネットワークの学習力学を,トレーニングを通じて重みの特異値分解(SVD)を分析することによって研究する。 本稿では,ニューラルネットワークの直交性を利用した新しいトレーニング手法であるOrthogonality-Informed Adaptive Low-Rank(OIALR)トレーニングを紹介する。
  論文  参考訳（メタデータ） (2024-01-16T17:07:22Z)
• Capturing dynamical correlations using implicit neural representations [85.66456606776552]
  実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。 そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
  論文  参考訳（メタデータ） (2023-04-08T07:55:36Z)
• Dynamical Hyperspectral Unmixing with Variational Recurrent Neural Networks [25.051918587650636]
  MTHU(Multitemporal hyperspectral unmixing)は、ハイパースペクトル画像解析の基本的なツールである。 本稿では,変分リカレントニューラルネットワークに基づく教師なしMTHUアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-03-19T04:51:34Z)
• Non-linear manifold ROM with Convolutional Autoencoders and Reduced Over-Collocation method [0.0]
  非アフィンパラメトリックな依存、非線形性、興味のモデルにおける対流支配的な規則は、ゆっくりとしたコルモゴロフ n-幅の崩壊をもたらす。 我々は,Carlbergらによって導入された非線形多様体法を,オーバーコロケーションの削減とデコーダの教師/学生による学習により実現した。 本研究では,2次元非線形保存法と2次元浅水モデルを用いて方法論を検証し,時間とともに動的に進化する純粋データ駆動型手法と長期記憶ネットワークとの比較を行った。
  論文  参考訳（メタデータ） (2022-03-01T11:16:50Z)
• Cogradient Descent for Dependable Learning [64.02052988844301]
  双線形最適化問題に対処するために,CoGDアルゴリズムに基づく信頼度の高い学習法を提案する。 CoGDは、ある変数がスパーシティ制約を持つ場合の双線形問題を解くために導入された。 また、特徴と重みの関連を分解するためにも使用できるため、畳み込みニューラルネットワーク(CNN)をより良く訓練するための我々の手法をさらに一般化することができる。
  論文  参考訳（メタデータ） (2021-06-20T04:28:20Z)
• Neural Dynamic Mode Decomposition for End-to-End Modeling of Nonlinear Dynamics [49.41640137945938]
  ニューラルネットワークに基づくリフト関数を推定するためのニューラルダイナミックモード分解法を提案する。 提案手法により,予測誤差はニューラルネットワークとスペクトル分解によって逆伝搬される。 提案手法の有効性を,固有値推定と予測性能の観点から実証した。
  論文  参考訳（メタデータ） (2020-12-11T08:34:26Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• An Ode to an ODE [78.97367880223254]
  我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。 この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
  論文  参考訳（メタデータ） (2020-06-19T22:05:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。