論文の概要: Sampling Multimodal Distributions with the Vanilla Score: Benefits of Data-Based Initialization

• arxiv url: http://arxiv.org/abs/2310.01762v1
• Date: Tue, 3 Oct 2023 03:06:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-04 17:56:42.001707
• Title: Sampling Multimodal Distributions with the Vanilla Score: Benefits of Data-Based Initialization
• Title（参考訳）: バニラスコアを用いたマルチモーダル分布のサンプリング:データベース初期化のメリット
• Authors: Frederic Koehler, Thuy-Duong Vuong
• Abstract要約: Hyv"arinen氏は、データから分布を学ぶ方法として、バニラスコアマッチングを提案した。 実験的な分布において, 早期停止を伴うランゲヴィン拡散を証明し, データから推定したスコア関数上で実行することで, 自然マルチモーダル分布の生成に成功した。
• 参考スコア（独自算出の注目度）: 19.19974210314107
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There is a long history, as well as a recent explosion of interest, in statistical and generative modeling approaches based on score functions -- derivatives of the log-likelihood of a distribution. In seminal works, Hyv\"arinen proposed vanilla score matching as a way to learn distributions from data by computing an estimate of the score function of the underlying ground truth, and established connections between this method and established techniques like Contrastive Divergence and Pseudolikelihood estimation. It is by now well-known that vanilla score matching has significant difficulties learning multimodal distributions. Although there are various ways to overcome this difficulty, the following question has remained unanswered -- is there a natural way to sample multimodal distributions using just the vanilla score? Inspired by a long line of related experimental works, we prove that the Langevin diffusion with early stopping, initialized at the empirical distribution, and run on a score function estimated from data successfully generates natural multimodal distributions (mixtures of log-concave distributions).
• Abstract（参考訳）: スコア関数に基づく統計的および生成的モデリングアプローチにおいて、分布の対数様相の導出物において、近年の関心の爆発と同様に長い歴史がある。 基礎となる基底真理のスコア関数の推定を計算してデータから分布を学習する方法としてHyv\"arinen が提案したバニラスコアマッチングは、この方法との接続を確立し、コントラッシブ・ディバージェンス(Contrastive Divergence)や擬似的推定(Pseudolikelihood)といった手法を確立した。 バニラスコアマッチングがマルチモーダル分布の学習に重大な困難をもたらすことは、現在ではよく知られている。 この難しさを克服する方法はいろいろありますが、以下の質問は未解決のままです。 関連する実験の長い行に触発されて、実験的な分布で初期化され、データから推定されるスコア関数上でランゲヴィン拡散が自然マルチモーダル分布(対数凹分布の混合)をうまく生成できることが証明された。

関連論文リスト

• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
  細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。 近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。 本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-11T13:44:49Z)
• Score-based Source Separation with Applications to Digital Communication Signals [72.6570125649502]
  拡散モデルを用いた重畳音源の分離手法を提案する。 高周波(RF)システムへの応用によって、我々は、基礎となる離散的な性質を持つ情報源に興味を持っている。 提案手法は,最近提案されたスコア蒸留サンプリング方式のマルチソース拡張と見なすことができる。
  論文  参考訳（メタデータ） (2023-06-26T04:12:40Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Collaborative Learning of Distributions under Heterogeneity and Communication Constraints [35.82172666266493]
  機械学習では、ユーザはしばしば、データを生成するディストリビューションを学ぶために協力する必要がある。 まず、ユーザはサーバと通信して中央分布を学習し、協調する。 そして、学習した中央分布を微調整して、ユーザの個々の分布を推定する。
  論文  参考訳（メタデータ） (2022-06-01T18:43:06Z)
• Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
  まず確率分布をモデル化し,そのモデルからサンプリングする。 これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
  論文  参考訳（メタデータ） (2021-10-20T12:25:22Z)
• Probabilistic Kolmogorov-Arnold Network [1.4732811715354455]
  本稿では,アレータティック不確実性の場合に出力の確率分布を推定する手法を提案する。 提案手法は, 出力の入力依存確率分布と, 入力による分布型の変化を対象とする。 本手法は任意の回帰モデルに適用できるが, 計算効率のよいモデルの構築につながるため,kansと組み合わせる。
  論文  参考訳（メタデータ） (2021-04-04T23:49:15Z)
• DEMI: Discriminative Estimator of Mutual Information [5.248805627195347]
  連続確率変数間の相互情報を推定することは、高次元データにとってしばしば難解で困難である。 近年の進歩は、相互情報の変動的下界を最適化するためにニューラルネットワークを活用している。 提案手法は,データサンプルペアが結合分布から引き出される確率を提供する分類器の訓練に基づく。
  論文  参考訳（メタデータ） (2020-10-05T04:19:27Z)
• Distributional Reinforcement Learning via Moment Matching [54.16108052278444]
  ニューラルネットワークを用いて各戻り分布から統計量の有限集合を学習する手法を定式化する。 我々の手法は、戻り分布とベルマン目標の間のモーメントの全ての順序を暗黙的に一致させるものとして解釈できる。 Atariゲームスイートの実験により,本手法は標準分布RLベースラインよりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-07-24T05:18:17Z)
• The continuous categorical: a novel simplex-valued exponential family [23.983555024375306]
  単純な値を持つデータに対する標準的な選択は、バイアスや数値問題など、いくつかの制限に悩まされていることを示す。 我々は,これらの制約を,単純度値データモデリングのための新しい指数関数列を導入することによって解決する。 ディリクレや他の典型的な選択とは異なり、連続な圏は確率的損失関数をよく表す。
  論文  参考訳（メタデータ） (2020-02-20T04:28:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。