論文の概要: Contrastive Divergence Learning is a Time Reversal Adversarial Game

• arxiv url: http://arxiv.org/abs/2012.03295v3
• Date: Mon, 15 Mar 2021 20:03:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-22 05:30:27.602687
• Title: Contrastive Divergence Learning is a Time Reversal Adversarial Game
• Title（参考訳）: 逆転学習は時間逆転型逆転ゲームである
• Authors: Omer Yair, Tomer Michaeli
• Abstract要約: コントラスト分岐学習(Contrastive divergence learning, CD)は、非正規化統計モデルをデータサンプルに適合させる古典的な手法である。 判別器がモデルから生成したマルコフ連鎖が時間反転したかどうかを分類しようとする場合,CDは逆学習法であることを示す。 我々の導出は、CDの更新ステップが任意の固定目的関数の勾配として表現できないと結論づけた以前の観測とよく一致している。
• 参考スコア（独自算出の注目度）: 32.46369991490501
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrastive divergence (CD) learning is a classical method for fitting unnormalized statistical models to data samples. Despite its wide-spread use, the convergence properties of this algorithm are still not well understood. The main source of difficulty is an unjustified approximation which has been used to derive the gradient of the loss. In this paper, we present an alternative derivation of CD that does not require any approximation and sheds new light on the objective that is actually being optimized by the algorithm. Specifically, we show that CD is an adversarial learning procedure, where a discriminator attempts to classify whether a Markov chain generated from the model has been time-reversed. Thus, although predating generative adversarial networks (GANs) by more than a decade, CD is, in fact, closely related to these techniques. Our derivation settles well with previous observations, which have concluded that CD's update steps cannot be expressed as the gradients of any fixed objective function. In addition, as a byproduct, our derivation reveals a simple correction that can be used as an alternative to Metropolis-Hastings rejection, which is required when the underlying Markov chain is inexact (e.g. when using Langevin dynamics with a large step).
• Abstract（参考訳）: 対照的発散(CD)学習は、非正規化統計モデルをデータサンプルに適合させる古典的な方法である。 その広範にわたる使用にもかかわらず、このアルゴリズムの収束特性はまだよく分かっていない。 難易度の主な源は、損失の勾配を導出するために使われる不当な近似である。 本稿では,アルゴリズムによって実際に最適化されている目的に対して,いかなる近似も必要とせず,新たな光を放つCDの別の導出を提案する。 具体的には,CDは,モデルから生成したマルコフ連鎖が時間反転したかどうかを識別する逆学習法であることを示す。 したがって、GAN (Generative Adversarial Network) は10年以上前から存在するが、CDは実際にはこれらの技術と密接に関連している。 私たちの導出は、cdの更新ステップは任意の固定目的関数の勾配として表現できないと結論づけた以前の観測とよく一致する。 加えて、副産物として、我々の導出は、下層のマルコフ鎖が欠如している場合に必要となるメトロポリス・ハスティング拒否の代替として使用できる単純な修正を明らかにする(例えば、)。 大きなステップでランジュバンダイナミクスを使用する場合)。

関連論文リスト

• Sobolev Space Regularised Pre Density Models [51.558848491038916]
  本研究では,ソボレフ法則の正則化に基づく非パラメトリック密度推定法を提案する。 この方法は統計的に一貫したものであり、帰納的検証モデルを明確かつ一貫したものにしている。
  論文  参考訳（メタデータ） (2023-07-25T18:47:53Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Resolving the Mixing Time of the Langevin Algorithm to its Stationary Distribution for Log-Concave Sampling [34.66940399825547]
  本稿では,Langevinアルゴリズムの定常分布に対する混合時間の特徴について述べる。 本稿では,差分プライバシー文献からサンプリング文献へのアプローチを紹介する。
  論文  参考訳（メタデータ） (2022-10-16T05:11:16Z)
• Bias and Extrapolation in Markovian Linear Stochastic Approximation with Constant Stepsizes [9.689344942945652]
  定常的なステップサイズとマルコフデータを持つ線形近似(LSA)を考える。 この極限のバイアスベクトルは、ステップサイズに関して無限級数展開を持つことを示す。 リチャードソン・ロームバーグ外挿法と$mge 2$ stepsizes を用いてバイアスを低減できることが示される。
  論文  参考訳（メタデータ） (2022-10-03T14:11:03Z)
• Projected Sliced Wasserstein Autoencoder-based Hyperspectral Images Anomaly Detection [42.585075865267946]
  本稿では,PSW自動エンコーダを用いた異常検出手法を提案する。 特に、計算フレンドリーな固有分解法を利用して、高次元データをスライスする主成分を見つける。 様々な実世界のハイパースペクトル異常検出ベンチマークで実施した総合的な実験は,提案手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2021-12-20T09:21:02Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Learning from non-irreducible Markov chains [0.0]
  トレーニングデータセットが必ずしも既約でないマルコフ連鎖から引き出された場合に焦点を当てる。 まず、対応するサンプルエラーに対する一様収束結果を求め、次いで、近似サンプルエラー最小化アルゴリズムの学習可能性について結論付ける。
  論文  参考訳（メタデータ） (2021-10-08T19:00:19Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Gaussian MRF Covariance Modeling for Efficient Black-Box Adversarial Attacks [86.88061841975482]
  我々は,ゼロオーダーのオラクルにのみアクセス可能なブラックボックス設定において,逆例を生成する問題について検討する。 我々はこの設定を用いて、FGSM(Fast Gradient Sign Method)のブラックボックス版と同様に、高速な1ステップの敵攻撃を見つける。 提案手法はクエリを少なくし,現在の技術よりも攻撃成功率が高いことを示す。
  論文  参考訳（メタデータ） (2020-10-08T18:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。