論文の概要: On the Optimization Landscape of Maximum Mean Discrepancy

• arxiv url: http://arxiv.org/abs/2110.13452v2
• Date: Fri, 3 May 2024 19:41:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-08 03:57:05.061927
• Title: On the Optimization Landscape of Maximum Mean Discrepancy
• Title（参考訳）: 最大平均差の最適化景観について
• Authors: Itai Alon, Amir Globerson, Ami Wiesel,
• Abstract要約: 生成モデルは現実的な信号の生成に成功している。 確率関数は典型的にはこれらのモデルの多くで難解であるため、確率計算を避けるために「単純化」を行うのが一般的である。 特に、彼らが世界規模で非親密な目標を最小化できるのかは理解されていない。
• 参考スコア（独自算出の注目度）: 26.661542645011046
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative models have been successfully used for generating realistic signals. Because the likelihood function is typically intractable in most of these models, the common practice is to use "implicit" models that avoid likelihood calculation. However, it is hard to obtain theoretical guarantees for such models. In particular, it is not understood when they can globally optimize their non-convex objectives. Here we provide such an analysis for the case of Maximum Mean Discrepancy (MMD) learning of generative models. We prove several optimality results, including for a Gaussian distribution with low rank covariance (where likelihood is inapplicable) and a mixture of Gaussians. Our analysis shows that that the MMD optimization landscape is benign in these cases, and therefore gradient based methods will globally minimize the MMD objective.
• Abstract（参考訳）: 生成モデルは現実的な信号の生成に成功している。 確率関数は典型的にはこれらのモデルの多くで難解であるため、一般的には「単純な」モデルを用いて、確率計算を避ける。 しかし、そのようなモデルに対する理論的保証を得るのは難しい。 特に,非凸目標をグローバルに最適化する方法については理解されていない。 ここでは、生成モデルの最大平均離散性(MMD)学習について、そのような分析を行う。 我々は、低階共分散(英語版)を持つガウス分布(英語版)(ガウス分布)とガウス分布(英語版)(ガウス分布)の混合を含むいくつかの最適性の結果を証明した。 解析の結果,MDD最適化のランドスケープはこれらの場合の良さが示され,勾配に基づく手法はMDDの目的を極端に最小化することがわかった。

関連論文リスト

• Polynomial Chaos Expanded Gaussian Process [2.287415292857564]
  複雑で未知のプロセスでは、大域的モデルは最初実験空間全体にわたって生成される。 本研究では,グローバルな実験空間とローカルな実験空間の両方を効果的に表現するモデルの必要性に対処する。
  論文  参考訳（メタデータ） (2024-05-02T07:11:05Z)
• Soft Preference Optimization: Aligning Language Models to Expert Distributions [40.84391304598521]
  SPOは、Large Language Models (LLMs)のような生成モデルと人間の好みを整合させる手法である。 SPOは、選好損失をモデル全体の出力分布全体にわたる正規化項と統合する。 本稿では,SPOの方法論,理論的基礎,および単純さ,計算効率,アライメント精度における比較優位性について紹介する。
  論文  参考訳（メタデータ） (2024-04-30T19:48:55Z)
• Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models [69.22568644711113]
  我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。 理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。 シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
  論文  参考訳（メタデータ） (2023-06-05T21:08:34Z)
• KL-Entropy-Regularized RL with a Generative Model is Minimax Optimal [70.15267479220691]
  モデル強化学習のサンプル複雑性を,生成的分散自由モデルを用いて検討・解析する。 我々の分析は、$varepsilon$が十分小さい場合、$varepsilon$-optimal Policyを見つけるのが、ほぼ最小の最適化であることを示している。
  論文  参考訳（メタデータ） (2022-05-27T19:39:24Z)
• Maximum Likelihood Estimation in Gaussian Process Regression is Ill-Posed [7.018149356115115]
  最大極大推定が適切である状況を確立することは、依然として未解決の問題である。 本稿は、最大可能性推定器が正しく提示されないシナリオを特定する。 最大推定の失敗はガウス過程の民俗学の一部ではあるが、これらの厳密な理論的な結果はそれらの種類の最初のものと思われる。
  論文  参考訳（メタデータ） (2022-03-17T09:00:39Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Latent Gaussian Model Boosting [0.0]
  ツリーブースティングは多くのデータセットに対して優れた予測精度を示す。 シミュレーションおよび実世界のデータ実験において,既存の手法と比較して予測精度が向上した。
  論文  参考訳（メタデータ） (2021-05-19T07:36:30Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Goal-directed Generation of Discrete Structures with Conditional Generative Models [85.51463588099556]
  本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。 提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
  論文  参考訳（メタデータ） (2020-10-05T20:03:13Z)
• Likelihood-Free Inference with Deep Gaussian Processes [70.74203794847344]
  サーロゲートモデルは、シミュレータ評価の回数を減らすために、可能性のない推論に成功している。 本稿では,より不規則な対象分布を扱えるディープガウス過程(DGP)サロゲートモデルを提案する。 本実験は,DGPがマルチモーダル分布を持つ目的関数上でGPよりも優れ,単調な場合と同等の性能を維持できることを示す。
  論文  参考訳（メタデータ） (2020-06-18T14:24:05Z)
• Expected Information Maximization: Using the I-Projection for Mixture Density Estimation [22.096148237257644]
  高度にマルチモーダルなデータのモデリングは、機械学習において難しい問題である。 我々は,予測情報最大化(EIM)と呼ばれる新しいアルゴリズムを提案する。 我々のアルゴリズムは最近のGANアプローチよりもI射影の計算に効果的であることを示す。
  論文  参考訳（メタデータ） (2020-01-23T17:24:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。