論文の概要: Kernel Stein Discrepancy Descent

• arxiv url: http://arxiv.org/abs/2105.09994v1
• Date: Thu, 20 May 2021 19:05:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-28 15:25:20.865398
• Title: Kernel Stein Discrepancy Descent
• Title（参考訳）: カーネルステインの異性度低下
• Authors: Anna Korba, Pierre-Cyril Aubin-Frankowski, Szymon Majewski, Pierre Ablin
• Abstract要約: Kernel Stein Discrepancy (KSD) は近年注目されている。 我々は、目標確率分布を$mathbbRd$上で近似するために、ワッサーシュタイン勾配流の特性について検討する。 これにより、直接実装可能な決定論的スコアベースのメソッドが、$pi$、KSD Descentからサンプリングされる。
• 参考スコア（独自算出の注目度）: 16.47373844775953
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Among dissimilarities between probability distributions, the Kernel Stein Discrepancy (KSD) has received much interest recently. We investigate the properties of its Wasserstein gradient flow to approximate a target probability distribution $\pi$ on $\mathbb{R}^d$, known up to a normalization constant. This leads to a straightforwardly implementable, deterministic score-based method to sample from $\pi$, named KSD Descent, which uses a set of particles to approximate $\pi$. Remarkably, owing to a tractable loss function, KSD Descent can leverage robust parameter-free optimization schemes such as L-BFGS; this contrasts with other popular particle-based schemes such as the Stein Variational Gradient Descent algorithm. We study the convergence properties of KSD Descent and demonstrate its practical relevance. However, we also highlight failure cases by showing that the algorithm can get stuck in spurious local minima.
• Abstract（参考訳）: 確率分布の相違の中で、KSD (Kernel Stein Discrepancy) は近年大きな関心を集めている。 正規化定数まで知られている$\mathbb{r}^d$ 上の目標確率分布 $\pi$ を近似するために,wasserstein勾配流の特性を調べる。 これにより、簡単に実装可能で決定論的なスコアベースの手法が、約$\pi$の粒子を用いた ksd 降下と呼ばれる$\pi$ からサンプルされる。 注目すべきは、トラクタブルロス関数のため、KSD DescentはL-BFGSのようなロバストなパラメータフリー最適化スキームを利用することができ、これはスタイン変分勾配Descentアルゴリズムのような他の一般的な粒子ベースのスキームとは対照的である。 KSD Descent の収束特性について検討し,その実用的妥当性を実証する。 しかし,局所的ミニマムにアルゴリズムが立ち往生する可能性を示すことで,障害事例も強調する。

関連論文リスト

• Nyström Kernel Stein Discrepancy [4.551160285910023]
  我々は Nystr を用いた KSD アクセラレーションを提案し,ランタイム $mathcal Oleft(mn+m3right)$ for $n$ サンプルと $mll n$ Nystr"om ポイントについて述べる。 我々は、その$sqrtn$-consistencyと古典的なガウスの仮定を示し、一連のベンチマークで適合性テストの適用性を示す。
  論文  参考訳（メタデータ） (2024-06-12T16:50:12Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• A Finite-Particle Convergence Rate for Stein Variational Gradient Descent [47.6818454221125]
  我々は、スタイン変分降下勾配(SVGD)に対する第1次有限粒子収束速度を提供する。 我々の明示的で非漸近的な証明戦略は、将来の改良のためのテンプレートとして役立ちます。
  論文  参考訳（メタデータ） (2022-11-17T17:50:39Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Large-Scale Wasserstein Gradient Flows [84.73670288608025]
  ワッサーシュタイン勾配流を近似するスケーラブルなスキームを導入する。 我々のアプローチは、JKOステップを識別するために、入力ニューラルネットワーク(ICNN)に依存しています。 その結果、勾配拡散の各ステップで測定値からサンプリングし、その密度を計算することができる。
  論文  参考訳（メタデータ） (2021-06-01T19:21:48Z)
• Byzantine-Resilient Non-Convex Stochastic Gradient Descent [61.6382287971982]
  敵対的レジリエントな分散最適化。 機械は独立して勾配を計算し 協力することができます 私達のアルゴリズムは新しい集中の技術およびサンプル複雑性に基づいています。 それは非常に実用的です:それはないときすべての前の方法の性能を改善します。 セッティングマシンがあります。
  論文  参考訳（メタデータ） (2020-12-28T17:19:32Z)
• A Non-Asymptotic Analysis for Stein Variational Gradient Descent [44.30569261307296]
  定常変分勾配Descentアルゴリズムに対する新しい有限時間解析法を提案する。 アルゴリズムが各反復の目的を減少させることを示す降下補題を提供する。 また, SVGDの実用的実装に対応する有限粒子系の収束結果を, 集団バージョンに反映する。
  論文  参考訳（メタデータ） (2020-06-17T12:01:33Z)
• Byzantine-Resilient SGD in High Dimensions on Heterogeneous Data [10.965065178451104]
  ビザンチン攻撃下での主作業者アーキテクチャにおける分散勾配降下(SGD)について検討した。 我々のアルゴリズムは、最大で$frac14$のビザンティン労働者を許容できる。
  論文  参考訳（メタデータ） (2020-05-16T04:15:27Z)
• The Wasserstein Proximal Gradient Algorithm [23.143814848127295]
  ワッサーシュタイン勾配流は、確率測度の空間上の目的関数を最小化するために最も急勾配の曲線を定義する連続時間力学である。 目的関数が滑らかで非滑らかな空間的凸項の和である場合に対処できるフォワードバックワード(FB)離散化スキームを提案する。
  論文  参考訳（メタデータ） (2020-02-07T22:19:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。