論文の概要: Sliced Kernelized Stein Discrepancy

• arxiv url: http://arxiv.org/abs/2006.16531v3
• Date: Wed, 17 Mar 2021 09:54:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 04:45:43.347487
• Title: Sliced Kernelized Stein Discrepancy
• Title（参考訳）: Sliced Kernelized Stein Discrepancy
• Authors: Wenbo Gong, Yingzhen Li, Jos\'e Miguel Hern\'andez-Lobato
• Abstract要約: Kernelized Stein discrepancy (KSD) は、良質なテストやモデル学習に広く用いられている。 最適一次元射影上に定義されたカーネルベースのテスト関数を用いるスライスされたスタイン差分とそのスケーラブルでカーネル化された変種を提案する。 モデル学習においては,異なる相違点を持つ独立成分分析モデルを訓練することにより,既存のSteinの相違点ベースラインに対してその優位性を示す。
• 参考スコア（独自算出の注目度）: 17.159499204595527
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Kernelized Stein discrepancy (KSD), though being extensively used in goodness-of-fit tests and model learning, suffers from the curse-of-dimensionality. We address this issue by proposing the sliced Stein discrepancy and its scalable and kernelized variants, which employ kernel-based test functions defined on the optimal one-dimensional projections. When applied to goodness-of-fit tests, extensive experiments show the proposed discrepancy significantly outperforms KSD and various baselines in high dimensions. For model learning, we show its advantages over existing Stein discrepancy baselines by training independent component analysis models with different discrepancies. We further propose a novel particle inference method called sliced Stein variational gradient descent (S-SVGD) which alleviates the mode-collapse issue of SVGD in training variational autoencoders.
• Abstract（参考訳）: kernelized stein discrepancy (ksd) は適合度テストやモデル学習で広く使われているが、次元の呪いに苦しむ。 本稿では,スライスされたスタイン差分と,そのスケーラブルでカーネル化された変種を提案することでこの問題に対処する。 適合度テストに適用すると,提案する誤差がksdおよび各種ベースラインを高い次元で有意に上回ることが示された。 モデル学習においては,異なる相違点を持つ独立成分分析モデルを訓練することにより,既存のSteinの相違点ベースラインに対する利点を示す。 さらに,変分オートエンコーダの学習におけるSVGDのモード崩壊問題を緩和するスライス・スタイン変分勾配降下法(S-SVGD)を提案する。

関連論文リスト

• SteinDreamer: Variance Reduction for Text-to-3D Score Distillation via Stein Identity [70.32101198891465]
  スコア蒸留における勾配推定は, 分散度が高いことが示唆された。 本稿では,Stin Score Distillation (SSD) と呼ばれる,スコア蒸留の分散を低減するための,より一般的な解を提案する。 我々はSteinDreamerがより安定した勾配更新により既存の方法よりも高速に収束できることを実証した。
  論文  参考訳（メタデータ） (2023-12-31T23:04:25Z)
• Augmented Message Passing Stein Variational Gradient Descent [3.5788754401889014]
  収束過程における有限粒子の等方性特性について検討する。 すべての粒子は特定の範囲内で粒子中心の周りに集まる傾向にある。 提案アルゴリズムは, 種々のベンチマーク問題における分散崩壊問題を克服し, 良好な精度を実現する。
  論文  参考訳（メタデータ） (2023-05-18T01:13:04Z)
• A kernel Stein test of goodness of fit for sequential models [19.8408003104988]
  提案手法は、非正規化密度の良性テストを構築するために用いられてきたカーネルSteindisrepancy(KSD)の例である。 我々は、適切なスタイン演算子を同定することで、KSDを可変次元設定に拡張し、新しいKSD適合性テストを提案する。 我々のテストは、離散的なシーケンシャルなデータベンチマークで実際によく機能することが示されている。
  論文  参考訳（メタデータ） (2022-10-19T17:30:15Z)
• Grassmann Stein Variational Gradient Descent [3.644031721554146]
  スタイン変分勾配降下(SVGD)は、マルコフ連鎖モンテカルロの効率的な代替となる決定論的粒子推論アルゴリズムである。 近年の進歩は、スコア関数とデータの両方を実際の行に投影してこの問題に対処することを提唱している。 任意の次元部分空間への射影を可能にする代替アプローチとして、グラスマンシュタイン変分勾配勾配(GSVGD)を提案する。
  論文  参考訳（メタデータ） (2022-02-07T15:36:03Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Generalised Kernel Stein Discrepancy(GKSD): A Unifying Approach for Non-parametric Goodness-of-fit Testing [5.885020100736158]
  KSD(Non-parametric Goodness-of-fit testing procedure)は、一般的な非正規分布を検証するための有望なアプローチである。 我々は,KSDに基づく適合性テストの実行において,異なるStein演算子を理論的に比較・解釈するための統一フレームワークである一般化カーネルSteindisrepancy(GKSD)を提案する。
  論文  参考訳（メタデータ） (2021-06-23T00:44:31Z)
• On Stein Variational Neural Network Ensembles [8.178886940116035]
  本研究では, 重み空間, 関数空間, ハイブリッド環境で動作する異なるスタイン変分勾配勾配(SVGD)法について検討する。 機能的およびハイブリッドカーネルを用いたSVGDは,深いアンサンブルの限界を克服できることがわかった。
  論文  参考訳（メタデータ） (2021-06-20T21:52:46Z)
• Learning Equivariant Energy Based Models with Equivariant Stein Variational Gradient Descent [80.73580820014242]
  本稿では,確率モデルに対称性を組み込むことにより,確率密度の効率的なサンプリングと学習の問題に焦点をあてる。 まず、等変シュタイン変分勾配Descentアルゴリズムを導入する。これは、対称性を持つ密度からサンプリングするスタインの同一性に基づく同変サンプリング法である。 我々はエネルギーベースモデルのトレーニングを改善し、スケールアップする新しい方法を提案する。
  論文  参考訳（メタデータ） (2021-06-15T01:35:17Z)
• Kernel Stein Generative Modeling [68.03537693810972]
  グラディエント・ランゲヴィン・ダイナミクス(SGLD)は高次元および複雑なデータ分布に関するエネルギーモデルによる印象的な結果を示す。 Stein Variational Gradient Descent (SVGD) は、与えられた分布を近似するために一組の粒子を反復的に輸送する決定論的サンプリングアルゴリズムである。 雑音条件付きカーネルSVGD(NCK-SVGD)を提案する。
  論文  参考訳（メタデータ） (2020-07-06T21:26:04Z)
• Stein Variational Inference for Discrete Distributions [70.19352762933259]
  離散分布を等価なピースワイズ連続分布に変換する単純な一般フレームワークを提案する。 提案手法は,ギブスサンプリングや不連続ハミルトニアンモンテカルロといった従来のアルゴリズムよりも優れている。 我々は,この手法がバイナライズニューラルネットワーク(BNN)のアンサンブルを学習するための有望なツールであることを実証した。 さらに、そのような変換は、勾配のないカーネル化されたStein差分に簡単に適用でき、離散分布の良性(GoF)テストを実行することができる。
  論文  参考訳（メタデータ） (2020-03-01T22:45:41Z)
• A Kernel Stein Test for Comparing Latent Variable Models [48.32146056855925]
  本稿では、相対的適合性を示すカーネルベースの非パラメトリックテストを提案する。このテストの目的は、2つのモデルを比較することである。 本試験は, モデルから得られたサンプルに基づいて, 潜伏構造を利用せず, 相対的な最大平均離散性試験よりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2019-07-01T07:46:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。