論文の概要: Kernel Selection for Stein Variational Gradient Descent

• arxiv url: http://arxiv.org/abs/2107.09338v1
• Date: Tue, 20 Jul 2021 08:48:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-21 15:07:44.994090
• Title: Kernel Selection for Stein Variational Gradient Descent
• Title（参考訳）: 定常変分勾配Descenceのためのカーネル選択
• Authors: Qingzhong Ai, Shiyu Liu, Zenglin Xu
• Abstract要約: 一つのカーネルではなく、最適なカーネルを近似するために、複数のカーネルの組み合わせを提案する。 提案手法は最適なカーネル依存を除去するだけでなく,計算効率も維持する。
• 参考スコア（独自算出の注目度）: 19.16800190883095
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stein variational gradient descent (SVGD) and its variants have shown promising successes in approximate inference for complex distributions. However, their empirical performance depends crucially on the choice of optimal kernel. Unfortunately, RBF kernel with median heuristics is a common choice in previous approaches which has been proved sub-optimal. Inspired by the paradigm of multiple kernel learning, our solution to this issue is using a combination of multiple kernels to approximate the optimal kernel instead of a single one which may limit the performance and flexibility. To do so, we extend Kernelized Stein Discrepancy (KSD) to its multiple kernel view called Multiple Kernelized Stein Discrepancy (MKSD). Further, we leverage MKSD to construct a general algorithm based on SVGD, which be called Multiple Kernel SVGD (MK-SVGD). Besides, we automatically assign a weight to each kernel without any other parameters. The proposed method not only gets rid of optimal kernel dependence but also maintains computational effectiveness. Experiments on various tasks and models show the effectiveness of our method.
• Abstract（参考訳）: スタイン変分勾配降下(svgd)とその変種は複素分布の近似推論において有望な成功を示している。 しかし、その経験的性能は最適なカーネルの選択に大きく依存する。 残念ながら、中央値ヒューリスティックスを持つRBFカーネルは、準最適であることが証明された以前のアプローチでは一般的な選択である。 マルチカーネル学習のパラダイムに触発されて、この問題に対する我々の解決策は、パフォーマンスと柔軟性を制限する単一のカーネルではなく、最適なカーネルを近似するために複数のカーネルの組み合わせを使用することです。 そのために、カーネル化スタイン離散(KSD)を、MKSD(Multiple Kernelized Stein Discrepancy)と呼ばれる複数のカーネルビューに拡張する。 さらに,MKSDを利用してSVGDをベースとした汎用アルゴリズムを構築し,これをMK-SVGD(Multiple Kernel SVGD)と呼ぶ。 さらに、各カーネルに他のパラメータなしで自動的に重みを割り当てます。 提案手法は最適なカーネル依存を除去するだけでなく,計算効率も維持する。 各種タスクおよびモデルの実験により,本手法の有効性が示された。

関連論文リスト

• Optimal Kernel Choice for Score Function-based Causal Discovery [92.65034439889872]
  本稿では,データに最も適合する最適なカーネルを自動的に選択する,一般化スコア関数内のカーネル選択手法を提案する。 合成データと実世界のベンチマークの両方で実験を行い,提案手法がカーネル選択法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-07-14T09:32:20Z)
• Snacks: a fast large-scale kernel SVM solver [0.8602553195689513]
  SnacksはKernel Support Vector Machines用の新しい大規模ソルバである。 スナックは、カーネル行列の「Nystr」近似と、下次法の加速変種に依存している。
  論文  参考訳（メタデータ） (2023-04-17T04:19:20Z)
• Structural Kernel Search via Bayesian Optimization and Symbolical Optimal Transport [5.1672267755831705]
  ガウスのプロセスでは、カーネルの選択は重要なタスクであり、しばしば専門家が手動で行う。 本稿では,カーネル空間を包含する新しい効率的な探索法を提案する。
  論文  参考訳（メタデータ） (2022-10-21T09:30:21Z)
• Variational Autoencoder Kernel Interpretation and Selection for Classification [59.30734371401315]
  本研究では,変分オートエンコーダの畳み込みエンコーダによって生成された特徴に基づく確率的分類器のカーネル選択手法を提案する。 提案した実装では、各カーネルに対して各分散が生成されるため、各潜伏変数を最終エンコーダの畳み込み層の単一カーネルに関連付けられた分布からサンプリングした。 サンプル化された潜伏変数で関連する機能を選択することで、カーネルの選択を実行し、非形式的機能とカーネルをフィルタリングすることができる。
  論文  参考訳（メタデータ） (2022-09-10T17:22:53Z)
• S-Rocket: Selective Random Convolution Kernels for Time Series Classification [36.9596657353794]
  ランダム畳み込みカーネル変換(Rocket)は、時系列特徴抽出のための高速で効率的で斬新なアプローチである。 計算複雑性を減らし、Rocketの推論を加速するためには、最も重要なカーネルを選択し、冗長で重要でないカーネルを刈り取る必要がある。 最重要なカーネルを選択するために、集団ベースのアプローチが提案されている。
  論文  参考訳（メタデータ） (2022-03-07T15:02:12Z)
• Taming Nonconvexity in Kernel Feature Selection---Favorable Properties of the Laplace Kernel [77.73399781313893]
  カーネルベースの特徴選択の客観的機能を確立することが課題である。 非言語最適化に利用可能な勾配に基づくアルゴリズムは、局所ミニマへの収束を保証できるだけである。
  論文  参考訳（メタデータ） (2021-06-17T11:05:48Z)
• Kernel Identification Through Transformers [54.3795894579111]
  カーネル選択はガウス過程(GP)モデルの性能決定において中心的な役割を果たす。 この研究は、高次元GP回帰モデルのためのカスタムカーネル関数を構築するという課題に対処する。 KITT: Kernel Identification through Transformersを提案する。
  論文  参考訳（メタデータ） (2021-06-15T14:32:38Z)
• Flow-based Kernel Prior with Application to Blind Super-Resolution [143.21527713002354]
  カーネル推定は一般にブラインド画像超解像(SR)の鍵となる問題の一つである 本稿では,カーネルモデリングのための正規化フローベースカーネルプリレント(fkp)を提案する。 合成および実世界の画像の実験により、提案したFKPがカーネル推定精度を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2021-03-29T22:37:06Z)
• The Signature Kernel is the solution of a Goursat PDE [11.107838656561766]
  連続的な微分可能パスに対して、シグネチャカーネルは双曲型PDEを解き、文献でよく知られる微分方程式のクラスとの接続をグールサット問題として認識する。 このGoursat PDEは入力シーケンスの増分にのみ依存し、シグネチャの明示的な計算を必要としない。 我々は、シーケンシャルデータを扱う機械学習アプリケーションにおいて、機械学習ツールとしてのPDEカーネルの有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2020-06-26T04:36:50Z)
• Learning Deep Kernels for Non-Parametric Two-Sample Tests [50.92621794426821]
  2組のサンプルが同じ分布から引き出されるかどうかを判定するカーネルベースの2サンプルテストのクラスを提案する。 私たちのテストは、テストパワーを最大化するためにトレーニングされたディープニューラルネットワークによってパラメータ化されたカーネルから構築されます。
  論文  参考訳（メタデータ） (2020-02-21T03:54:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。