論文の概要: Adaptive Kernel Selection for Stein Variational Gradient Descent

• arxiv url: http://arxiv.org/abs/2510.02067v1
• Date: Thu, 02 Oct 2025 14:33:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:21.167293
• Title: Adaptive Kernel Selection for Stein Variational Gradient Descent
• Title（参考訳）: 定常変分勾配Descenceに対する適応カーネル選択法
• Authors: Moritz Melcher, Simon Weissmann, Ashia C. Wilson, Jakob Zech,
• Abstract要約: Stein Variational Gradient Descent (SVGD) は一般的な変分推論法である。 本稿では、SVGDによる粒子の更新と、カーネル帯域幅の適応調整を交互に行うAdaptive SVGD(Ad-SVGD)を紹介する。
• 参考スコア（独自算出の注目度）: 5.278971176776929
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: A central challenge in Bayesian inference is efficiently approximating posterior distributions. Stein Variational Gradient Descent (SVGD) is a popular variational inference method which transports a set of particles to approximate a target distribution. The SVGD dynamics are governed by a reproducing kernel Hilbert space (RKHS) and are highly sensitive to the choice of the kernel function, which directly influences both convergence and approximation quality. The commonly used median heuristic offers a simple approach for setting kernel bandwidths but lacks flexibility and often performs poorly, particularly in high-dimensional settings. In this work, we propose an alternative strategy for adaptively choosing kernel parameters over an abstract family of kernels. Recent convergence analyses based on the kernelized Stein discrepancy (KSD) suggest that optimizing the kernel parameters by maximizing the KSD can improve performance. Building on this insight, we introduce Adaptive SVGD (Ad-SVGD), a method that alternates between updating the particles via SVGD and adaptively tuning kernel bandwidths through gradient ascent on the KSD. We provide a simplified theoretical analysis that extends existing results on minimizing the KSD for fixed kernels to our adaptive setting, showing convergence properties for the maximal KSD over our kernel class. Our empirical results further support this intuition: Ad-SVGD consistently outperforms standard heuristics in a variety of tasks.
• Abstract（参考訳）: ベイズ推論における中心的な課題は、後方分布を効率的に近似することである。 SVGD (Stin Variational Gradient Descent) は、粒子の集合をターゲット分布に近似するために輸送する一般的な変分推論法である。 SVGDのダイナミクスは再生カーネルヒルベルト空間(RKHS)によって制御され、カーネル関数の選択に非常に敏感であり、収束と近似の品質の両方に直接影響を及ぼす。 一般的に使用される中央値ヒューリスティックは、カーネル帯域幅を設定するための単純なアプローチを提供するが、柔軟性に欠け、特に高次元設定では性能が良くない。 本研究では,カーネルの抽象的なファミリーに対して,カーネルパラメータを適応的に選択する代替手法を提案する。 カーネル化スタイン差分(KSD)に基づく最近の収束解析は、KSDを最大化することでカーネルパラメータの最適化が性能を向上させることを示唆している。 この知見に基づいて,適応SVGD(Ad-SVGD)を導入する。これは,SVGDによる粒子の更新と,KSDの勾配上昇によるカーネル帯域幅の調整を交互に行う手法である。 我々は、固定化されたカーネルのKSDを適応的な設定に最小化するための既存の結果を単純化した理論解析を行い、カーネルクラスに対する最大KSDの収束特性を示す。 Ad-SVGDは、様々なタスクにおいて標準ヒューリスティックよりも一貫して優れています。

関連論文リスト

• Towards understanding Accelerated Stein Variational Gradient Flow -- Analysis of Generalized Bilinear Kernels for Gaussian target distributions [0.5528896840956629]
  SVGD(Stein variational gradient descent)は、ターゲット分布からサンプリングするカーネルベースの非パラメトリック粒子法である。 本稿では,確率密度の計量空間における加速勾配流に基づいて,加速SVGD(ASVGD)を導入する。 ベイズニューラルネットワークの設定において、SVGDはログライクリフとトータルタイムの点でSVGDを著しく上回る。
  論文  参考訳（メタデータ） (2025-09-04T08:39:47Z)
• DPO Kernels: A Semantically-Aware, Kernel-Enhanced, and Divergence-Rich Paradigm for Direct Preference Optimization [6.303144414273044]
  大規模言語モデル(LLM)は、多くのアプリケーションをアンロックしただけでなく、様々な値や好みと整合させることの難しさも浮き彫りにしている。 直接選好最適化(DPO)は、アライメントの中心であるが、固定された発散と限られた特徴変換によって制約される。
  論文  参考訳（メタデータ） (2025-01-05T00:08:52Z)
• Kernel Selection for Stein Variational Gradient Descent [19.16800190883095]
  一つのカーネルではなく、最適なカーネルを近似するために、複数のカーネルの組み合わせを提案する。 提案手法は最適なカーネル依存を除去するだけでなく,計算効率も維持する。
  論文  参考訳（メタデータ） (2021-07-20T08:48:42Z)
• A Note on Optimizing Distributions using Kernel Mean Embeddings [94.96262888797257]
  カーネル平均埋め込みは、その無限次元平均埋め込みによる確率測度を表す。 カーネルが特徴的である場合、カーネルの総和密度を持つ分布は密度が高いことを示す。 有限サンプル設定でそのような分布を最適化するアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2021-06-18T08:33:45Z)
• Kernel Identification Through Transformers [54.3795894579111]
  カーネル選択はガウス過程(GP)モデルの性能決定において中心的な役割を果たす。 この研究は、高次元GP回帰モデルのためのカスタムカーネル関数を構築するという課題に対処する。 KITT: Kernel Identification through Transformersを提案する。
  論文  参考訳（メタデータ） (2021-06-15T14:32:38Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Flow-based Kernel Prior with Application to Blind Super-Resolution [143.21527713002354]
  カーネル推定は一般にブラインド画像超解像(SR)の鍵となる問題の一つである 本稿では,カーネルモデリングのための正規化フローベースカーネルプリレント(fkp)を提案する。 合成および実世界の画像の実験により、提案したFKPがカーネル推定精度を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2021-03-29T22:37:06Z)
• DyCo3D: Robust Instance Segmentation of 3D Point Clouds through Dynamic Convolution [136.7261709896713]
  本稿では,インスタンスの性質に応じて適切な畳み込みカーネルを生成するデータ駆動型アプローチを提案する。 提案手法はScanetNetV2とS3DISの両方で有望な結果が得られる。 また、現在の最先端よりも推論速度を25%以上向上させる。
  論文  参考訳（メタデータ） (2020-11-26T14:56:57Z)
• Kernel Stein Generative Modeling [68.03537693810972]
  グラディエント・ランゲヴィン・ダイナミクス(SGLD)は高次元および複雑なデータ分布に関するエネルギーモデルによる印象的な結果を示す。 Stein Variational Gradient Descent (SVGD) は、与えられた分布を近似するために一組の粒子を反復的に輸送する決定論的サンプリングアルゴリズムである。 雑音条件付きカーネルSVGD(NCK-SVGD)を提案する。
  論文  参考訳（メタデータ） (2020-07-06T21:26:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。