論文の概要: Monte Carlo with kernel-based Gibbs measures: Guarantees for probabilistic herding

• arxiv url: http://arxiv.org/abs/2402.11736v2
• Date: Sat, 09 Aug 2025 17:22:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:28.020497
• Title: Monte Carlo with kernel-based Gibbs measures: Guarantees for probabilistic herding
• Title（参考訳）: カーネルベースのGibs測度を持つMonte Carlo:確率的ハーディングの保証
• Authors: Martin Rouault, Rémi Bardenet, Mylène Maïda,
• Abstract要約: 本研究では、カーネルのハーディングと同じ最悪のエラーを最小限に抑えるために、二次ノード上の結合確率分布について検討する。 我々の主な貢献は、最悪の積分誤差に対してより厳密な集中不等式を持つという意味で、モンテカルロよりも優れていることを証明することである。
• 参考スコア（独自算出の注目度）: 5.502903075972815
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Kernel herding belongs to a family of deterministic quadratures that seek to minimize the worst-case integration error over a reproducing kernel Hilbert space (RKHS). These quadrature rules come with strong experimental evidence that this worst-case error decreases at a faster rate than the standard square root of the number of quadrature nodes. This conjectured fast rate is key for integrating expensive-to-evaluate functions, as in Bayesian inference of expensive models, and makes up for the increased computational cost of sampling, compared to i.i.d. or MCMC quadratures. However, there is little theoretical support for this faster-than-square-root rate, at least in the usual case where the RKHS is infinite-dimensional, while recent progress on distribution compression suggests that results on the direct minimization of worst-case integration are possible. In this paper, we study a joint probability distribution over quadrature nodes, whose support tends to minimize the same worst-case error as kernel herding. Our main contribution is to prove that it does outperform i.i.d Monte Carlo, in the sense of coming with a tighter concentration inequality on the worst-case integration error. This first step towards proving a fast error decay demonstrates that the mathematical toolbox developed around Gibbs measures can help understand to what extent kernel herding and its variants improve on computationally cheaper methods. Moreover, we investigate the computational bottlenecks of approximately sampling our quadrature, and we demonstrate on toy examples that a faster rate of convergence, though not worst-case, is likely.
• Abstract（参考訳）: カーネルシェディングは、再現されたカーネルヒルベルト空間(RKHS)上の最悪の積分誤差を最小化しようとする決定論的二次関数の族に属する。 これらの二次規則は、この最悪のケースエラーが二次ノード数の標準平方根よりも速い速度で減少するという強い実験的な証拠を伴っている。 この予想された速さは、高価なモデルのベイズ推定のように高価な関数を統合するための鍵であり、i.d.やMCMCの二次関数と比較してサンプリングの計算コストが増加するのを補っている。 しかしながら、少なくともRKHSが無限次元である通常の場合において、このより高速な平方根速度に対する理論的支持はほとんどなく、分布圧縮の最近の進歩は、最悪のケース積分の直接最小化の結果が可能であることを示唆している。 本稿では、カーネルのハーディングと同じ最悪のエラーを最小限に抑えることができるような、二次ノード上の結合確率分布について検討する。 我々の主な貢献は、最悪の積分誤差に対してより厳密な集中不等式を持つという意味で、モンテカルロよりも優れていることを証明することである。 高速なエラー崩壊を証明するための最初のステップは、ギブス測度を中心に開発された数学的ツールボックスが、計算コストの低い方法において、カーネルのハーディングとその変種がどの程度改善されているかを理解するのに役立つことを証明している。 さらに, 約4分の1をサンプリングする際の計算ボトルネックについて検討し, 最悪の場合ではないものの, より高速な収束率を示す。

関連論文リスト

• Quenched large deviations for Monte Carlo integration with Coulomb gases [5.502903075972815]
  確率のランダムな近似は、提案した積分アルゴリズムが独立性あるいはマルコフ二次性を上回ることを保証し、高速な大きな偏差原理を保っていることを示す。 クーロン相互作用核に対しては、別のギブズ測度に基づく近似が必要であり、ポテンシャルの近似の均一収束の制御をパスすることが証明される。
  論文  参考訳（メタデータ） (2025-08-02T14:52:06Z)
• On the Convergence of Irregular Sampling in Reproducing Kernel Hilbert Spaces [0.0]
  本稿では,カーネルと入力データの両方に対する最小主義的仮定の下で,カーネル回帰の近似特性について論じる。 我々はまず、カーネルのRKHS基準でエラー推定を証明した。 これにより、コンパクト領域上でのカーネル回帰の均一収束に関する新たな結果が導かれる。
  論文  参考訳（メタデータ） (2025-04-18T10:57:16Z)
• Faster Convergence of Stochastic Accelerated Gradient Descent under Interpolation [51.248784084461334]
  我々はNesterov加速度アンダーホ条件の一般化版に対する新しい収束率を証明した。 本分析により, 従来の研究に比べて, 強い成長定数への依存度を$$$から$sqrt$に下げることができた。
  論文  参考訳（メタデータ） (2024-04-03T00:41:19Z)
• Quasi-Monte Carlo Graph Random Features [38.762964164013226]
  グラフランダム特徴量(GRF)の精度向上のための新しいメカニズムを提案する。 提案手法は, アルゴリズムのランダムウォークの長さ間の負の相関を, アンチセティック終端を付与することによって引き起こす。 これらの準モンテカルロ GRF の性質に関する強い理論的保証を得る。
  論文  参考訳（メタデータ） (2023-05-21T14:12:02Z)
• Quantizing Heavy-tailed Data in Statistical Estimation: (Near) Minimax Rates, Covariate Quantization, and Uniform Recovery [22.267482745621997]
  本稿では,いくつかの統計的推定問題における重み付きデータの定量化について検討する。 我々は、均一な量子化の前にデータを切断し、適切に拡張することを提案する。
  論文  参考訳（メタデータ） (2022-12-30T06:28:30Z)
• Lassoed Tree Boosting [53.56229983630983]
  有界断面変動のカドラー関数の大きな非パラメトリック空間において,早期に停止するn-1/4$ L2の収束速度を持つ勾配向上木アルゴリズムを証明した。 我々の収束証明は、ネストしたドンスカー類の経験的損失最小化子による早期停止に関する新しい一般定理に基づいている。
  論文  参考訳（メタデータ） (2022-05-22T00:34:41Z)
• Nystr\"om Kernel Mean Embeddings [92.10208929236826]
  Nystr"om法に基づく効率的な近似手法を提案する。 サブサンプルサイズの条件は標準の$n-1/2$レートを得るのに十分である。 本稿では,この結果の最大誤差と二次規則の近似への応用について論じる。
  論文  参考訳（メタデータ） (2022-01-31T08:26:06Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• A Note on Optimizing Distributions using Kernel Mean Embeddings [94.96262888797257]
  カーネル平均埋め込みは、その無限次元平均埋め込みによる確率測度を表す。 カーネルが特徴的である場合、カーネルの総和密度を持つ分布は密度が高いことを示す。 有限サンプル設定でそのような分布を最適化するアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2021-06-18T08:33:45Z)
• Acceleration of the kernel herding algorithm by improved gradient approximation [6.802401545890963]
  カーネル・ハーディング(kernel herding)は、再生核ヒルベルト空間において二次公式を構築するために用いられる方法である。 我々は,カーネル・ハーディングアルゴリズムの改良版を2つ提案する。
  論文  参考訳（メタデータ） (2021-05-17T14:32:45Z)
• Free Energy Wells and Overlap Gap Property in Sparse PCA [81.64027805404483]
  我々は「ハード」体制におけるスパースPCA問題(主成分分析)の変種について検討する。 問題に自然に関連付けられた様々なギブズ測度に対する自由エネルギー井戸の深さの有界性を示す。 我々は、オーバーラップギャップ特性(OGP)がハードレジームの重要な部分を占めていることを証明した。
  論文  参考訳（メタデータ） (2020-06-18T17:18:02Z)
• Counterexamples to the Low-Degree Conjecture [80.3668228845075]
  ホプキンスの予想は、ある高次元仮説テスト問題に対して、非時間アルゴリズムはいわゆる「単純な統計」よりも優れていると仮定する。 この予想は、統計対計算のトレードオフを理解しようとする最近の研究のラインを囲む信念を定式化する。
  論文  参考訳（メタデータ） (2020-04-17T21:08:11Z)
• RFN: A Random-Feature Based Newton Method for Empirical Risk Minimization in Reproducing Kernel Hilbert Spaces [14.924672048447334]
  大規模な有限サム問題はニュートン法の効率的な変種を用いて解くことができ、ヘッセンはデータのサブサンプルによって近似される。 本稿では,このような問題に対して,ニュートン法を高速化するためにカーネル近似を自然に利用できることを考察する。 局所超線型収束と大域線形収束を両立させる新しい2次アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-12T01:14:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。