論文の概要: Monte Carlo with kernel-based Gibbs measures: Guarantees for probabilistic herding

• arxiv url: http://arxiv.org/abs/2402.11736v1
• Date: Sun, 18 Feb 2024 23:39:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-20 19:05:36.770845
• Title: Monte Carlo with kernel-based Gibbs measures: Guarantees for probabilistic herding
• Title（参考訳）: カーネルベースのGibbs測度を持つMonte Carlo:確率的ハーディングの保証
• Authors: Martin Rouault, R\'emi Bardenet, Myl\`ene Ma\"ida
• Abstract要約: 本研究では、カーネルのハーディングと同じ最悪のエラーを最小限に抑えるために、二次ノード上の結合確率分布について検討する。 最悪のケースではないものの、より高速な収束が可能であるという、初期の実験的な証拠を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Kernel herding belongs to a family of deterministic quadratures that seek to minimize the worst-case integration error over a reproducing kernel Hilbert space (RKHS). In spite of strong experimental support, it has revealed difficult to prove that this worst-case error decreases at a faster rate than the standard square root of the number of quadrature nodes, at least in the usual case where the RKHS is infinite-dimensional. In this theoretical paper, we study a joint probability distribution over quadrature nodes, whose support tends to minimize the same worst-case error as kernel herding. We prove that it does outperform i.i.d. Monte Carlo, in the sense of coming with a tighter concentration inequality on the worst-case integration error. While not improving the rate yet, this demonstrates that the mathematical tools of the study of Gibbs measures can help understand to what extent kernel herding and its variants improve on computationally cheaper methods. Moreover, we provide early experimental evidence that a faster rate of convergence, though not worst-case, is likely.
• Abstract（参考訳）: カーネルシェディングは、再現されたカーネルヒルベルト空間(RKHS)上の最悪の積分誤差を最小限に抑える決定論的二次関数の族に属する。 強い実験的支持にもかかわらず、少なくともRKHSが無限次元である通常の場合において、この最悪のケースエラーが二次ノード数の標準平方根よりも速い速度で減少することを証明することは困難である。 本稿では,カーネルのハーディングと同じ最悪のエラーを最小限に抑えるため,二次ノード上の結合確率分布について検討する。 最悪ケース積分誤差に対してより厳密な濃度不等式を持つという意味で、モンテカルロよりも優れていることを証明している。 速度をまだ改善していないが、ギブス測度の研究の数学的ツールが、カーネル・ハーディングとその変種が計算量的に安価な手法でどの程度改善するかを理解するのに役立つことを証明している。 さらに, 早期実験により, 最悪の場合ではないが, 収束速度が速くなる可能性が示唆された。

関連論文リスト

• Faster Convergence of Stochastic Accelerated Gradient Descent under Interpolation [51.248784084461334]
  我々はNesterov加速度アンダーホ条件の一般化版に対する新しい収束率を証明した。 本分析により, 従来の研究に比べて, 強い成長定数への依存度を$$$から$sqrt$に下げることができた。
  論文  参考訳（メタデータ） (2024-04-03T00:41:19Z)
• Quasi-Monte Carlo Graph Random Features [38.762964164013226]
  グラフランダム特徴量(GRF)の精度向上のための新しいメカニズムを提案する。 提案手法は, アルゴリズムのランダムウォークの長さ間の負の相関を, アンチセティック終端を付与することによって引き起こす。 これらの準モンテカルロ GRF の性質に関する強い理論的保証を得る。
  論文  参考訳（メタデータ） (2023-05-21T14:12:02Z)
• Quantizing Heavy-tailed Data in Statistical Estimation: (Near) Minimax Rates, Covariate Quantization, and Uniform Recovery [22.267482745621997]
  本稿では,いくつかの統計的推定問題における重み付きデータの定量化について検討する。 我々は、均一な量子化の前にデータを切断し、適切に拡張することを提案する。
  論文  参考訳（メタデータ） (2022-12-30T06:28:30Z)
• Lassoed Tree Boosting [53.56229983630983]
  有界断面変動のカドラー関数の大きな非パラメトリック空間において,早期に停止するn-1/4$ L2の収束速度を持つ勾配向上木アルゴリズムを証明した。 我々の収束証明は、ネストしたドンスカー類の経験的損失最小化子による早期停止に関する新しい一般定理に基づいている。
  論文  参考訳（メタデータ） (2022-05-22T00:34:41Z)
• Nystr\"om Kernel Mean Embeddings [92.10208929236826]
  Nystr"om法に基づく効率的な近似手法を提案する。 サブサンプルサイズの条件は標準の$n-1/2$レートを得るのに十分である。 本稿では,この結果の最大誤差と二次規則の近似への応用について論じる。
  論文  参考訳（メタデータ） (2022-01-31T08:26:06Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• A Note on Optimizing Distributions using Kernel Mean Embeddings [94.96262888797257]
  カーネル平均埋め込みは、その無限次元平均埋め込みによる確率測度を表す。 カーネルが特徴的である場合、カーネルの総和密度を持つ分布は密度が高いことを示す。 有限サンプル設定でそのような分布を最適化するアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2021-06-18T08:33:45Z)
• Acceleration of the kernel herding algorithm by improved gradient approximation [6.802401545890963]
  カーネル・ハーディング(kernel herding)は、再生核ヒルベルト空間において二次公式を構築するために用いられる方法である。 我々は,カーネル・ハーディングアルゴリズムの改良版を2つ提案する。
  論文  参考訳（メタデータ） (2021-05-17T14:32:45Z)
• Counterexamples to the Low-Degree Conjecture [80.3668228845075]
  ホプキンスの予想は、ある高次元仮説テスト問題に対して、非時間アルゴリズムはいわゆる「単純な統計」よりも優れていると仮定する。 この予想は、統計対計算のトレードオフを理解しようとする最近の研究のラインを囲む信念を定式化する。
  論文  参考訳（メタデータ） (2020-04-17T21:08:11Z)
• RFN: A Random-Feature Based Newton Method for Empirical Risk Minimization in Reproducing Kernel Hilbert Spaces [14.924672048447334]
  大規模な有限サム問題はニュートン法の効率的な変種を用いて解くことができ、ヘッセンはデータのサブサンプルによって近似される。 本稿では,このような問題に対して,ニュートン法を高速化するためにカーネル近似を自然に利用できることを考察する。 局所超線型収束と大域線形収束を両立させる新しい2次アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-12T01:14:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。