論文の概要: A Mean-Field Theory for Learning the Sch\"{o}nberg Measure of Radial Basis Functions

• arxiv url: http://arxiv.org/abs/2006.13330v2
• Date: Fri, 3 Jul 2020 13:43:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 23:01:28.427406
• Title: A Mean-Field Theory for Learning the Sch\"{o}nberg Measure of Radial Basis Functions
• Title（参考訳）: 放射基底関数のSch\"{o}nberg測度を学習するための平均場理論
• Authors: Masoud Badiei Khuzani, Yinyu Ye, Sandy Napel, Lei Xing
• Abstract要約: トレーニングサンプルから放射基底関数のシュンベルク積分表現の分布を学習する。 スケーリング限界において、ランゲヴィン粒子の経験的測度が、反射的イオ拡散ドリフト過程の法則に収束することを証明する。
• 参考スコア（独自算出の注目度）: 13.503048325896174
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We develop and analyze a projected particle Langevin optimization method to learn the distribution in the Sch\"{o}nberg integral representation of the radial basis functions from training samples. More specifically, we characterize a distributionally robust optimization method with respect to the Wasserstein distance to optimize the distribution in the Sch\"{o}nberg integral representation. To provide theoretical performance guarantees, we analyze the scaling limits of a projected particle online (stochastic) optimization method in the mean-field regime. In particular, we prove that in the scaling limits, the empirical measure of the Langevin particles converges to the law of a reflected It\^{o} diffusion-drift process. Moreover, the drift is also a function of the law of the underlying process. Using It\^{o} lemma for semi-martingales and Grisanov's change of measure for the Wiener processes, we then derive a Mckean-Vlasov type partial differential equation (PDE) with Robin boundary conditions that describes the evolution of the empirical measure of the projected Langevin particles in the mean-field regime. In addition, we establish the existence and uniqueness of the steady-state solutions of the derived PDE in the weak sense. We apply our learning approach to train radial kernels in the kernel locally sensitive hash (LSH) functions, where the training data-set is generated via a $k$-mean clustering method on a small subset of data-base. We subsequently apply our kernel LSH with a trained kernel for image retrieval task on MNIST data-set, and demonstrate the efficacy of our kernel learning approach. We also apply our kernel learning approach in conjunction with the kernel support vector machines (SVMs) for classification of benchmark data-sets.
• Abstract（参考訳）: 我々は、トレーニングサンプルから放射基底関数のSch\"{o}nberg積分表現の分布を学習するために、射影粒子ランゲヴィン最適化法を開発し、解析する。 より具体的には、分布的に頑健な最適化法をワッサーシュタイン距離に対して特徴付け、Sch\"{o}nberg積分表現の分布を最適化する。 理論的性能保証を提供するため,平均場環境における投影粒子オンライン(確率的)最適化手法のスケーリング限界を解析する。 特に、スケーリング限界において、ランゲヴィン粒子の経験的測度が、反射した It\^{o} 拡散ドリフト過程の法則に収束することを証明する。 さらに、ドリフトは基礎となるプロセスの法則の関数でもある。 半マルティンガレとグリサノフのウィナー過程における測度変化に対する I\^{o} レムマを用いて、平均場状態における射影ランゲヴィン粒子の経験的測度の進化を記述するロビン境界条件を持つ Mckean-Vlasov 型偏微分方程式 (PDE) を導出する。 さらに、導出されたPDEの定常解の存在と特異性を弱い意味で確立する。 我々は,カーネル局所機密ハッシュ(lsh)関数におけるラジアルカーネルのトレーニングに学習アプローチを適用し,トレーニングデータセットは,データベースのごく一部に$k$-meanクラスタリング手法を用いて生成する。 その後,mnistデータセット上の画像検索タスクにカーネルlshを訓練したカーネルに適用し,カーネル学習手法の有効性を実証した。 また、ベンチマークデータセットの分類にカーネルサポートベクトルマシン(SVM)とともにカーネル学習アプローチを適用した。

関連論文リスト

• Score-based Diffusion Models in Function Space [140.792362459734]
  拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。 本稿では,関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)という,数学的に厳密なフレームワークを提案する。 データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
  論文  参考訳（メタデータ） (2023-02-14T23:50:53Z)
• Monte Carlo Neural PDE Solver for Learning PDEs via Probabilistic Representation [59.45669299295436]
  教師なしニューラルソルバのトレーニングのためのモンテカルロPDEソルバを提案する。 我々は、マクロ現象をランダム粒子のアンサンブルとみなすPDEの確率的表現を用いる。 対流拡散, アレン・カーン, ナヴィエ・ストークス方程式に関する実験により, 精度と効率が著しく向上した。
  論文  参考訳（メタデータ） (2023-02-10T08:05:19Z)
• Learning "best" kernels from data in Gaussian process regression. With application to aerodynamics [0.4588028371034406]
  本稿では,ガウス過程の回帰/クリギングサロゲートモデリング手法におけるカーネルの選択/設計アルゴリズムを紹介する。 アルゴリズムの最初のクラスはカーネルフローであり、機械学習の分類の文脈で導入された。 アルゴリズムの第2のクラスはスペクトル核リッジ回帰と呼ばれ、近似される関数のノルムが最小となるような「最良の」カーネルを選択することを目的としている。
  論文  参考訳（メタデータ） (2022-06-03T07:50:54Z)
• Sobolev Acceleration and Statistical Optimality for Learning Elliptic Equations via Gradient Descent [11.483919798541393]
  本研究では,無作為なサンプルノイズ観測から逆問題解くために,ソボレフの勾配降下ノルムの統計的限界について検討する。 我々の目的関数のクラスには、カーネル回帰のためのソボレフトレーニング、Deep Ritz Methods(DRM)、Physical Informed Neural Networks(PINN)が含まれる。
  論文  参考訳（メタデータ） (2022-05-15T17:01:53Z)
• A blob method method for inhomogeneous diffusion with applications to multi-agent control and sampling [0.6562256987706128]
  重み付き多孔質媒質方程式(WPME)に対する決定論的粒子法を開発し,その収束性を時間間隔で証明する。 提案手法は,マルチエージェントカバレッジアルゴリズムや確率測定のサンプリングに自然に応用できる。
  論文  参考訳（メタデータ） (2022-02-25T19:49:05Z)
• A Kernel Learning Method for Backward SDE Filter [1.7035011973665108]
  我々は,その部分雑音観測に基づいて動的システムの状態を伝播するカーネル学習逆SDEフィルタ法を開発した。 本研究では,目標状態の条件付き確率密度関数に対する連続的大域的近似を学習するためのカーネル学習手法を提案する。 数値実験により、カーネル学習の後方SDEは極めて効率的かつ効率的であることが示されている。
  論文  参考訳（メタデータ） (2022-01-25T19:49:19Z)
• A Note on Optimizing Distributions using Kernel Mean Embeddings [94.96262888797257]
  カーネル平均埋め込みは、その無限次元平均埋め込みによる確率測度を表す。 カーネルが特徴的である場合、カーネルの総和密度を持つ分布は密度が高いことを示す。 有限サンプル設定でそのような分布を最適化するアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2021-06-18T08:33:45Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)
• Fast Estimation of Information Theoretic Learning Descriptors using Explicit Inner Product Spaces [4.5497405861975935]
  カーネル法は、信号処理や機械学習における非線形問題を解くため、理論的に座屈し、強力で汎用的な枠組みを形成する。 近年, NTカーネル適応フィルタ (KAF) を提案する。 我々は,内部積空間カーネルを用いたIPLの高速,スケーラブル,高精度な推定器群に着目した。
  論文  参考訳（メタデータ） (2020-01-01T20:21:12Z)
• A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
  学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。 フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。 既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
  論文  参考訳（メタデータ） (2019-10-31T02:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。