論文の概要: Sobolev Space Regularised Pre Density Models

• arxiv url: http://arxiv.org/abs/2307.13763v2
• Date: Tue, 13 Feb 2024 20:52:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-15 19:46:30.878302
• Title: Sobolev Space Regularised Pre Density Models
• Title（参考訳）: ソボレフ空間規則化プレ密度モデル
• Authors: Mark Kozdoba, Binyamin Perets, Shie Mannor
• Abstract要約: 本研究では,ソボレフ法則の正則化に基づく非パラメトリック密度推定法を提案する。 この方法は統計的に一貫したものであり、帰納的検証モデルを明確かつ一貫したものにしている。
• 参考スコア（独自算出の注目度）: 51.558848491038916
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a new approach to non-parametric density estimation that is based on regularizing a Sobolev norm of the density. This method is statistically consistent, and makes the inductive bias of the model clear and interpretable. While there is no closed analytic form for the associated kernel, we show that one can approximate it using sampling. The optimization problem needed to determine the density is non-convex, and standard gradient methods do not perform well. However, we show that with an appropriate initialization and using natural gradients, one can obtain well performing solutions. Finally, while the approach provides pre-densities (i.e. not necessarily integrating to 1), which prevents the use of log-likelihood for cross validation, we show that one can instead adapt Fisher divergence based score matching methods for this task. We evaluate the resulting method on the comprehensive recent anomaly detection benchmark suite, ADBench, and find that it ranks second best, among more than 15 algorithms.
• Abstract（参考訳）: 本研究では,密度のソボレフノルムの正則化に基づく非パラメトリック密度推定法を提案する。 この方法は統計的に一貫性があり、モデルの帰納バイアスを明確かつ解釈可能である。 関連するカーネルに対して閉解析形式は存在しないが、サンプリングを用いて近似できることを示す。 密度を決定するのに必要な最適化問題は非凸であり、標準勾配法はうまく機能しない。 しかし, 適切な初期化と自然勾配を用いることで, 良好な解が得られることを示す。 最後に, 本手法は, クロスバリデーションにlog-likelihoodを使用できないような事前密度(すなわち, 1 への統合)を提供するが, 代わりに Fisher の発散に基づくスコアマッチング手法を適用可能であることを示す。 提案手法は,近年のanomaly detection benchmark suite (adbench) を包括的に評価し,15以上のアルゴリズムの中で第2位であることを確認した。

関連論文リスト

• A quasi-Bayesian sequential approach to deconvolution density estimation [7.10052009802944]
  密度デコンボリューションは、データからランダム信号の未知の密度関数$f$を推定する。 我々は、ノイズの多いデータが徐々に到着するストリーミングやオンライン環境での密度デコンボリューションの問題を考察する。 準ベイズ的シーケンシャルアプローチを頼りにすると、容易に評価できる$f$の推定値が得られる。
  論文  参考訳（メタデータ） (2024-08-26T16:40:04Z)
• Deep conditional distribution learning via conditional Föllmer flow [3.227277661633986]
  本研究では,条件F"ollmer Flow"という条件分布を学習するための常微分方程式(ODE)に基づく深部生成手法を提案する。 効率的な実装のために、我々は、深層ニューラルネットワークを用いて非パラメトリックに速度場を推定するオイラー法を用いて流れを判別する。
  論文  参考訳（メタデータ） (2024-02-02T14:52:10Z)
• Convergence of First-Order Methods for Constrained Nonconvex Optimization with Dependent Data [7.513100214864646]
  収束$tildeO(t-1/4)$とMoreautildeO(vareps-4)$がスムーズな非最適化のために最悪の場合の複雑性を示す。 適応的なステップサイズと最適収束度を持つ投影勾配法に基づく従属データに対する最初のオンライン非負行列分解アルゴリズムを得る。
  論文  参考訳（メタデータ） (2022-03-29T17:59:10Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Continuous Wasserstein-2 Barycenter Estimation without Minimax Optimization [94.18714844247766]
  ワッサーシュタイン・バリセンターは、最適輸送に基づく確率測度の重み付き平均の幾何学的概念を提供する。 本稿では,Wasserstein-2 バリセンタのサンプルアクセスを演算するスケーラブルなアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-02T21:01:13Z)
• Variational State and Parameter Estimation [0.8049701904919515]
  本稿では,非線形状態空間モデルにおけるベイズ状態とモデルパラメータの計算問題について考察する。 変化的アプローチは、望ましい、難解な分布を近似する仮定密度を提供するために使用される。 提案手法は2つの数値例で,最先端のハミルトニアンモンテカルロと比較した。
  論文  参考訳（メタデータ） (2020-12-14T05:35:29Z)
• Mean-Field Approximation to Gaussian-Softmax Integral with Application to Uncertainty Estimation [23.38076756988258]
  ディープニューラルネットワークにおける不確実性を定量化するための,新しい単一モデルに基づくアプローチを提案する。 平均場近似式を用いて解析的に難解な積分を計算する。 実験的に,提案手法は最先端の手法と比較して競合的に機能する。
  論文  参考訳（メタデータ） (2020-06-13T07:32:38Z)
• GradientDICE: Rethinking Generalized Offline Estimation of Stationary Values [75.17074235764757]
  対象ポリシーの状態分布とサンプリング分布の密度比を推定するグラディエントDICEを提案する。 GenDICEはそのような密度比を推定するための最先端技術である。
  論文  参考訳（メタデータ） (2020-01-29T22:10:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。