論文の概要: A Deterministic Sampling Method via Maximum Mean Discrepancy Flow with Adaptive Kernel

• arxiv url: http://arxiv.org/abs/2111.10722v3
• Date: Tue, 11 Mar 2025 16:09:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 15:40:10.106532
• Title: A Deterministic Sampling Method via Maximum Mean Discrepancy Flow with Adaptive Kernel
• Title（参考訳）: 適応カーネルを用いた最大平均離散流による決定論的サンプリング法
• Authors: Yindong Chen, Yiwei Wang, Lulu Kang, Chun Liu,
• Abstract要約: 本稿では,カーネルの不一致を最小限に抑えて,ターゲット分布を$rho*$に近似する新しい決定論的サンプリング手法を提案する。 EVI-MMDアルゴリズムを用いて2種類のサンプリング問題を解く。
• 参考スコア（独自算出の注目度）: 5.618322163107168
• License:
• Abstract: We propose a novel deterministic sampling method to approximate a target distribution $\rho^*$ by minimizing the kernel discrepancy, also known as the Maximum Mean Discrepancy (MMD). By employing the general \emph{energetic variational inference} framework (Wang et al., 2021), we convert the problem of minimizing MMD to solving a dynamic ODE system of the particles. We adopt the implicit Euler numerical scheme to solve the ODE systems. This leads to a proximal minimization problem in each iteration of updating the particles, which can be solved by optimization algorithms such as L-BFGS. The proposed method is named EVI-MMD. To overcome the long-existing issue of bandwidth selection of the Gaussian kernel, we propose a novel way to specify the bandwidth dynamically. Through comprehensive numerical studies, we have shown the proposed adaptive bandwidth significantly improves the EVI-MMD. We use the EVI-MMD algorithm to solve two types of sampling problems. In the first type, the target distribution is given by a fully specified density function. The second type is a "two-sample problem", where only training data are available. The EVI-MMD method is used as a generative learning model to generate new samples that follow the same distribution as the training data. With the recommended settings of the tuning parameters, we show that the proposed EVI-MMD method outperforms some existing methods for both types of problems.
• Abstract（参考訳）: 本稿では,最大平均離散性(MMD)と呼ばれるカーネルの誤差を最小限に抑え,目標分布を$\rho^*$に近似する新しい決定論的サンプリング手法を提案する。 一般の 'emph{energetic variational inference} フレームワーク (Wang et al , 2021) を用いることで、MDD を最小化する問題を粒子の動的ODE システムに変換する。 我々は、ODEシステムを解くために暗黙のオイラー数値スキームを採用する。 これにより、L-BFGSのような最適化アルゴリズムで解けるように、粒子を更新するごとに近位最小化の問題が発生する。 提案手法はEVI-MMDと呼ばれる。 ガウスカーネルの帯域幅選択の長年にわたる課題を克服するために,帯域幅を動的に指定する方法を提案する。 総合的な数値的な研究を通じて、提案した適応帯域幅はEVI-MMDを大幅に改善することを示した。 EVI-MMDアルゴリズムを用いて2種類のサンプリング問題を解く。 第1のタイプでは、ターゲット分布は、完全に指定された密度関数によって与えられる。 2つ目のタイプは"2サンプル問題"であり、トレーニングデータのみが利用可能である。 The EVI-MMD method is used as a generative learning model to generate new sample that follow the distribution of the training data。 チューニングパラメータの推奨設定により,提案手法が既存手法よりも優れていることを示す。

関連論文リスト

• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Alternating Minimization Schemes for Computing Rate-Distortion-Perception Functions with $f$-Divergence Perception Constraints [10.564071872770146]
  離散メモリレスソースに対するRDPF(Ralse-Distortion-Perception Function)の計算について検討した。 最適パラメトリック解を特徴付ける。 歪みと知覚制約について十分な条件を提供する。
  論文  参考訳（メタデータ） (2024-08-27T12:50:12Z)
• Efficient Alternating Minimization Solvers for Wyner Multi-View Unsupervised Learning [0.0]
  本稿では,計算効率のよい解法の開発を可能にする2つの新しい定式化法を提案する。 提案した解法は, 計算効率, 理論的収束保証, ビュー数による局所最小値複雑性, 最先端技術と比較して, 例外的な精度を提供する。
  論文  参考訳（メタデータ） (2023-03-28T10:17:51Z)
• Making Linear MDPs Practical via Contrastive Representation Learning [101.75885788118131]
  マルコフ決定過程(MDP)における次元性の呪いに、低ランク表現を利用することで対処することが一般的である。 本稿では,効率的な表現学習を可能にしつつ,正規化を自動的に保証する線形MDPの代替的定義について考察する。 いくつかのベンチマークにおいて、既存の最先端モデルベースおよびモデルフリーアルゴリズムよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-07-14T18:18:02Z)
• The Dynamics of Riemannian Robbins-Monro Algorithms [101.29301565229265]
  本稿では,Robins と Monro のセミナル近似フレームワークを一般化し拡張するリーマンアルゴリズムの族を提案する。 ユークリッドのそれと比較すると、リーマンのアルゴリズムは多様体上の大域線型構造が欠如しているため、はるかに理解されていない。 ユークリッド・ロビンス=モンロスキームの既存の理論を反映し拡張するほぼ確実な収束結果の一般的なテンプレートを提供する。
  論文  参考訳（メタデータ） (2022-06-14T12:30:11Z)
• Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
  決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。 厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。 このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
  論文  参考訳（メタデータ） (2021-11-29T15:10:09Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Jointly Modeling and Clustering Tensors in High Dimensions [6.072664839782975]
  テンソルの合同ベンチマークとクラスタリングの問題を考察する。 本稿では,統計的精度の高い近傍に幾何的に収束する効率的な高速最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-04-15T21:06:16Z)
• The EM Perspective of Directional Mean Shift Algorithm [3.60425753550939]
  指向性平均シフト (DMS) アルゴリズムは、単位超球面上のカーネル密度推定器によって定義される局所的な密度モードを求める非パラメトリックな手法である。 任意のdmsを一般化期待最大化(em)アルゴリズムと見なすことができることを示す。
  論文  参考訳（メタデータ） (2021-01-25T13:17:12Z)
• Efficient Consensus Model based on Proximal Gradient Method applied to Convolutional Sparse Problems [2.335152769484957]
  我々は、勾配近似(PG)アプローチに基づく効率的なコンセンサスアルゴリズムの理論解析を導出し、詳述する。 提案アルゴリズムは、異常検出タスクに対する別の特別な畳み込み問題にも適用できる。
  論文  参考訳（メタデータ） (2020-11-19T20:52:48Z)
• Iterative Algorithm Induced Deep-Unfolding Neural Networks: Precoding Design for Multiuser MIMO Systems [59.804810122136345]
  本稿では,AIIDNN(ディープ・アンフォールディング・ニューラルネット)を一般化した,ディープ・アンフォールディングのためのフレームワークを提案する。 古典的重み付き最小二乗誤差(WMMSE)反復アルゴリズムの構造に基づく効率的なIAIDNNを提案する。 提案したIAIDNNは,計算複雑性を低減した反復WMMSEアルゴリズムの性能を効率よく向上することを示す。
  論文  参考訳（メタデータ） (2020-06-15T02:57:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。