論文の概要: A Concentration Inequality for Maximum Mean Discrepancy (MMD)-based Statistics and Its Application in Generative Models

• arxiv url: http://arxiv.org/abs/2405.14051v1
• Date: Wed, 22 May 2024 22:41:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 19:44:34.070565
• Title: A Concentration Inequality for Maximum Mean Discrepancy (MMD)-based Statistics and Its Application in Generative Models
• Title（参考訳）: 最大平均離散性(MMD)統計量に対する濃度不等式とその生成モデルへの応用
• Authors: Yijin Ni, Xiaoming Huo,
• Abstract要約: 最大平均離散性(MMD)に基づく推定器群に対する一様濃度不等式を提案する。 我々の不等式はMDDに基づく生成モデルの理論的解析における効率的なツールとして機能する。
• 参考スコア（独自算出の注目度）: 4.757470449749877
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Maximum Mean Discrepancy (MMD) is a probability metric that has found numerous applications in machine learning. In this work, we focus on its application in generative models, including the minimum MMD estimator, Generative Moment Matching Network (GMMN), and Generative Adversarial Network (GAN). In these cases, MMD is part of an objective function in a minimization or min-max optimization problem. Even if its empirical performance is competitive, the consistency and convergence rate analysis of the corresponding MMD-based estimators has yet to be carried out. We propose a uniform concentration inequality for a class of Maximum Mean Discrepancy (MMD)-based estimators, that is, a maximum deviation bound of empirical MMD values over a collection of generated distributions and adversarially learned kernels. Here, our inequality serves as an efficient tool in the theoretical analysis for MMD-based generative models. As elaborating examples, we applied our main result to provide the generalization error bounds for the MMD-based estimators in the context of the minimum MMD estimator and MMD GAN.
• Abstract（参考訳）: 最大平均離散性(英: Maximum Mean Discrepancy、MMD)は、機械学習における多くの応用を見出した確率メトリックである。 本研究では, 最小MDD推定器, 生成モーメントマッチングネットワーク(GMMN) , GAN (Generative Adversarial Network) などの生成モデルに適用することに焦点を当てた。 これらの場合、MDDは最小化あるいはmin-max最適化問題における目的関数の一部である。 その経験的性能が競合するとしても、対応するMDDベースの推定器の一貫性と収束率の分析はまだ行われていない。 本稿では,最大平均離散性(MMD)に基づく推定器のクラス,すなわち,生成した分布と逆学習されたカーネルの集合に対する経験的MDD値の最大偏差境界に対する一様集中不等式を提案する。 ここでは、MDDに基づく生成モデルの理論的解析において、我々の不等式は効率的なツールとなる。 その結果, 最小MDD推定器とMDGANの文脈におけるMDDに基づく推定器の一般化誤差境界について検討した。

関連論文リスト

• Consistent Estimation of a Class of Distances Between Covariance Matrices [7.291687946822539]
  我々は、それぞれの共分散行列に別々に適用される関数のトレースの和として表現できる距離の族に興味を持っている。 このクラスの距離推定器の挙動に関する統計的解析も行われている。 これらの推定器のガウス性を確立し、対応する手段と分散に対する閉形式表現を提供する中心極限定理を提案する。
  論文  参考訳（メタデータ） (2024-09-18T07:36:25Z)
• Statistical Framework for Clustering MU-MIMO Wireless via Second Order Statistics [8.195126516665914]
  複数のサンプル共分散行列 (SCM) 間の対数-ユークリッド距離の推定は, 試料数と観測サイズが同じ速度で非有界に成長した場合に一定であると考えられる。 本研究では,クラスタリングアルゴリズムの性能を現実的な条件下で正確に予測できる統計フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-08-08T14:23:06Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Partial identification of kernel based two sample tests with mismeasured data [5.076419064097733]
  最大平均離散性(MMD)のような2サンプルテストは、機械学習アプリケーションにおける2つの分布の違いを検出するためにしばしば使用される。 我々は,1つの分布の非ランダムな$epsilon$%が互いに誤ってグループ化されるような,$epsilon$-contaminationに基づくMDDの推定について検討した。 そこで本研究では,これらの境界を推定する手法を提案し,サンプルサイズが大きくなるにつれてMDD上の最も鋭い限界に収束する推定値を示す。
  論文  参考訳（メタデータ） (2023-08-07T13:21:58Z)
• Targeted Separation and Convergence with Kernel Discrepancies [61.973643031360254]
  カーネルベースの不一致測度は、(i)ターゲットPを他の確率測度から分離するか、(ii)Pへの弱収束を制御する必要がある。 本稿では, (i) と (ii) を保証するのに十分な,必要な新しい条件を導出する。 可分距離空間上のMDDに対して、ボヒナー埋め込み可測度を分離するカーネルを特徴づけ、すべての測度を非有界カーネルと分離するための単純な条件を導入する。
  論文  参考訳（メタデータ） (2022-09-26T16:41:16Z)
• Cycle Consistent Probability Divergences Across Different Spaces [38.43511529063335]
  確率分布の相違は、統計的推測と機械学習の核心にある。 本研究は, 異方性, 異方性, 異方性, 異なる空間上の分布をマッチングするための, アンバランスなモンジュ最適輸送定式化を提案する。
  論文  参考訳（メタデータ） (2021-11-22T16:35:58Z)
• Keep it Tighter -- A Story on Analytical Mean Embeddings [0.6445605125467574]
  カーネル技術は、データサイエンスにおいて最も人気があり柔軟なアプローチの一つである。 平均埋め込みは、最大平均不一致(MMD)と呼ばれる分岐測度をもたらす。 本稿では,基礎となる分布の1つの平均埋め込みが解析的に利用可能である場合のMDD推定の問題に焦点をあてる。
  論文  参考訳（メタデータ） (2021-10-15T21:29:27Z)
• Kernel distance measures for time series, random fields and other structured data [71.61147615789537]
  kdiffは、構造化データのインスタンス間の距離を推定するためのカーネルベースの新しい尺度である。 これはインスタンス間の自己類似性と交差類似性の両方を考慮し、距離分布の低い定量値を用いて定義される。 kdiffをクラスタリングと分類問題のための距離尺度として用いた分離性条件について,いくつかの理論的結果が得られた。
  論文  参考訳（メタデータ） (2021-09-29T22:54:17Z)
• A Note on Optimizing Distributions using Kernel Mean Embeddings [94.96262888797257]
  カーネル平均埋め込みは、その無限次元平均埋め込みによる確率測度を表す。 カーネルが特徴的である場合、カーネルの総和密度を持つ分布は密度が高いことを示す。 有限サンプル設定でそのような分布を最適化するアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2021-06-18T08:33:45Z)
• Rethink Maximum Mean Discrepancy for Domain Adaptation [77.2560592127872]
  本論文は,(1)最大平均距離の最小化は,それぞれソースとクラス内距離の最大化に等しいが,その差を暗黙の重みと共同で最小化し,特徴判別性は低下する,という2つの本質的な事実を理論的に証明する。 いくつかのベンチマークデータセットの実験は、理論的な結果の有効性を証明しただけでなく、我々のアプローチが比較した最先端手法よりも大幅に向上できることを実証した。
  論文  参考訳（メタデータ） (2020-07-01T18:25:10Z)
• Minimax Optimal Estimation of KL Divergence for Continuous Distributions [56.29748742084386]
  Kullback-Leibler の同一および独立に分布するサンプルからの発散は、様々な領域において重要な問題である。 単純で効果的な推定器の1つは、これらのサンプル間の近辺 k に基づいている。
  論文  参考訳（メタデータ） (2020-02-26T16:37:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。