論文の概要: A Concentration Inequality for Maximum Mean Discrepancy (MMD)-based Statistics and Its Application in Generative Models

• arxiv url: http://arxiv.org/abs/2405.14051v1
• Date: Wed, 22 May 2024 22:41:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 19:44:34.070565
• Title: A Concentration Inequality for Maximum Mean Discrepancy (MMD)-based Statistics and Its Application in Generative Models
• Title（参考訳）: 最大平均離散性(MMD)統計量に対する濃度不等式とその生成モデルへの応用
• Authors: Yijin Ni, Xiaoming Huo,
• Abstract要約: 最大平均離散性(MMD)に基づく推定器群に対する一様濃度不等式を提案する。 我々の不等式はMDDに基づく生成モデルの理論的解析における効率的なツールとして機能する。
• 参考スコア（独自算出の注目度）: 4.757470449749877
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Maximum Mean Discrepancy (MMD) is a probability metric that has found numerous applications in machine learning. In this work, we focus on its application in generative models, including the minimum MMD estimator, Generative Moment Matching Network (GMMN), and Generative Adversarial Network (GAN). In these cases, MMD is part of an objective function in a minimization or min-max optimization problem. Even if its empirical performance is competitive, the consistency and convergence rate analysis of the corresponding MMD-based estimators has yet to be carried out. We propose a uniform concentration inequality for a class of Maximum Mean Discrepancy (MMD)-based estimators, that is, a maximum deviation bound of empirical MMD values over a collection of generated distributions and adversarially learned kernels. Here, our inequality serves as an efficient tool in the theoretical analysis for MMD-based generative models. As elaborating examples, we applied our main result to provide the generalization error bounds for the MMD-based estimators in the context of the minimum MMD estimator and MMD GAN.
• Abstract（参考訳）: 最大平均離散性(英: Maximum Mean Discrepancy、MMD)は、機械学習における多くの応用を見出した確率メトリックである。 本研究では, 最小MDD推定器, 生成モーメントマッチングネットワーク(GMMN) , GAN (Generative Adversarial Network) などの生成モデルに適用することに焦点を当てた。 これらの場合、MDDは最小化あるいはmin-max最適化問題における目的関数の一部である。 その経験的性能が競合するとしても、対応するMDDベースの推定器の一貫性と収束率の分析はまだ行われていない。 本稿では,最大平均離散性(MMD)に基づく推定器のクラス,すなわち,生成した分布と逆学習されたカーネルの集合に対する経験的MDD値の最大偏差境界に対する一様集中不等式を提案する。 ここでは、MDDに基づく生成モデルの理論的解析において、我々の不等式は効率的なツールとなる。 その結果, 最小MDD推定器とMDGANの文脈におけるMDDに基づく推定器の一般化誤差境界について検討した。

関連論文リスト

• Model aggregation: minimizing empirical variance outperforms minimizing empirical error [0.29008108937701327]
  多様なモデルからの予測を単一のより正確な出力に集約する,データ駆動型フレームワークを提案する。 モデルはブラックボックス関数として扱う、モデルに依存しない、最小限の仮定を必要とする、広範囲のモデルからの出力を組み合わせることができる。 従来の解法と機械学習モデルをうまく統合して、堅牢性と精度の両方を改善する方法を示す。
  論文  参考訳（メタデータ） (2024-09-25T18:33:21Z)
• A Gradient Analysis Framework for Rewarding Good and Penalizing Bad Examples in Language Models [63.949883238901414]
  本稿では,損失関数の勾配解析の特異な角度について述べる。 ExMATEはMLEの優れたサロゲートであり,DPOとMLEの代わりにExMATEを組み合わせることで,統計的(5-7%)と生成的(+18%)の性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-08-29T17:46:18Z)
• Partial identification of kernel based two sample tests with mismeasured data [5.076419064097733]
  最大平均離散性(MMD)のような2サンプルテストは、機械学習アプリケーションにおける2つの分布の違いを検出するためにしばしば使用される。 我々は,1つの分布の非ランダムな$epsilon$%が互いに誤ってグループ化されるような,$epsilon$-contaminationに基づくMDDの推定について検討した。 そこで本研究では,これらの境界を推定する手法を提案し,サンプルサイズが大きくなるにつれてMDD上の最も鋭い限界に収束する推定値を示す。
  論文  参考訳（メタデータ） (2023-08-07T13:21:58Z)
• Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
  Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。 本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。 我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
  論文  参考訳（メタデータ） (2022-09-27T07:58:25Z)
• Maximum Mean Discrepancy for Generalization in the Presence of Distribution and Missingness Shift [0.0]
  MMD損失成分の統合は、モデルが最適化に最適な機能を利用するのに役立ち、テストサンプル毎に可能な限り危険な外挿を避けるのに役立ちます。 このMDDアプローチで処理されたモデルでは、テストセットのパフォーマンス、キャリブレーション、外挿が向上する。
  論文  参考訳（メタデータ） (2021-11-19T18:01:05Z)
• On the Optimization Landscape of Maximum Mean Discrepancy [26.661542645011046]
  生成モデルは現実的な信号の生成に成功している。 確率関数は典型的にはこれらのモデルの多くで難解であるため、確率計算を避けるために「単純化」を行うのが一般的である。 特に、彼らが世界規模で非親密な目標を最小化できるのかは理解されていない。
  論文  参考訳（メタデータ） (2021-10-26T07:32:37Z)
• Fast and Efficient MMD-based Fair PCA via Optimization over Stiefel Manifold [41.58534159822546]
  本稿では,主成分分析(PCA)について,次元推定条件分布の最大誤差(MMD)を最小化するものとして定義する。 我々は最適性保証を提供し、実践的な環境で理論効果を明示的に示す。
  論文  参考訳（メタデータ） (2021-09-23T08:06:02Z)
• Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
  深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。 本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。 自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
  論文  参考訳（メタデータ） (2021-06-07T17:47:16Z)
• Entropy Minimizing Matrix Factorization [102.26446204624885]
  NMF(Nonnegative Matrix Factorization)は、広く使用されているデータ分析技術であり、多くの実際のタスクで印象的な結果をもたらしました。 本研究では,上述の問題に対処するために,EMMF (Entropy Minimizing Matrix Factorization framework) を開発した。 通常、外れ値が通常のサンプルよりもはるかに小さいことを考えると、行列分解のために新しいエントロピー損失関数が確立される。
  論文  参考訳（メタデータ） (2021-03-24T21:08:43Z)
• Rethink Maximum Mean Discrepancy for Domain Adaptation [77.2560592127872]
  本論文は,(1)最大平均距離の最小化は,それぞれソースとクラス内距離の最大化に等しいが,その差を暗黙の重みと共同で最小化し,特徴判別性は低下する,という2つの本質的な事実を理論的に証明する。 いくつかのベンチマークデータセットの実験は、理論的な結果の有効性を証明しただけでなく、我々のアプローチが比較した最先端手法よりも大幅に向上できることを実証した。
  論文  参考訳（メタデータ） (2020-07-01T18:25:10Z)
• Localized Debiased Machine Learning: Efficient Inference on Quantile Treatment Effects and Beyond [69.83813153444115]
  因果推論における(局所)量子化処理効果((L)QTE)の効率的な推定式を検討する。 Debiased Machine Learning (DML)は、高次元のニュアンスを推定するデータ分割手法である。 本稿では、この負担のかかるステップを避けるために、局所的脱バイアス機械学習(LDML)を提案する。
  論文  参考訳（メタデータ） (2019-12-30T14:42:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。