論文の概要: MMD-Regularized Unbalanced Optimal Transport
- arxiv url: http://arxiv.org/abs/2011.05001v7
- Date: Tue, 22 Aug 2023 17:20:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-23 15:21:55.759896
- Title: MMD-Regularized Unbalanced Optimal Transport
- Title（参考訳）: MMD規則化不均衡最適輸送
- Authors: Piyushi Manupriya (IIT Hyderabad, INDIA), J. Saketha Nath (IIT
Hyderabad, INDIA), Pratik Jawanpuria (Microsoft IDC, INDIA)
- Abstract要約: 最大平均離散化(MMD)正則化を用いて限界制約を強制する不均衡最適輸送(UOT)問題について検討する。
UOTに関する文献は$phi$-divergenceに基づく正規化に焦点が当てられている。
MMDの人気にもかかわらず、UOTの文脈における正則化者としての役割は理解されていないようである。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the unbalanced optimal transport (UOT) problem, where the marginal
constraints are enforced using Maximum Mean Discrepancy (MMD) regularization.
Our work is motivated by the observation that the literature on UOT is focused
on regularization based on $\phi$-divergence (e.g., KL divergence). Despite the
popularity of MMD, its role as a regularizer in the context of UOT seems less
understood. We begin by deriving the dual of MMD-regularized UOT (MMD-UOT),
which helps us prove other useful properties. One interesting outcome of this
duality result is that MMD-UOT induces novel metrics, which not only lift the
ground metric like the Wasserstein but are also efficient to estimate like the
MMD. Further, we present finite-dimensional convex programs for estimating
MMD-UOT and the corresponding barycenter solely based on the samples from the
measures being transported. Under mild conditions, we prove that our
convex-program-based estimators are consistent and the estimation error decays
at a rate $\mathcal{O}\left(m^{-\frac{1}{2}}\right)$, where $m$ is the number
of samples. As far as we know, such error bounds that are free from the curse
of dimensionality are not known for $\phi$-divergence regularized UOT. Finally,
we discuss how the proposed convex programs can be solved efficiently using
accelerated projected gradient descent. Our experiments show that MMD-UOT
consistently outperforms popular baselines, including KL-regularized UOT and
MMD, in diverse machine learning applications.
- Abstract（参考訳）: 最大平均離散化(MMD)正則化を用いて限界制約を強制する不均衡最適輸送(UOT)問題について検討する。
我々の研究は、UOTに関する文献が$\phi$-divergence(例えばKLの発散)に基づく正規化に焦点を当てているという観察に動機づけられている。
MMDの人気にもかかわらず、UOTの文脈における正則化者としての役割は理解されていないようである。
まず、mmd正規化uot(mmd-uot)の双対を導出し、他の有用な性質を証明する。
この双対性の結果の1つの興味深い結果は、MDD-UOTがワッサーシュタインのような基底測度を持ち上げるだけでなく、MDDのように効率的に推定できる新しい測度を誘導することである。
また,MMD-UOTと対応するバリセンタを,輸送中の測定値からのみ推定する有限次元凸プログラムを提案する。
穏やかな条件下では、我々の凸計画に基づく推定器は一貫性があり、推定誤差は$\mathcal{o}\left(m^{-\frac{1}{2}}\right)$で減少し、ここで$m$はサンプル数である。
私たちが知る限り、次元の呪いのないそのようなエラー境界は、$\phi$-divergence regularized UOTでは知られていない。
最後に,提案した凸プログラムを高速化された勾配勾配勾配を用いて効率的に解く方法について述べる。
実験によれば、mmd-uotはkl正規化uotとmmdを含む一般的なベースラインを、さまざまな機械学習アプリケーションにおいて一貫して上回っている。
関連論文リスト
- (De)-regularized Maximum Mean Discrepancy Gradient Flow [27.70783952195201]
本稿では,最大平均離散(DrMMD)とワッサーシュタイン勾配流の正則化を導入する。
DrMMDフローは、連続時間と離散時間の両方において、広範囲の目標に対して、同時にニア・グロバル収束を保証することができる。
我々の数値スキームは、フロー全体を通して適応的な非正規化スケジュールを使用して、離散化誤差と$chi2$の規則からの逸脱を最適にトレードオフする。
論文 参考訳（メタデータ） (2024-09-23T12:57:42Z) - Partial identification of kernel based two sample tests with mismeasured
data [5.076419064097733]
最大平均離散性(MMD)のような2サンプルテストは、機械学習アプリケーションにおける2つの分布の違いを検出するためにしばしば使用される。
我々は,1つの分布の非ランダムな$epsilon$%が互いに誤ってグループ化されるような,$epsilon$-contaminationに基づくMDDの推定について検討した。
そこで本研究では,これらの境界を推定する手法を提案し,サンプルサイズが大きくなるにつれてMDD上の最も鋭い限界に収束する推定値を示す。
論文 参考訳（メタデータ） (2023-08-07T13:21:58Z) - Generative Sliced MMD Flows with Riesz Kernels [0.393259574660092]
最大平均誤差(MMD)フローは大規模計算において高い計算コストを被る。
Riesz カーネルの MMD フローが $K(x,y) = - |x-y|r$, $r in (0,2)$ であることを示す。
論文 参考訳（メタデータ） (2023-05-19T06:33:57Z) - A High-dimensional Convergence Theorem for U-statistics with
Applications to Kernel-based Testing [3.469038201881982]
次数2のU-統計量に対して収束定理を証明し、データ次元$d$はサンプルサイズ$n$でスケールすることができる。
我々はこの理論を、高次元性能の研究が困難である2つのカーネルベースの分散テスト MMD と KSD に適用した。
論文 参考訳（メタデータ） (2023-02-11T12:49:46Z) - Robust computation of optimal transport by $\beta$-potential
regularization [79.24513412588745]
最適輸送(OT)は、確率分布間の差を測定する機械学習分野で広く使われているツールである。
我々は、いわゆる$beta$-divergenceに付随するベータポテンシャル項でOTを正規化することを提案する。
提案アルゴリズムで計算した輸送行列は,外乱が存在する場合でも確率分布を頑健に推定するのに役立つことを実験的に実証した。
論文 参考訳（メタデータ） (2022-12-26T18:37:28Z) - Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。
我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。
MRP のサブクラスに対する minimax の下位境界を証明する。
論文 参考訳（メタデータ） (2021-09-24T14:48:20Z) - CPM-2: Large-scale Cost-effective Pre-trained Language Models [71.59893315671997]
本稿では, PLM を用いた事前学習, 微調整, 推論の効率性問題に対処するための費用対効果技術について述べる。
我々は,既存のPLMをスクラッチからトレーニングする代わりに活用することで,事前学習プロセスの促進を目的とした知識継承を導入する。
計算資源が限られている大規模PLMに対して,新しい推論ツールキット,すなわちInfMoEを実装した。
論文 参考訳（メタデータ） (2021-06-20T15:43:54Z) - Direction Matters: On the Implicit Bias of Stochastic Gradient Descent
with Moderate Learning Rate [105.62979485062756]
本稿では,中等度学習におけるSGDの特定の正規化効果を特徴付けることを試みる。
SGDはデータ行列の大きな固有値方向に沿って収束し、GDは小さな固有値方向に沿って収束することを示す。
論文 参考訳（メタデータ） (2020-11-04T21:07:52Z) - Rethink Maximum Mean Discrepancy for Domain Adaptation [77.2560592127872]
本論文は,(1)最大平均距離の最小化は,それぞれソースとクラス内距離の最大化に等しいが,その差を暗黙の重みと共同で最小化し,特徴判別性は低下する,という2つの本質的な事実を理論的に証明する。
いくつかのベンチマークデータセットの実験は、理論的な結果の有効性を証明しただけでなく、我々のアプローチが比較した最先端手法よりも大幅に向上できることを実証した。
論文 参考訳（メタデータ） (2020-07-01T18:25:10Z) - Neural Methods for Point-wise Dependency Estimation [129.93860669802046]
我々は,2つの結果が共起する確率を定量的に測定する点依存度(PD)の推定に焦点をあてる。
提案手法の有効性を,1)MI推定,2)自己教師付き表現学習,3)クロスモーダル検索タスクで示す。
論文 参考訳（メタデータ） (2020-06-09T23:26:15Z) - A Family of Pairwise Multi-Marginal Optimal Transports that Define a
Generalized Metric [2.650860836597657]
Multi-marginal OT (MMOT) は、複数の分布を同時に輸送するためにOTを一般化する。
ペアワイズMMOTの族に対する新しい一般化された計量特性を証明した。
我々は、他の一般化メトリクスよりもMMOTの方が優れており、合成タスクと実タスクの両方において非測定値よりも優れていることを示す。
論文 参考訳（メタデータ） (2020-01-29T22:10:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。