論文の概要: MMD-regularized Unbalanced Optimal Transport
- arxiv url: http://arxiv.org/abs/2011.05001v6
- Date: Tue, 11 Apr 2023 07:20:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-12 20:19:38.347160
- Title: MMD-regularized Unbalanced Optimal Transport
- Title（参考訳）: mmdレギュラー化不平衡最適輸送
- Authors: Piyushi Manupriya (IIT Hyderabad, INDIA), J. Saketha Nath (IIT
Hyderabad, INDIA), Pratik Jawanpuria (Microsoft IDC, INDIA)
- Abstract要約: 最大平均離散化(MMD)正則化を用いて限界制約を強制する不均衡最適輸送(UOT)問題について検討する。
我々はMDD-UOTと対応するバリセンタを推定するための有限サンプルベース凸プログラムを提案する。
MMD-UOTは機械学習アプリケーションにおける$phi$-divergence-regularized UOTの代替として有望であることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the unbalanced optimal transport (UOT) problem, where the marginal
constraints are enforced using Maximum Mean Discrepancy (MMD) regularization.
Our study is motivated by the observation that existing works on UOT have
mainly focused on regularization based on $\phi$-divergence (e.g., KL). The
role of MMD, which belongs to the complementary family of integral probability
metrics (IPMs), as a regularizer in the context of UOT seems to be less
understood. Our main result is based on Fenchel duality, using which we are
able to study the properties of MMD-regularized UOT (MMD-UOT). One interesting
outcome of this duality result is that MMD-UOT induces a novel metric over
measures, which again belongs to the IPM family. Further, we present
finite-sample-based convex programs for estimating MMD-UOT and the
corresponding barycenter. Under mild conditions, we prove that our
convex-program-based estimators are consistent, and the estimation error decays
at a rate $\mathcal{O}\left(m^{-\frac{1}{2}}\right)$, where $m$ is the number
of samples from the source/target measures. Finally, we discuss how these
convex programs can be solved efficiently using (accelerated) projected
gradient descent. We conduct diverse experiments to show that MMD-UOT is a
promising alternative to $\phi$-divergence-regularized UOT in machine learning
applications.
- Abstract（参考訳）: 最大平均離散化(MMD)正則化を用いて限界制約を強制する不均衡最適輸送(UOT)問題について検討する。
本研究は, UOT における既存の研究が主に$\phi$-divergence (KL) に基づく正規化に重点を置いているという観察に動機づけられた。
積分確率測度(IPM)の相補的なファミリーに属するMDDの役割は、UTTの文脈における正規化要因としてはあまり理解されていないようである。
本研究の主な成果は, MMD-regularized UOT (MMD-UOT) の特性を研究できるFenchel双対性に基づくものである。
この双対性の結果の1つの興味深い結果として、MDD-UOTは、再びIMMファミリーに属する測度よりも新しい計量を誘導する。
さらに、MDD-UOTと対応するバリセンタを推定するための有限サンプルベース凸プログラムを提案する。
穏やかな条件下では、我々の凸計画に基づく推定器が一貫していることが証明され、推定誤差は$\mathcal{o}\left(m^{-\frac{1}{2}}\right)$で減少する。
最後に,これらの凸プログラムを(加速した)勾配降下を用いて効率的に解く方法について述べる。
我々は、mmd-uotが機械学習アプリケーションにおいて$\phi$-divergence-regularized uotの代替となる有望な実験を行っている。
関連論文リスト
- (De)-regularized Maximum Mean Discrepancy Gradient Flow [27.70783952195201]
本稿では,最大平均離散(DrMMD)とワッサーシュタイン勾配流の正則化を導入する。
DrMMDフローは、連続時間と離散時間の両方において、広範囲の目標に対して、同時にニア・グロバル収束を保証することができる。
我々の数値スキームは、フロー全体を通して適応的な非正規化スケジュールを使用して、離散化誤差と$chi2$の規則からの逸脱を最適にトレードオフする。
論文 参考訳（メタデータ） (2024-09-23T12:57:42Z) - Partial identification of kernel based two sample tests with mismeasured
data [5.076419064097733]
最大平均離散性(MMD)のような2サンプルテストは、機械学習アプリケーションにおける2つの分布の違いを検出するためにしばしば使用される。
我々は,1つの分布の非ランダムな$epsilon$%が互いに誤ってグループ化されるような,$epsilon$-contaminationに基づくMDDの推定について検討した。
そこで本研究では,これらの境界を推定する手法を提案し,サンプルサイズが大きくなるにつれてMDD上の最も鋭い限界に収束する推定値を示す。
論文 参考訳（メタデータ） (2023-08-07T13:21:58Z) - Generative Sliced MMD Flows with Riesz Kernels [0.393259574660092]
最大平均誤差(MMD)フローは大規模計算において高い計算コストを被る。
Riesz カーネルの MMD フローが $K(x,y) = - |x-y|r$, $r in (0,2)$ であることを示す。
論文 参考訳（メタデータ） (2023-05-19T06:33:57Z) - A High-dimensional Convergence Theorem for U-statistics with
Applications to Kernel-based Testing [3.469038201881982]
次数2のU-統計量に対して収束定理を証明し、データ次元$d$はサンプルサイズ$n$でスケールすることができる。
我々はこの理論を、高次元性能の研究が困難である2つのカーネルベースの分散テスト MMD と KSD に適用した。
論文 参考訳（メタデータ） (2023-02-11T12:49:46Z) - Robust computation of optimal transport by $\beta$-potential
regularization [79.24513412588745]
最適輸送(OT)は、確率分布間の差を測定する機械学習分野で広く使われているツールである。
我々は、いわゆる$beta$-divergenceに付随するベータポテンシャル項でOTを正規化することを提案する。
提案アルゴリズムで計算した輸送行列は,外乱が存在する場合でも確率分布を頑健に推定するのに役立つことを実験的に実証した。
論文 参考訳（メタデータ） (2022-12-26T18:37:28Z) - Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。
我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。
MRP のサブクラスに対する minimax の下位境界を証明する。
論文 参考訳（メタデータ） (2021-09-24T14:48:20Z) - CPM-2: Large-scale Cost-effective Pre-trained Language Models [71.59893315671997]
本稿では, PLM を用いた事前学習, 微調整, 推論の効率性問題に対処するための費用対効果技術について述べる。
我々は,既存のPLMをスクラッチからトレーニングする代わりに活用することで,事前学習プロセスの促進を目的とした知識継承を導入する。
計算資源が限られている大規模PLMに対して,新しい推論ツールキット,すなわちInfMoEを実装した。
論文 参考訳（メタデータ） (2021-06-20T15:43:54Z) - Direction Matters: On the Implicit Bias of Stochastic Gradient Descent
with Moderate Learning Rate [105.62979485062756]
本稿では,中等度学習におけるSGDの特定の正規化効果を特徴付けることを試みる。
SGDはデータ行列の大きな固有値方向に沿って収束し、GDは小さな固有値方向に沿って収束することを示す。
論文 参考訳（メタデータ） (2020-11-04T21:07:52Z) - Rethink Maximum Mean Discrepancy for Domain Adaptation [77.2560592127872]
本論文は,(1)最大平均距離の最小化は,それぞれソースとクラス内距離の最大化に等しいが,その差を暗黙の重みと共同で最小化し,特徴判別性は低下する,という2つの本質的な事実を理論的に証明する。
いくつかのベンチマークデータセットの実験は、理論的な結果の有効性を証明しただけでなく、我々のアプローチが比較した最先端手法よりも大幅に向上できることを実証した。
論文 参考訳（メタデータ） (2020-07-01T18:25:10Z) - Neural Methods for Point-wise Dependency Estimation [129.93860669802046]
我々は,2つの結果が共起する確率を定量的に測定する点依存度(PD)の推定に焦点をあてる。
提案手法の有効性を,1)MI推定,2)自己教師付き表現学習,3)クロスモーダル検索タスクで示す。
論文 参考訳（メタデータ） (2020-06-09T23:26:15Z) - A Family of Pairwise Multi-Marginal Optimal Transports that Define a
Generalized Metric [2.650860836597657]
Multi-marginal OT (MMOT) は、複数の分布を同時に輸送するためにOTを一般化する。
ペアワイズMMOTの族に対する新しい一般化された計量特性を証明した。
我々は、他の一般化メトリクスよりもMMOTの方が優れており、合成タスクと実タスクの両方において非測定値よりも優れていることを示す。
論文 参考訳（メタデータ） (2020-01-29T22:10:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。