論文の概要: Integral Probability Metric based Regularization for Optimal Transport
- arxiv url: http://arxiv.org/abs/2011.05001v4
- Date: Tue, 14 Jun 2022 12:32:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-27 08:15:57.221527
- Title: Integral Probability Metric based Regularization for Optimal Transport
- Title（参考訳）: 最適輸送のための積分確率計量に基づく正則化
- Authors: Piyushi Manupriya (IIT Hyderabad, INDIA), J. Saketha Nath (IIT
Hyderabad, INDIA), Pratik Jawanpuria (Microsoft IDC, INDIA)
- Abstract要約: 本研究では、積分確率計量(IPMs)に基づく正則化器の一般族を考える。
我々は、新しい IPM 正規化 $p$-Wasserstein スタイルOT の定式化を提案し、それらが実際に測度よりも測度を誘導することを証明した。
また、二乗MMD正則化計量と対応するバリセンタを推定するための有限標本ベース定式化を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently it has been shown that Maximum Mean Discrepancy (MMD) based
regularization for optimal transport (OT), unlike the popular Kullback Leibler
(KL) based regularization, leads to a dimension-free bound on the sample
complexity of estimation. On the other hand, interesting classes of metrics
like the Generalized Wasserstein (GW) metrics and the
Gaussian-Hellinger-Kantorovich (GHK) metrics are defined using Total Variation
and KL based regularizations, respectively. It is, however, an open question if
appropriate metrics could be defined using the sample-efficient MMD
regularization. In this work, we not only bridge this gap, but further consider
a generic family of regularizers based on Integral Probability Metrics (IPMs),
which include MMD as a special case. We present novel IPM regularized
$p$-Wasserstein style OT formulations and prove that they indeed induce metrics
over measures. While some of these novel metrics can be interpreted as infimal
convolutions of IPMs, interestingly, others turn out to be the IPM-analogues of
GW and GHK metrics. Finally, we present finite sample-based formulations for
estimating the squared-MMD regularized metric and the corresponding barycenter.
We empirically study other desirable properties of the proposed metrics and
show their applicability in various machine learning applications.
- Abstract（参考訳）: 近年,kullback leibler (kl) ベースの正規化とは異なり,最適輸送のための最大平均不一致 (mmd) に基づく正規化 (ot) は,推定のサンプル複雑性に次元自由結合をもたらすことが示されている。
一方、一般化されたwasserstein(gw)メトリクスやgaussian-hellinger-kantorovich(ghk)メトリクスのようなメトリクスの興味深いクラスは、それぞれ全変動とklベースの正規化を用いて定義される。
しかし、サンプル効率のMDD正則化を用いて適切なメトリクスを定義できるかどうかは、未解決の問題である。
この研究では、このギャップを橋渡しするだけでなく、mmdを特別な場合として含む積分確率メトリクス(ipms)に基づいた正規化子のジェネリックファミリーを考える。
我々は,新しいipm正規化$p$-wasserstein スタイルの ot 定式化を提示し,それが測度上の計量を実際に引き起こすことを証明した。
これらの新しい指標のいくつかはIPMの不完全な畳み込みと解釈できるが、興味深いことに、GW と GHK の指標の IPM-アナローグであることが分かる。
最後に、二乗MMD正規化計量と対応するバリセンタを推定するための有限標本ベース定式化を提案する。
提案するメトリクスの他の望ましい特性を実証的に研究し、様々な機械学習アプリケーションへの適用性を示す。
関連論文リスト
- (De)-regularized Maximum Mean Discrepancy Gradient Flow [27.70783952195201]
本稿では,最大平均離散(DrMMD)とワッサーシュタイン勾配流の正則化を導入する。
DrMMDフローは、連続時間と離散時間の両方において、広範囲の目標に対して、同時にニア・グロバル収束を保証することができる。
我々の数値スキームは、フロー全体を通して適応的な非正規化スケジュールを使用して、離散化誤差と$chi2$の規則からの逸脱を最適にトレードオフする。
論文 参考訳（メタデータ） (2024-09-23T12:57:42Z) - Partial identification of kernel based two sample tests with mismeasured
data [5.076419064097733]
最大平均離散性(MMD)のような2サンプルテストは、機械学習アプリケーションにおける2つの分布の違いを検出するためにしばしば使用される。
我々は,1つの分布の非ランダムな$epsilon$%が互いに誤ってグループ化されるような,$epsilon$-contaminationに基づくMDDの推定について検討した。
そこで本研究では,これらの境界を推定する手法を提案し,サンプルサイズが大きくなるにつれてMDD上の最も鋭い限界に収束する推定値を示す。
論文 参考訳（メタデータ） (2023-08-07T13:21:58Z) - Generative Sliced MMD Flows with Riesz Kernels [0.393259574660092]
最大平均誤差(MMD)フローは大規模計算において高い計算コストを被る。
Riesz カーネルの MMD フローが $K(x,y) = - |x-y|r$, $r in (0,2)$ であることを示す。
論文 参考訳（メタデータ） (2023-05-19T06:33:57Z) - A High-dimensional Convergence Theorem for U-statistics with
Applications to Kernel-based Testing [3.469038201881982]
次数2のU-統計量に対して収束定理を証明し、データ次元$d$はサンプルサイズ$n$でスケールすることができる。
我々はこの理論を、高次元性能の研究が困難である2つのカーネルベースの分散テスト MMD と KSD に適用した。
論文 参考訳（メタデータ） (2023-02-11T12:49:46Z) - Robust computation of optimal transport by $\beta$-potential
regularization [79.24513412588745]
最適輸送(OT)は、確率分布間の差を測定する機械学習分野で広く使われているツールである。
我々は、いわゆる$beta$-divergenceに付随するベータポテンシャル項でOTを正規化することを提案する。
提案アルゴリズムで計算した輸送行列は,外乱が存在する場合でも確率分布を頑健に推定するのに役立つことを実験的に実証した。
論文 参考訳（メタデータ） (2022-12-26T18:37:28Z) - Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。
我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。
MRP のサブクラスに対する minimax の下位境界を証明する。
論文 参考訳（メタデータ） (2021-09-24T14:48:20Z) - CPM-2: Large-scale Cost-effective Pre-trained Language Models [71.59893315671997]
本稿では, PLM を用いた事前学習, 微調整, 推論の効率性問題に対処するための費用対効果技術について述べる。
我々は,既存のPLMをスクラッチからトレーニングする代わりに活用することで,事前学習プロセスの促進を目的とした知識継承を導入する。
計算資源が限られている大規模PLMに対して,新しい推論ツールキット,すなわちInfMoEを実装した。
論文 参考訳（メタデータ） (2021-06-20T15:43:54Z) - Direction Matters: On the Implicit Bias of Stochastic Gradient Descent
with Moderate Learning Rate [105.62979485062756]
本稿では,中等度学習におけるSGDの特定の正規化効果を特徴付けることを試みる。
SGDはデータ行列の大きな固有値方向に沿って収束し、GDは小さな固有値方向に沿って収束することを示す。
論文 参考訳（メタデータ） (2020-11-04T21:07:52Z) - Rethink Maximum Mean Discrepancy for Domain Adaptation [77.2560592127872]
本論文は,(1)最大平均距離の最小化は,それぞれソースとクラス内距離の最大化に等しいが,その差を暗黙の重みと共同で最小化し,特徴判別性は低下する,という2つの本質的な事実を理論的に証明する。
いくつかのベンチマークデータセットの実験は、理論的な結果の有効性を証明しただけでなく、我々のアプローチが比較した最先端手法よりも大幅に向上できることを実証した。
論文 参考訳（メタデータ） (2020-07-01T18:25:10Z) - Neural Methods for Point-wise Dependency Estimation [129.93860669802046]
我々は,2つの結果が共起する確率を定量的に測定する点依存度(PD)の推定に焦点をあてる。
提案手法の有効性を,1)MI推定,2)自己教師付き表現学習,3)クロスモーダル検索タスクで示す。
論文 参考訳（メタデータ） (2020-06-09T23:26:15Z) - A Family of Pairwise Multi-Marginal Optimal Transports that Define a
Generalized Metric [2.650860836597657]
Multi-marginal OT (MMOT) は、複数の分布を同時に輸送するためにOTを一般化する。
ペアワイズMMOTの族に対する新しい一般化された計量特性を証明した。
我々は、他の一般化メトリクスよりもMMOTの方が優れており、合成タスクと実タスクの両方において非測定値よりも優れていることを示す。
論文 参考訳（メタデータ） (2020-01-29T22:10:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。