論文の概要: Fourier Sliced-Wasserstein Embedding for Multisets and Measures
- arxiv url: http://arxiv.org/abs/2405.16519v2
- Date: Sun, 29 Sep 2024 22:36:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-01 21:59:20.681453
- Title: Fourier Sliced-Wasserstein Embedding for Multisets and Measures
- Title（参考訳）: マルチセットのためのフーリエスライス・ワッサースタイン埋め込みと対策
- Authors: Tal Amir, Nadav Dym,
- Abstract要約: ユークリッド空間に$mathbbRd$を超える多重集合と測度を埋め込む新しい方法を提案する。
提案手法は,入力マルチセットの優れた表現を出力し,マルチセットデータの学習に実用的な利点をもたらすことを示す。
- 参考スコア（独自算出の注目度）: 3.396731589928944
- License:
- Abstract: We present the $\textit{Fourier Sliced Wasserstein (FSW) embedding}\unicode{x2014}$a novel method to embed multisets and measures over $\mathbb{R}^d$ into Euclidean space. Our proposed embedding approximately preserves the sliced Wasserstein distance on distributions, thereby yielding geometrically meaningful representations that better capture the structure of the input. Moreover, it is injective on measures and $\textit{bi-Lipschitz}$ on multisets$\unicode{x2014}$a significant advantage over prevalent embedding methods based on sum- or max-pooling, which are provably not bi-Lipschitz, and in many cases, not even injective. The required output dimension for these guarantees is near optimal: roughly $2 n d$, where $n$ is the maximal number of support points in the input. Conversely, we prove that it is $\textit{impossible}$ to embed distributions over $\mathbb{R}^d$ into Euclidean space in a bi-Lipschitz manner. Thus, the metric properties of our embedding are, in a sense, the best achievable. Through numerical experiments, we demonstrate that our method yields superior representations of input multisets and offers practical advantage for learning on multiset data. Specifically, we show that (a) the FSW embedding induces significantly lower distortion on the space of multisets, compared to the leading method for computing sliced-Wasserstein-preserving embeddings; and (b) a simple combination of the FSW embedding and an MLP achieves state-of-the-art performance in learning the (non-sliced) Wasserstein distance.
- Abstract（参考訳）: ユークリッド空間に多重集合と測度を埋め込む新しい方法として、$\textit{Fourier Sliced Wasserstein (FSW) embeddedding}\unicode{x2014}$A novel method to embed multisets and measures over $\mathbb{R}^d$ into Euclidean space。
提案した埋め込みは分布上のスライスされたワッサーシュタイン距離を概ね保存し, 入力の構造をよりよく捉えた幾何学的に意味のある表現を与える。
さらに、これは測度に対して射影的であり、$\textit{bi-Lipschitz}$ on multisets$\unicode{x2014}$a significant advantage than prevalent embedded methods based on sum- or max-pooling, which isprovably not bi-Lipschitz, and many case, not injective.
これらの保証のために要求される出力次元は、ほぼ最適である:およそ2nd$、$n$は入力におけるサポートポイントの最大数である。
逆に、$\textit{impossible}$ は、$\mathbb{R}^d$ 上の分布をバイ・リプシッツな方法でユークリッド空間に埋め込むものであることを証明している。
したがって、埋め込みの計量的性質は、ある意味では最も達成可能なものである。
数値実験により,本手法は入力マルチセットの表現に優れ,マルチセットデータの学習に実用的な利点をもたらすことを示した。
具体的には
(a)FSW埋め込みはスライスされたワッサーシュタイン保存埋め込みの計算方法と比較して、多重集合空間の歪みを著しく低減させる。
b) FSW 埋め込みと MLP の簡単な組み合わせにより,(非スライス) ワッサーシュタイン距離の学習における最先端性能を実現する。
関連論文リスト
- Local Borsuk-Ulam, Stability, and Replicability [16.6959756920423]
また,PAC設定では,リストリプリケータとグローバルな安定学習の両方が不可能であることを示す。
具体的には、有限類におけるリストの複製性と大域的安定性数に対する最適境界を確立する。
論文 参考訳（メタデータ） (2023-11-02T21:10:16Z) - Polynomial Width is Sufficient for Set Representation with
High-dimensional Features [69.65698500919869]
DeepSetsは集合表現のための最も広く使われているニューラルネットワークアーキテクチャである。
a) 線形 + パワーアクティベーション (LP) と (b) 線形 + 指数的アクティベーション (LE) の2つの集合要素埋め込み層を示す。
論文 参考訳（メタデータ） (2023-07-08T16:00:59Z) - An Approximation Theory for Metric Space-Valued Functions With A View
Towards Deep Learning [25.25903127886586]
任意のポーランド計量空間 $mathcalX$ と $mathcalY$ の間の連続写像の普遍函数近似器を構築する。
特に、必要なディラック測度数は $mathcalX$ と $mathcalY$ の構造によって決定されることを示す。
論文 参考訳（メタデータ） (2023-04-24T16:18:22Z) - Learning a Single Neuron with Adversarial Label Noise via Gradient
Descent [50.659479930171585]
モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。
学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
論文 参考訳（メタデータ） (2022-06-17T17:55:43Z) - A Law of Robustness beyond Isoperimetry [84.33752026418045]
我々は、任意の分布上でニューラルネットワークパラメータを補間する頑健性の低い$Omega(sqrtn/p)$を証明した。
次に、$n=mathrmpoly(d)$のとき、スムーズなデータに対する過度なパラメータ化の利点を示す。
我々は、$n=exp(omega(d))$ のとき、$O(1)$-Lipschitz の頑健な補間関数の存在を否定する。
論文 参考訳（メタデータ） (2022-02-23T16:10:23Z) - Depth and Feature Learning are Provably Beneficial for Neural Network
Discriminators [3.04585143845864]
我々は,浅い識別器では識別できない分布を,深いGAN識別器が識別可能であることを示す。
これは、特徴学習が差別者にとって有益であることを確認する。
論文 参考訳（メタデータ） (2021-12-27T19:03:22Z) - On Fast Johnson-Lindernstrauss Embeddings of Compact Submanifolds of
$\mathbb{R}^N$ with Boundary [0.4125187280299246]
mathbbRm × N$ のランダム行列 $A がバイリプシッツ函数 $A: MathcalM rightarrow mathbbRm$ とビリプシッツ定数が 1 に近い確率を考える。
我々は、$mathbbRN$ の十分低次元部分多様体を埋め込むための、高度に構造化された分布の新しいクラスを示す。
論文 参考訳（メタデータ） (2021-10-08T15:27:52Z) - Universal consistency of Wasserstein $k$-NN classifier: Negative and
Positive Results [0.0]
ワッサーシュタイン距離は確率測度の間の相同性の概念を提供する。
k$-NN分類器は、$(0,1)$でサポートされている測度空間に普遍的に整合性がないことを示す。
論文 参考訳（メタデータ） (2020-09-10T03:05:05Z) - Average-case Complexity of Teaching Convex Polytopes via Halfspace
Queries [55.28642461328172]
平均的なケースの教えの複雑さは$Theta(d)$であり、最悪のケースの教えの複雑さは$Theta(n)$とは対照的である。
我々の洞察は、$phi$-separable dichotomiesの平均ケースの複雑さに厳密な拘束力を確立することを可能にする。
論文 参考訳（メタデータ） (2020-06-25T19:59:24Z) - Robustly Learning any Clusterable Mixture of Gaussians [55.41573600814391]
本研究では,高次元ガウス混合系の対向ロバスト条件下での効率的な学習性について検討する。
理論的に最適に近い誤り証明である$tildeO(epsilon)$の情報を、$epsilon$-corrupted $k$-mixtureで学習するアルゴリズムを提供する。
我々の主な技術的貢献は、ガウス混合系からの新しい頑健な識別可能性証明クラスターであり、これは正方形の定度証明システムによって捉えることができる。
論文 参考訳（メタデータ） (2020-05-13T16:44:12Z) - A diffusion approach to Stein's method on Riemannian manifolds [65.36007959755302]
我々は、ターゲット不変測度を持つ$mathbf M$上の拡散の生成元と、その特徴付けStein演算子との関係を利用する。
我々は、スタイン方程式とその微分に解を束縛するスタイン因子を導出する。
我々は、$mathbf M$ が平坦多様体であるとき、$mathbb Rm$ の有界が有効であることを暗示する。
論文 参考訳（メタデータ） (2020-03-25T17:03:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。