論文の概要: Fourier Sliced-Wasserstein Embedding for Multisets and Measures
- arxiv url: http://arxiv.org/abs/2405.16519v3
- Date: Mon, 14 Apr 2025 13:33:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-15 16:45:02.117056
- Title: Fourier Sliced-Wasserstein Embedding for Multisets and Measures
- Title（参考訳）: マルチセットのためのフーリエスライス・ワッサースタイン埋め込みと対策
- Authors: Tal Amir, Nadav Dym,
- Abstract要約: ユークリッド空間に Rd 上の多重集合と測度を埋め込む新しい方法を提案する。
我々は、Rd 上の分布をバイ・リプシッツな方法でユークリッド空間に埋め込むことは不可能であることを証明した。
- 参考スコア（独自算出の注目度）: 3.396731589928944
- License:
- Abstract: We present the Fourier Sliced-Wasserstein (FSW) embedding - a novel method to embed multisets and measures over R^d into Euclidean space. Our proposed embedding approximately preserves the sliced Wasserstein distance on distributions, thereby yielding geometrically meaningful representations that better capture the structure of the input. Moreover, it is injective on measures and bi-Lipschitz on multisets - a significant advantage over prevalent methods based on sum- or max-pooling, which are provably not bi-Lipschitz, and, in many cases, not even injective. The required output dimension for these guarantees is near-optimal: roughly 2Nd, where N is the maximal input multiset size. Furthermore, we prove that it is impossible to embed distributions over R^d into Euclidean space in a bi-Lipschitz manner. Thus, the metric properties of our embedding are, in a sense, the best possible. Through numerical experiments, we demonstrate that our method yields superior multiset representations that improve performance in practical learning tasks. Specifically, we show that (a) a simple combination of the FSW embedding with an MLP achieves state-of-the-art performance in learning the (non-sliced) Wasserstein distance; and (b) replacing max-pooling with the FSW embedding makes PointNet significantly more robust to parameter reduction, with only minor performance degradation even after a 40-fold reduction.
- Abstract（参考訳）: フーリエスライテッド・ワッサーシュタイン (FSW) 埋め込み(英語版) - R^d 上の多重集合と測度をユークリッド空間に埋め込む新しい方法。
提案した埋め込みは分布上のスライスされたワッサーシュタイン距離を概ね保存し, 入力の構造をよりよく捉えた幾何学的に意味のある表現を与える。
さらに、これは多重集合上の測度と双リプシッツ(英語版)に射影的であり、和や最大プーリング(英語版)(max-pooling)に基づく定値法よりも有意な優位性を持つ。
これらの保証のために要求される出力次元は、ほぼ最適である: およそ2Nd、Nは最大入力マルチセットサイズである。
さらに、R^d 上の分布をバイ・リプシッツな方法でユークリッド空間に埋め込むことは不可能であることを示す。
したがって、埋め込みの計量的性質は、ある意味では最良である。
数値実験により,本手法は,実用的な学習課題の性能向上に寄与する優れたマルチセット表現が得られることを示した。
具体的には
(a)(非スライス)ワッサースタイン距離の学習において、FSW埋め込みとMDPの簡単な組み合わせにより最先端の性能を実現する。
(b)最大プールをFSW埋め込みに置き換えることで、40倍の縮小後でも小さな性能低下が生じるため、PointNetはパラメータ削減にかなり頑丈になる。
関連論文リスト
- Optimal Bound for PCA with Outliers using Higher-Degree Voronoi Diagrams [0.0]
本稿では,主成分分析 (PCA) のための新しいアルゴリズムについて紹介する。
外れ値が存在する場合でも、PCAの最適部分空間にナビゲートする。
このアプローチは、$nd+mathcalO(1)textpoly(n,d)$の時間複雑性を持つ最適解を得る。
論文 参考訳（メタデータ） (2024-08-13T13:05:36Z) - Projection by Convolution: Optimal Sample Complexity for Reinforcement Learning in Continuous-Space MDPs [56.237917407785545]
本稿では,円滑なベルマン作用素を持つ連続空間マルコフ決定過程(MDP)の一般クラスにおいて,$varepsilon$-optimal Policyを学習する問題を考察する。
我々のソリューションの鍵となるのは、調和解析のアイデアに基づく新しい射影技術である。
我々の結果は、連続空間 MDP における2つの人気と矛盾する視点のギャップを埋めるものである。
論文 参考訳（メタデータ） (2024-05-10T09:58:47Z) - A quasi-polynomial time algorithm for Multi-Dimensional Scaling via LP hierarchies [34.7582575446942]
多次元スケーリング(MDS)は、低次元ユークリッド空間に$n$ポイントの計量を埋め込む方法のファミリーである。
準多項式依存のMDSに対する最初の近似アルゴリズムは$Delta$である。
論文 参考訳（メタデータ） (2023-11-29T17:42:05Z) - Polynomial Width is Sufficient for Set Representation with
High-dimensional Features [69.65698500919869]
DeepSetsは集合表現のための最も広く使われているニューラルネットワークアーキテクチャである。
a) 線形 + パワーアクティベーション (LP) と (b) 線形 + 指数的アクティベーション (LE) の2つの集合要素埋め込み層を示す。
論文 参考訳（メタデータ） (2023-07-08T16:00:59Z) - Small Transformers Compute Universal Metric Embeddings [25.004650816730543]
小型ニューラルネットワークで実装された特徴マップの埋め込み保証を導出する。
深さの変換器が$nlog(n)$、幅の変換器が$n2$であれば、$mathcalX$から$n$ポイントのデータセットを埋め込むことができる。
論文 参考訳（メタデータ） (2022-09-14T17:12:41Z) - A Law of Robustness beyond Isoperimetry [84.33752026418045]
我々は、任意の分布上でニューラルネットワークパラメータを補間する頑健性の低い$Omega(sqrtn/p)$を証明した。
次に、$n=mathrmpoly(d)$のとき、スムーズなデータに対する過度なパラメータ化の利点を示す。
我々は、$n=exp(omega(d))$ のとき、$O(1)$-Lipschitz の頑健な補間関数の存在を否定する。
論文 参考訳（メタデータ） (2022-02-23T16:10:23Z) - Minimax Optimal Quantization of Linear Models: Information-Theoretic
Limits and Efficient Algorithms [59.724977092582535]
測定から学習した線形モデルの定量化の問題を考える。
この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。
本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
論文 参考訳（メタデータ） (2022-02-23T02:39:04Z) - TURF: A Two-factor, Universal, Robust, Fast Distribution Learning
Algorithm [64.13217062232874]
最も強力で成功したモダリティの1つは、全ての分布を$ell$距離に近似し、基本的に最も近い$t$-piece次数-$d_$の少なくとも1倍大きい。
本稿では,この数値をほぼ最適に推定する手法を提案する。
論文 参考訳（メタデータ） (2022-02-15T03:49:28Z) - Universal consistency of Wasserstein $k$-NN classifier: Negative and
Positive Results [0.0]
ワッサーシュタイン距離は確率測度の間の相同性の概念を提供する。
k$-NN分類器は、$(0,1)$でサポートされている測度空間に普遍的に整合性がないことを示す。
論文 参考訳（メタデータ） (2020-09-10T03:05:05Z) - Robustly Learning any Clusterable Mixture of Gaussians [55.41573600814391]
本研究では,高次元ガウス混合系の対向ロバスト条件下での効率的な学習性について検討する。
理論的に最適に近い誤り証明である$tildeO(epsilon)$の情報を、$epsilon$-corrupted $k$-mixtureで学習するアルゴリズムを提供する。
我々の主な技術的貢献は、ガウス混合系からの新しい頑健な識別可能性証明クラスターであり、これは正方形の定度証明システムによって捉えることができる。
論文 参考訳（メタデータ） (2020-05-13T16:44:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。