論文の概要: Self-Attention Amortized Distributional Projection Optimization for Sliced Wasserstein Point-Cloud Reconstruction

• arxiv url: http://arxiv.org/abs/2301.04791v2
• Date: Mon, 8 May 2023 17:11:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-09 23:29:32.508035
• Title: Self-Attention Amortized Distributional Projection Optimization for Sliced Wasserstein Point-Cloud Reconstruction
• Title（参考訳）: スライスワッサースタイン点雲再構成のための自己注意補正分布投影最適化
• Authors: Khai Nguyen and Dang Nguyen and Nhat Ho
• Abstract要約: マックススライスされたワッサーシュタイン (Max-SW) 距離は、判別の少ない射影の解として広く知られている。 We propose to replaced Max-SW with distributional sliced Wasserstein distance with von Mises-Fisher (vMF) projecting distribution。
• 参考スコア（独自算出の注目度）: 17.67599778907391
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Max sliced Wasserstein (Max-SW) distance has been widely known as a solution for less discriminative projections of sliced Wasserstein (SW) distance. In applications that have various independent pairs of probability measures, amortized projection optimization is utilized to predict the ``max" projecting directions given two input measures instead of using projected gradient ascent multiple times. Despite being efficient, Max-SW and its amortized version cannot guarantee metricity property due to the sub-optimality of the projected gradient ascent and the amortization gap. Therefore, we propose to replace Max-SW with distributional sliced Wasserstein distance with von Mises-Fisher (vMF) projecting distribution (v-DSW). Since v-DSW is a metric with any non-degenerate vMF distribution, its amortized version can guarantee the metricity when performing amortization. Furthermore, current amortized models are not permutation invariant and symmetric. To address the issue, we design amortized models based on self-attention architecture. In particular, we adopt efficient self-attention architectures to make the computation linear in the number of supports. With the two improvements, we derive self-attention amortized distributional projection optimization and show its appealing performance in point-cloud reconstruction and its downstream applications.
• Abstract（参考訳）: マックススライスワッサースタイン距離 (max sliced wasserstein distance) は、スライスワッサースタイン距離 (sw) の判別的射影の少ない解として広く知られている。 様々な確率測度の独立対を持つアプリケーションでは、不定形射影最適化を用いて、2つの入力測度に与えられた「最大」射影方向を複数回投影する代わりに予測する。 効率的であるにもかかわらず、Max-SWとその償却バージョンは、投影された勾配上昇と償却ギャップの準最適性のために計量性を保証することができない。 そこで我々は,Max-SWを分布スライスしたワッサーシュタイン距離に置き換え,von Mises-Fisher (vMF) 投影分布 (v-DSW) に置き換えることを提案する。 v-DSW は任意の非退化 vMF 分布を持つ計量であるため、その償却版は、償却を行う際の計量性を保証することができる。 さらに、現在の償却モデルは置換不変で対称ではない。 この問題に対処するため,自己注意型アーキテクチャに基づくアモールト化モデルを設計する。 特に,効率的な自己アテンションアーキテクチャを採用し,サポート数で計算を線形にする。 この2つの改良により,自己アテンションによる分布射影最適化を導出し,ポイントクラウド再構築および下流アプリケーションにおけるその魅力的な性能を示す。

関連論文リスト

• Total Uncertainty Quantification in Inverse PDE Solutions Obtained with Reduced-Order Deep Learning Surrogate Models [50.90868087591973]
  機械学習サロゲートモデルを用いて得られた逆PDE解の総不確かさを近似したベイズ近似法を提案する。 非線型拡散方程式に対する反復的アンサンブルスムーズおよび深層アンサンブル法との比較により,提案手法を検証した。
  論文  参考訳（メタデータ） (2024-08-20T19:06:02Z)
• Sliced Wasserstein with Random-Path Projecting Directions [49.802024788196434]
  本稿では,モンテカルロ予想推定のための高速サンプリングを行う最適化自由スライシング分布を提案する。 我々はランダムパススライシング分布(RPSD)とスライスされたワッサースタインの2つの変種、すなわちランダムパススライシングワッサースタイン(RPSW)とIWRPSW(Importance Weighted Random-Path Projection Sliced Wasserstein)を導出する。
  論文  参考訳（メタデータ） (2024-01-29T04:59:30Z)
• Energy-Based Sliced Wasserstein Distance [47.18652387199418]
  スライスされたワッサーシュタイン(SW)距離の鍵成分はスライス分布である。 本研究では,スライシング分布をパラメータフリーなエネルギーベース分布として設計する。 次に、新しいスライスされたワッセルシュタイン計量、エネルギーベースのスライスされたワッセルシュタイン距離(EBSW)を導出する。
  論文  参考訳（メタデータ） (2023-04-26T14:28:45Z)
• Markovian Sliced Wasserstein Distances: Beyond Independent Projections [51.80527230603978]
  我々は、射影方向にマルコフ構造を課す新しいSW距離の族、Markovian sliced Wasserstein (MSW) 距離を導入する。 フロー,色移動,深部生成モデルなどの様々な応用において,従来のSW変種との距離を比較し,MSWの良好な性能を示す。
  論文  参考訳（メタデータ） (2023-01-10T01:58:15Z)
• Combating Mode Collapse in GANs via Manifold Entropy Estimation [70.06639443446545]
  Generative Adversarial Networks (GAN) は、様々なタスクやアプリケーションにおいて魅力的な結果を示している。 GANのモード崩壊問題に対処するための新しいトレーニングパイプラインを提案する。
  論文  参考訳（メタデータ） (2022-08-25T12:33:31Z)
• Deep Equilibrium Optical Flow Estimation [80.80992684796566]
  最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。 これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。 暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
  論文  参考訳（メタデータ） (2022-04-18T17:53:44Z)
• Amortized Projection Optimization for Sliced Wasserstein Generative Models [17.196369579631074]
  本稿では,2つのミニバッチ確率測度の情報伝達方向を予測するために,学習から最適化までの手法やアモータイズ最適化を提案する。 我々の知る限りでは、これは最適化とワッサーシュタイン生成モデルを橋渡しする最初の研究である。
  論文  参考訳（メタデータ） (2022-03-25T02:08:51Z)
• Unbiased Gradient Estimation for Variational Auto-Encoders using Coupled Markov Chains [34.77971292478243]
  変分オートエンコーダ(VAE)は、オートエンコーダのようなアーキテクチャで2つのニューラルネットワークを持つ、潜伏変数モデルである。 ログ型勾配の偏りのない推定器を導入することにより,VAEのトレーニング手法を開発する。 偏りのない推定器を装着したVAEは予測性能が向上することを示した。
  論文  参考訳（メタデータ） (2020-10-05T08:11:55Z)
• On Projection Robust Optimal Transport: Sample Complexity and Model Misspecification [101.0377583883137]
  射影ロバスト(PR)OTは、2つの測度の間のOTコストを最大化するために、射影可能な$k$次元部分空間を選択する。 私たちの最初の貢献は、PRワッサーシュタイン距離のいくつかの基本的な統計的性質を確立することである。 次に、部分空間を最適化するのではなく平均化することにより、PRW距離の代替として積分PRワッサーシュタイン距離(IPRW)を提案する。
  論文  参考訳（メタデータ） (2020-06-22T14:35:33Z)
• Distributional Sliced-Wasserstein and Applications to Generative Modeling [27.014748003733544]
  Sliced-Wasserstein distance (SW)とその変種Max Sliced-Wasserstein distance (Max-SW)は近年広く使われている。 分散スライス-ワッサーシュタイン距離(DSW)という新しい距離を提案する。 DSWはMax-SWの一般化であり、最適なプッシュフォワード測度を求めることで効率的に計算できることを示す。
  論文  参考訳（メタデータ） (2020-02-18T04:35:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。