論文の概要: Improving Relational Regularized Autoencoders with Spherical Sliced
Fused Gromov Wasserstein
- arxiv url: http://arxiv.org/abs/2010.01787v1
- Date: Mon, 5 Oct 2020 05:26:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-10 20:40:04.636644
- Title: Improving Relational Regularized Autoencoders with Spherical Sliced
Fused Gromov Wasserstein
- Title（参考訳）: 球状溶融グロモフワッサーシュタインを用いた関係正規化オートエンコーダの改良
- Authors: Khai Nguyen and Son Nguyen and Nhat Ho and Tung Pham and Hung Bui
- Abstract要約: 球状スライスしたGromov Wasserstein (SSFG) という新しいリレーショナル不一致を提案する。
提案するオートエンコーダは, 潜在多様体構造, 画像生成, 再構成の学習において, 良好な性能を示すことを示す。
- 参考スコア（独自算出の注目度）: 29.527406546511298
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Relational regularized autoencoder (RAE) is a framework to learn the
distribution of data by minimizing a reconstruction loss together with a
relational regularization on the latent space. A recent attempt to reduce the
inner discrepancy between the prior and aggregated posterior distributions is
to incorporate sliced fused Gromov-Wasserstein (SFG) between these
distributions. That approach has a weakness since it treats every slicing
direction similarly, meanwhile several directions are not useful for the
discriminative task. To improve the discrepancy and consequently the relational
regularization, we propose a new relational discrepancy, named spherical sliced
fused Gromov Wasserstein (SSFG), that can find an important area of projections
characterized by a von Mises-Fisher distribution. Then, we introduce two
variants of SSFG to improve its performance. The first variant, named mixture
spherical sliced fused Gromov Wasserstein (MSSFG), replaces the vMF
distribution by a mixture of von Mises-Fisher distributions to capture multiple
important areas of directions that are far from each other. The second variant,
named power spherical sliced fused Gromov Wasserstein (PSSFG), replaces the vMF
distribution by a power spherical distribution to improve the sampling time in
high dimension settings. We then apply the new discrepancies to the RAE
framework to achieve its new variants. Finally, we conduct extensive
experiments to show that the new proposed autoencoders have favorable
performance in learning latent manifold structure, image generation, and
reconstruction.
- Abstract（参考訳）: リレーショナル正規化オートエンコーダ(RAE)は、遅延空間上のリレーショナル正規化とともに再構成損失を最小化し、データの分布を学習するフレームワークである。
前方分布と後方分布の差を減少させようとする最近の試みは、これらの分布の間にスライスされたグロモフ・ワッセルシュタイン (sfg) を組み込むことである。
このアプローチは、すべてのスライシング方向を同じように扱うため弱点があり、一方、いくつかの方向は判別作業には役に立たない。
そこで本稿では,関係正規化と関係正規化を両立させるため,von mises-fisher分布を特徴とする射影の重要領域を求めるために,球状スライスされたgromov wasserstein (ssfg) という新しい関係異性を提案する。
次に,SSFGの性能向上のために2種類のSSFGを提案する。
最初の変種は混合球状スライスされたグロモフ・ワッサーシュタイン (MSSFG) と呼ばれ、vMF分布をフォン・ミセス=フィッシャー分布の混合で置き換え、互いに遠く離れた複数の重要な方向を捉える。
第2の変種はパワースフィナルスライスされたGromov Wasserstein (PSSFG) と呼ばれ、高次元設定におけるサンプリング時間を改善するために、vMF分布をパワースフィラル分布に置き換える。
次に、RAEフレームワークに新しい相違を適用して、その新しい変種を達成する。
最後に,新たに提案したオートエンコーダが,潜在多様体構造,画像生成,再構成の学習に好適な性能を示した。
関連論文リスト
- Uniform Transformation: Refining Latent Representation in Variational Autoencoders [7.4316292428754105]
本稿では,不規則な潜伏分布に対応するために,新しい適応型3段階一様変換(UT)モジュールを提案する。
この手法は不規則分布を潜在空間の均一分布に再構成することにより、潜在表現の絡み合いと解釈可能性を大幅に向上させる。
実験により,提案するUTモジュールの有効性を実証し,ベンチマークデータセット間の絡み合いの指標を改良した。
論文 参考訳（メタデータ） (2024-07-02T21:46:23Z) - Towards Communication-efficient Federated Learning via Sparse and Aligned Adaptive Optimization [65.85963235502322]
Federated Adam (FedAdam) アルゴリズムはアップリンク通信オーバーヘッドの3倍の増大に悩まされている。
我々はFedAdam-SSMと呼ばれる新しいスパースなFedAdamアルゴリズムを提案する。
我々は,FedAdam-SSMが訓練したモデルと集中型Adamの差異を最小化することにより,スペーシフィケーションエラーによる学習性能劣化を軽減するためにSSMを最適化する。
論文 参考訳（メタデータ） (2024-05-28T07:56:49Z) - How to train your VAE [0.0]
変分オートエンコーダ(VAE)は、機械学習における生成モデリングと表現学習の基盤となっている。
本稿では,ELBO(エビデンス・ロウアー・バウンド)における重要な構成要素であるKLディバージェンス(Kulback-Leibler)の解釈について検討する。
提案手法は, ELBOを後続確率のガウス混合体で再定義し, 正規化項を導入し, テクスチャリアリズムを高めるためにPatchGAN識別器を用いる。
論文 参考訳（メタデータ） (2023-09-22T19:52:28Z) - DFedADMM: Dual Constraints Controlled Model Inconsistency for
Decentralized Federated Learning [52.83811558753284]
分散学習(DFL)は、中央サーバーを捨て、分散通信ネットワークを確立する。
既存のDFL手法は依然として、局所的な矛盾と局所的な過度なオーバーフィッティングという2つの大きな課題に悩まされている。
論文 参考訳（メタデータ） (2023-08-16T11:22:36Z) - Improving Variational Autoencoders with Density Gap-based Regularization [16.770753948524167]
変分オートエンコーダ(VAE)は、潜時表現学習と潜時指向生成のためのNLPにおける強力な非教師なし学習フレームワークの1つである。
実際には、ELBoの最適化は、全ての試料の後方分布を同じ分解された局所最適値、すなわち後崩壊またはKL消滅に収束させる。
本稿では, 階層化後分布と先行分布との確率的密度ギャップに基づく新しい正規化により, 両問題に対処する新たな学習目標を提案する。
論文 参考訳（メタデータ） (2022-11-01T08:17:10Z) - Function-space regularized R\'enyi divergences [6.221019624345409]
変分関数空間によってパラメトリズされた正則化 R'enyi divergences の新しい族を提案する。
これらの新しい発散のいくつかの性質を証明し、古典的な R'enyi 発散と IPM 間を補間していることを示す。
提案した正規化 R'enyi は、絶対連続でない分布を比較する能力など、IMM から特徴を継承することを示した。
論文 参考訳（メタデータ） (2022-10-10T19:18:04Z) - Combating Mode Collapse in GANs via Manifold Entropy Estimation [70.06639443446545]
Generative Adversarial Networks (GAN) は、様々なタスクやアプリケーションにおいて魅力的な結果を示している。
GANのモード崩壊問題に対処するための新しいトレーニングパイプラインを提案する。
論文 参考訳（メタデータ） (2022-08-25T12:33:31Z) - Decentralized Local Stochastic Extra-Gradient for Variational
Inequalities [125.62877849447729]
我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。
我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。
理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
論文 参考訳（メタデータ） (2021-06-15T17:45:51Z) - Distributional Sliced Embedding Discrepancy for Incomparable
Distributions [22.615156512223766]
Gromov-Wasserstein (GW) 距離は多様体学習とクロスドメイン学習の鍵となるツールである。
本稿では,分散スライシング,埋め込み,スライスされた分布間の閉形式ワッサーシュタイン距離の計算という2つの計算分布を比較する新しい手法を提案する。
論文 参考訳（メタデータ） (2021-06-04T15:11:30Z) - Variational Hyper-Encoding Networks [62.74164588885455]
ニューラルネットワークパラメータの分布を符号化するHyperVAEというフレームワークを提案する。
遅延符号の後部分布を予測し,行列ネットワークデコーダを用いて後部分布q(theta)を生成する。
論文 参考訳（メタデータ） (2020-05-18T06:46:09Z) - Detached Error Feedback for Distributed SGD with Random Sparsification [98.98236187442258]
コミュニケーションのボトルネックは、大規模なディープラーニングにおいて重要な問題である。
非効率な分散問題に対する誤りフィードバックよりも優れた収束性を示す分散誤差フィードバック(DEF)アルゴリズムを提案する。
また、DEFよりも優れた境界を示すDEFの一般化を加速するDEFAを提案する。
論文 参考訳（メタデータ） (2020-04-11T03:50:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。