論文の概要: Amortized Projection Optimization for Sliced Wasserstein Generative Models

• arxiv url: http://arxiv.org/abs/2203.13417v1
• Date: Fri, 25 Mar 2022 02:08:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-28 12:15:54.788352
• Title: Amortized Projection Optimization for Sliced Wasserstein Generative Models
• Title（参考訳）: スライスドワッサースタイン生成モデルに対する不定形射影最適化
• Authors: Khai Nguyen and Nhat Ho
• Abstract要約: 本稿では,2つのミニバッチ確率測度の情報伝達方向を予測するために,学習から最適化までの手法やアモータイズ最適化を提案する。 我々の知る限りでは、これは最適化とワッサーシュタイン生成モデルを橋渡しする最初の研究である。
• 参考スコア（独自算出の注目度）: 17.196369579631074
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Seeking informative projecting directions has been an important task in utilizing sliced Wasserstein distance in applications. However, finding these directions usually requires an iterative optimization procedure over the space of projecting directions, which is computationally expensive. Moreover, the computational issue is even more severe in deep learning applications, where computing the distance between two mini-batch probability measures is repeated several times. This nested-loop has been one of the main challenges that prevent the usage of sliced Wasserstein distances based on good projections in practice. To address this challenge, we propose to utilize the learning-to-optimize technique or amortized optimization to predict the informative direction of any given two mini-batch probability measures. To the best of our knowledge, this is the first work that bridges amortized optimization and sliced Wasserstein generative models. In particular, we derive linear amortized models, generalized linear amortized models, and non-linear amortized models which are corresponding to three types of novel mini-batch losses, named amortized sliced Wasserstein. We demonstrate the favorable performance of the proposed sliced losses in deep generative modeling on standard benchmark datasets.
• Abstract（参考訳）: スライスされたwasserstein距離を応用する際には、有益な投影方向を求めることが重要な課題である。 しかし、これらの方向を見つけるには、通常、投影方向の空間上の反復最適化手順が必要である。 さらに,2つのミニバッチ確率測度間の距離を数回繰り返す深層学習アプリケーションでは,計算問題がさらに深刻である。 このネストループは、実際の良好な投影に基づくスライスされたワッサーシュタイン距離の使用を防止する主要な課題の1つである。 この課題に対処するために,学習最適化手法や償却最適化手法を用いて,任意の2つのミニバッチ確率測度の情報的方向を予測することを提案する。 私たちの知る限りでは、これはamortized optimizationとsliced wasserstein generative modelを橋渡しした最初の作品です。 特に,線形アモルト化モデル,一般化線形アモルト化モデル,および3種類の新しいミニバッチ損失に対応する非線形アモルト化モデルを導出する。 標準ベンチマークデータセット上での深部生成モデルにおいて,提案したスライス損失の良好な性能を示す。

関連論文リスト

• Constructing Gaussian Processes via Samplets [0.0]
  最適収束率を持つモデルを特定するために,最近の収束結果について検討する。 本稿では,ガウス過程を効率的に構築・訓練するためのサンプルベースアプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-11T18:01:03Z)
• DiP-GO: A Diffusion Pruner via Few-step Gradient Optimization [22.546989373687655]
  本稿では,よりインテリジェントで微分可能なプルーナーを用いて,効率的な拡散モデルを導出する新しいプルーニング法を提案する。 提案手法はSD-1.5の4.4倍の高速化を実現し,従来の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T12:18:24Z)
• Model Ensembling for Constrained Optimization [7.4351710906830375]
  下流最適化に使用される多次元出力予測のためのモデルを組み立てたいという設定について検討する。 より正確には、状態空間を多次元実数値予測にマッピングする多くのモデルが与えられていると想像する。 これらの予測は、指定された制約の下で最適化したい線形対象の係数を形成する。 証明可能かつ収束性の高い2つのアルゴリズムに導かれる多重校正手法を適用した。
  論文  参考訳（メタデータ） (2024-05-27T01:48:07Z)
• Sliced Wasserstein with Random-Path Projecting Directions [49.802024788196434]
  本稿では,モンテカルロ予想推定のための高速サンプリングを行う最適化自由スライシング分布を提案する。 我々はランダムパススライシング分布(RPSD)とスライスされたワッサースタインの2つの変種、すなわちランダムパススライシングワッサースタイン(RPSW)とIWRPSW(Importance Weighted Random-Path Projection Sliced Wasserstein)を導出する。
  論文  参考訳（メタデータ） (2024-01-29T04:59:30Z)
• Deep Equilibrium Optical Flow Estimation [80.80992684796566]
  最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。 これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。 暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
  論文  参考訳（メタデータ） (2022-04-18T17:53:44Z)
• An Adaptive and Scalable ANN-based Model-Order-Reduction Method for Large-Scale TO Designs [22.35243726859667]
  トポロジ最適化(TO)は、興味のある最適な性能で構造設計を得るための体系的なアプローチを提供する。 ディープラーニングベースのモデルは、プロセスの高速化のために開発されている。 MapNetは、粗いスケールから細かいスケールまでの関心領域をマッピングするニューラルネットワークである。
  論文  参考訳（メタデータ） (2022-03-20T10:12:24Z)
• Implicit Parameter-free Online Learning with Truncated Linear Models [51.71216912089413]
  パラメータフリーアルゴリズムは、設定された学習率を必要としないオンライン学習アルゴリズムである。 そこで我々は,「単純」なフレーバーを持つ新しい更新によって,切り離された線形モデルを活用できる新しいパラメータフリーアルゴリズムを提案する。 後悔の新たな分解に基づいて、新しい更新は効率的で、各ステップで1つの勾配しか必要とせず、切り捨てられたモデルの最小値をオーバーシュートすることはない。
  論文  参考訳（メタデータ） (2022-03-19T13:39:49Z)
• Robust Optimal Transport with Applications in Generative Modeling and Domain Adaptation [120.69747175899421]
  ワッサーシュタインのような最適輸送(OT)距離は、GANやドメイン適応のようないくつかの領域で使用されている。 本稿では,現代のディープラーニングアプリケーションに適用可能な,ロバストなOT最適化の計算効率のよい2つの形式を提案する。 提案手法では, ノイズの多いデータセット上で, 外部分布で劣化したGANモデルをトレーニングすることができる。
  論文  参考訳（メタデータ） (2020-10-12T17:13:40Z)
• Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
  スケッチに基づくL2正規化最小二乗問題の解法を提案する。 我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
  論文  参考訳（メタデータ） (2020-06-10T15:00:09Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• Stochastic Optimization for Regularized Wasserstein Estimators [10.194798773447879]
  ワッサーシュタイン推定器勾配の正規化版を、自然次元のサブ線形なステップ毎の時間で解くアルゴリズムを導入する。 このアルゴリズムは他のタスクにも拡張可能であることを示し、その中にはWasserstein Barycentersの推定も含まれる。
  論文  参考訳（メタデータ） (2020-02-20T12:04:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。