論文の概要: Trust the Critics: Generatorless and Multipurpose WGANs with Initial Convergence Guarantees

• arxiv url: http://arxiv.org/abs/2111.15099v1
• Date: Tue, 30 Nov 2021 03:36:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-02 04:42:25.277346
• Title: Trust the Critics: Generatorless and Multipurpose WGANs with Initial Convergence Guarantees
• Title（参考訳）: 批判を信頼する:初期収束保証付き無発電機多目的WGAN
• Authors: Tristan Milne, \'Etienne Bilocq, Adrian Nachman
• Abstract要約: Trust the Critics (TTC) は生成モデリングのための新しいアルゴリズムである。 TTCは、訓練された批評家ネットワークのシーケンス上で勾配降下を用いて、ソースデータを反復的に修正する。
• 参考スコア（独自算出の注目度）: 5.156484100374058
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inspired by ideas from optimal transport theory we present Trust the Critics (TTC), a new algorithm for generative modelling. This algorithm eliminates the trainable generator from a Wasserstein GAN; instead, it iteratively modifies the source data using gradient descent on a sequence of trained critic networks. This is motivated in part by the misalignment which we observed between the optimal transport directions provided by the gradients of the critic and the directions in which data points actually move when parametrized by a trainable generator. Previous work has arrived at similar ideas from different viewpoints, but our basis in optimal transport theory motivates the choice of an adaptive step size which greatly accelerates convergence compared to a constant step size. Using this step size rule, we prove an initial geometric convergence rate in the case of source distributions with densities. These convergence rates cease to apply only when a non-negligible set of generated data is essentially indistinguishable from real data. Resolving the misalignment issue improves performance, which we demonstrate in experiments that show that given a fixed number of training epochs, TTC produces higher quality images than a comparable WGAN, albeit at increased memory requirements. In addition, TTC provides an iterative formula for the transformed density, which traditional WGANs do not. Finally, TTC can be applied to map any source distribution onto any target; we demonstrate through experiments that TTC can obtain competitive performance in image generation, translation, and denoising without dedicated algorithms.
• Abstract（参考訳）: 最適輸送理論のアイデアに着想を得た我々は,生成モデルのための新しいアルゴリズムであるtrust the critics (ttc)を提案する。 このアルゴリズムは、Wasserstein GANからトレーニング可能なジェネレータを排除し、代わりに、訓練された批評家ネットワークのシーケンスに基づいて勾配勾配を用いてソースデータを反復的に修正する。 これは、批判者の勾配によって提供された最適な輸送方向と、訓練可能な発電機によってパラメータ化されると実際にデータポイントが移動する方向との間の不一致が原因である。 従来の研究は異なる視点から類似したアイデアに到達したが、最適輸送理論の基盤は、一定のステップサイズに比べて収束を大幅に加速する適応的なステップサイズの選択を動機付けている。 このステップサイズ則を用いて,密度をもつソース分布の場合の初期幾何収束率を証明した。 これらの収束速度は、非無視可能な生成データの集合が本質的に実際のデータと区別できない場合にのみ適用される。 我々は、一定数のトレーニング期間が経つと、ttcは、メモリ要求が増加するにもかかわらず、同等のwganよりも高品質な画像を生成することを実証する実験で示している。 さらに、TTCは、従来のWGANでは得られない変換密度の反復公式を提供する。 最後に、任意のソース分布を任意のターゲットにマッピングするためにTTCを適用し、専用のアルゴリズムを使わずにTTCが画像生成、翻訳、復調において競合性能を得ることができることを示す。

関連論文リスト

• Straightness of Rectified Flow: A Theoretical Insight into Wasserstein Convergence [54.580605276017096]
  拡散モデルは画像生成とデノナイズのための強力なツールとして登場した。 最近、Liuらは新しい代替生成モデル Rectified Flow (RF) を設計した。 RFは,一連の凸最適化問題を用いて,ノイズからデータへの直流軌跡の学習を目的としている。
  論文  参考訳（メタデータ） (2024-10-19T02:36:11Z)
• GE-AdvGAN: Improving the transferability of adversarial samples by gradient editing-based adversarial generative model [69.71629949747884]
  GAN(Generative Adversarial Networks)のような逆生成モデルは、様々な種類のデータを生成するために広く応用されている。 本研究では, GE-AdvGAN という新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-11T16:43:16Z)
• Flow-based Distributionally Robust Optimization [23.232731771848883]
  We present a framework, called $textttFlowDRO$, for solve flow-based distributionally robust optimization (DRO) problem with Wasserstein uncertainty set。 我々は、連続した最悪のケース分布(Last Favorable Distribution, LFD)とそれからのサンプルを見つけることを目指している。 本稿では、逆学習、分布論的に堅牢な仮説テスト、およびデータ駆動型分布摂動差分プライバシーの新しいメカニズムを実証する。
  論文  参考訳（メタデータ） (2023-10-30T03:53:31Z)
• Entropy Transformer Networks: A Learning Approach via Tangent Bundle Data Manifold [8.893886200299228]
  本稿では,CNNアーキテクチャの設計における画像変換の高精度かつ高速なアプローチについて述べる。 データ多様体分布を補間する新しいエントロピーSTN(ESTN)を提案する。 挑戦的なベンチマークの実験は、提案されたESTNがコンピュータビジョンタスクの範囲で予測精度を向上させることを示している。
  論文  参考訳（メタデータ） (2023-07-24T04:21:51Z)
• Adversarial Likelihood Estimation With One-Way Flows [44.684952377918904]
  GAN(Generative Adversarial Networks)は、高品質なサンプルを生成することができるが、サンプル周辺の確率密度を見積もることはできない。 提案手法は, より高速に収束し, 類似したアーキテクチャでGANに匹敵するサンプル品質を生成し, 一般的に使用されるデータセットの過度な適合を回避し, トレーニングデータのスムーズな低次元潜在表現を生成する。
  論文  参考訳（メタデータ） (2023-07-19T10:26:29Z)
• LD-GAN: Low-Dimensional Generative Adversarial Network for Spectral Image Generation with Variance Regularization [72.4394510913927]
  ディープラーニング法はスペクトル画像(SI)計算タスクの最先端技術である。 GANは、データ分散から学習およびサンプリングすることで、多様な拡張を可能にする。 この種のデータの高次元性は、GANトレーニングの収束を妨げるため、GANベースのSI生成は困難である。 本稿では, オートエンコーダ訓練における低次元表現分散を制御し, GANで生成されたサンプルの多様性を高めるための統計正則化を提案する。
  論文  参考訳（メタデータ） (2023-04-29T00:25:02Z)
• Using Intermediate Forward Iterates for Intermediate Generator Optimization [14.987013151525368]
  中間ジェネレータ最適化は、生成タスクのための任意の標準オートエンコーダパイプラインに組み込むことができる。 IGOの2つの密集予測タスク(viz.)、画像外挿、点雲デノイング(denoising)に対する応用を示す。
  論文  参考訳（メタデータ） (2023-02-05T08:46:15Z)
• Unpaired Image Super-Resolution with Optimal Transport Maps [128.1189695209663]
  実世界の画像超解像(SR)タスクは、しばしば、教師付き技術の適用を制限するペアデータセットを持っていない。 本稿では,非バイアスのOTマップを知覚輸送コストで学習する未ペアSRのアルゴリズムを提案する。 我々のアルゴリズムは、大規模無人AIM-19データセット上で、最先端のパフォーマンスをほぼ提供する。
  論文  参考訳（メタデータ） (2022-02-02T16:21:20Z)
• Comparing Probability Distributions with Conditional Transport [63.11403041984197]
  新しい発散として条件輸送(CT)を提案し、償却されたCT(ACT)コストと近似します。 ACTは条件付き輸送計画の計算を補正し、計算が容易な非バイアスのサンプル勾配を持つ。 さまざまなベンチマークデータセットのジェネレーティブモデリングでは、既存のジェネレーティブ敵対ネットワークのデフォルトの統計距離をACTに置き換えることで、一貫してパフォーマンスを向上させることが示されています。
  論文  参考訳（メタデータ） (2020-12-28T05:14:22Z)
• Improving Generative Adversarial Networks with Local Coordinate Coding [150.24880482480455]
  GAN(Generative Adversarial Network)は、事前定義された事前分布から現実的なデータを生成することに成功している。 実際には、意味情報はデータから学んだ潜在的な分布によって表現される。 ローカル座標符号化(LCC)を用いたLCCGANモデルを提案する。
  論文  参考訳（メタデータ） (2020-07-28T09:17:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。