論文の概要: NeurInt : Learning to Interpolate through Neural ODEs
- arxiv url: http://arxiv.org/abs/2111.04123v1
- Date: Sun, 7 Nov 2021 16:31:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-10 05:15:38.557853
- Title: NeurInt : Learning to Interpolate through Neural ODEs
- Title(参考訳): NeurInt : ニューラルネットワークによる補間学習
- Authors: Avinandan Bose, Aniket Das, Yatin Dandi, Piyush Rai
- Abstract要約: 本稿では,2つの画像間の軌跡分布を学習する新しい生成モデルを提案する。
提案手法の有効性を示すとともに,画像の品質向上と,実画像と対象画像の任意のペアに対して,スムーズな軌道上の多様な分布を学習する能力を示す。
- 参考スコア(独自算出の注目度): 18.104328632453676
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A wide range of applications require learning image generation models whose
latent space effectively captures the high-level factors of variation present
in the data distribution. The extent to which a model represents such
variations through its latent space can be judged by its ability to interpolate
between images smoothly. However, most generative models mapping a fixed prior
to the generated images lead to interpolation trajectories lacking smoothness
and containing images of reduced quality. In this work, we propose a novel
generative model that learns a flexible non-parametric prior over interpolation
trajectories, conditioned on a pair of source and target images. Instead of
relying on deterministic interpolation methods (such as linear or spherical
interpolation in latent space), we devise a framework that learns a
distribution of trajectories between two given images using Latent Second-Order
Neural Ordinary Differential Equations. Through a hybrid combination of
reconstruction and adversarial losses, the generator is trained to map the
sampled points from these trajectories to sequences of realistic images that
smoothly transition from the source to the target image. Through comprehensive
qualitative and quantitative experiments, we demonstrate our approach's
effectiveness in generating images of improved quality as well as its ability
to learn a diverse distribution over smooth interpolation trajectories for any
pair of real source and target images.
- Abstract(参考訳): 幅広いアプリケーションでは、潜在空間がデータ分布に存在する変動の高レベルな要素を効果的に捉えている画像生成モデルを学習する必要がある。
モデルがその潜在空間を通してそのようなバリエーションを表現する範囲は、画像間の補間をスムーズに行う能力によって判断できる。
しかし、生成した画像に固定された画像をマッピングするほとんどの生成モデルは、滑らかさに欠け、画質の低下した画像を含む補間軌道につながる。
本研究では,一対のソースとターゲット画像に条件付けされた補間軌道上のフレキシブルな非パラメトリック事前学習モデルを提案する。
決定論的補間法(潜在空間における線形補間や球面補間など)に頼る代わりに、潜在二階神経常微分方程式を用いて2つの画像間の軌跡分布を学習する枠組みを考案する。
リコンストラクションと敵対的損失のハイブリッドにより、ジェネレータはこれらの軌道からサンプリングされた点を、ソースからターゲット画像へスムーズに遷移する現実的な画像のシーケンスにマッピングするように訓練される。
総合的な質的および定量的な実験を通じて、改良された画質の画像を生成するためのアプローチの有効性と、任意の実画像と対象画像に対する滑らかな補間軌道上の多様な分布を学習する能力を示す。
関連論文リスト
- IMPUS: Image Morphing with Perceptually-Uniform Sampling Using Diffusion
Models [24.382275473592046]
知覚一様サンプリング(IMPUS)を用いた拡散型画像形成手法を提案する。
IMPUSはスムーズで直接的でリアルな画像を生成する。
論文 参考訳(メタデータ) (2023-11-12T10:03:32Z) - Interpolating between Images with Diffusion Models [2.6027967363792865]
2つの入力イメージ間の補間は、画像生成パイプラインから欠落するタスクである。
潜在拡散モデルを用いたゼロショット法を提案する。
一貫性を高めるために、あるいは追加の基準を指定するために、いくつかの候補を生成し、CLIPを使用して最高の画質のイメージを選択することができる。
論文 参考訳(メタデータ) (2023-07-24T07:03:22Z) - Flow Matching in Latent Space [2.9330609943398525]
フローマッチングは、印象的な経験的パフォーマンスを示す生成モデルをトレーニングするフレームワークである。
本稿では,事前学習されたオートエンコーダの潜時空間にフローマッチングを適用し,計算効率を向上させることを提案する。
我々の研究は、条件生成タスクのフローマッチングへの様々な条件の統合における先駆的な貢献である。
論文 参考訳(メタデータ) (2023-07-17T17:57:56Z) - Real-World Image Variation by Aligning Diffusion Inversion Chain [53.772004619296794]
生成した画像と実世界の画像の間にはドメインギャップがあり、これは実世界の画像の高品質なバリエーションを生成する上での課題である。
実世界画像のアライメントによる変化(RIVAL)と呼ばれる新しい推論パイプラインを提案する。
我々のパイプラインは、画像生成プロセスとソース画像の反転チェーンを整列させることにより、画像の変動の生成品質を向上させる。
論文 参考訳(メタデータ) (2023-05-30T04:09:47Z) - VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。
ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。
本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
論文 参考訳(メタデータ) (2023-04-03T13:13:19Z) - Auto-regressive Image Synthesis with Integrated Quantization [55.51231796778219]
本稿では,条件付き画像生成のための多目的フレームワークを提案する。
CNNの帰納バイアスと自己回帰の強力なシーケンスモデリングが組み込まれている。
提案手法は,最先端技術と比較して,優れた多彩な画像生成性能を実現する。
論文 参考訳(メタデータ) (2022-07-21T22:19:17Z) - Meta Internal Learning [88.68276505511922]
単一画像生成のための内部学習は、単一の画像に基づいて新しい画像を生成するようにジェネレータを訓練するフレームワークである。
本稿では,サンプル画像の内部統計をより効果的にモデル化するために,画像集合のトレーニングを可能にするメタラーニング手法を提案する。
以上の結果から, 得られたモデルは, 多数の共通画像アプリケーションにおいて, シングルイメージのGANと同程度に適していることがわかった。
論文 参考訳(メタデータ) (2021-10-06T16:27:38Z) - Smoothing the Disentangled Latent Style Space for Unsupervised
Image-to-Image Translation [56.55178339375146]
イメージ・ツー・イメージ(I2I)マルチドメイン翻訳モデルは通常、セマンティックな結果の品質を用いて評価される。
本稿では,翻訳ネットワークがスムーズでゆがみのあるラテントスタイル空間を学習するのに役立つ,3つの特定の損失に基づく新たなトレーニングプロトコルを提案する。
論文 参考訳(メタデータ) (2021-06-16T17:58:21Z) - Unsupervised Discovery of Disentangled Manifolds in GANs [74.24771216154105]
解釈可能な生成プロセスは、様々な画像編集アプリケーションに有用である。
本稿では,任意の学習された生成逆数ネットワークが与えられた潜在空間における解釈可能な方向を検出する枠組みを提案する。
論文 参考訳(メタデータ) (2020-11-24T02:18:08Z) - Weighted Encoding Based Image Interpolation With Nonlocal Linear
Regression Model [8.013127492678272]
超高解像度画像では、低解像度画像は、ぼやけやノイズを伴わずに、その高解像度画像から直接ダウンサンプリングされる。
この問題に対処するために,スパース表現に基づく新しい画像モデルを提案する。
クラスタリングではなく、オンラインの適応サブ辞書を学習するための新しいアプローチ。
論文 参考訳(メタデータ) (2020-03-04T03:20:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。