論文の概要: Learning to Generate Novel Scene Compositions from Single Images and Videos

• arxiv url: http://arxiv.org/abs/2105.05847v1
• Date: Wed, 12 May 2021 17:59:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-13 12:29:52.406761
• Title: Learning to Generate Novel Scene Compositions from Single Images and Videos
• Title（参考訳）: 単一画像と映像から新しいシーン構成を生成するための学習
• Authors: Vadim Sushko, Juergen Gall, Anna Khoreva
• Abstract要約: One-Shot GANは、トレーニングセットから1つの画像または1つのビデオのサンプルを生成することを学ぶ。 本研究では,シーンレイアウトのリアリズムとは別個に内部コンテンツを判断するためのコンテンツとレイアウトブランチを備えた2分岐判別器を提案する。
• 参考スコア（独自算出の注目度）: 32.131955417610655
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training GANs in low-data regimes remains a challenge, as overfitting often leads to memorization or training divergence. In this work, we introduce One-Shot GAN that can learn to generate samples from a training set as little as one image or one video. We propose a two-branch discriminator, with content and layout branches designed to judge the internal content separately from the scene layout realism. This allows synthesis of visually plausible, novel compositions of a scene, with varying content and layout, while preserving the context of the original sample. Compared to previous single-image GAN models, One-Shot GAN achieves higher diversity and quality of synthesis. It is also not restricted to the single image setting, successfully learning in the introduced setting of a single video.
• Abstract（参考訳）: 低データ体制におけるGANのトレーニングは、過度に適合すると記憶や訓練の分岐につながることが多いため、依然として課題である。 本研究では,1枚の画像や1枚のビデオのトレーニングセットからサンプルを生成することができるOne-Shot GANを提案する。 本研究では,シーンレイアウトのリアリズムとは別個に内部コンテンツを判断するためのコンテンツとレイアウトブランチを備えた2分岐判別器を提案する。 これにより、元のサンプルのコンテキストを保ちながら、内容やレイアウトの異なる、視覚的に可視で斬新なシーンの合成が可能になる。 従来のシングルイメージのGANモデルと比較して、One-Shot GANはより高い多様性と合成品質を達成する。 また、単一の画像設定に限らず、導入した単一のビデオの設定でうまく学習することができる。

関連論文リスト

• Diversified in-domain synthesis with efficient fine-tuning for few-shot classification [64.86872227580866]
  画像分類は,クラスごとのラベル付き例の小さなセットのみを用いて,画像分類器の学習を目的としている。 合成データを用いた数ショット学習における一般化問題に対処する新しいアプローチである DisEF を提案する。 提案手法を10種類のベンチマークで検証し,ベースラインを一貫して上回り,数ショット分類のための新しい最先端の手法を確立した。
  論文  参考訳（メタデータ） (2023-12-05T17:18:09Z)
• SAMPLING: Scene-adaptive Hierarchical Multiplane Images Representation for Novel View Synthesis from a Single Image [60.52991173059486]
  単一画像からの新規ビュー合成のためのシーン適応型階層型多面体画像表現であるSAMPlingを紹介する。 提案手法は,KITTIデータセット上の単一画像を用いて,大規模非有界屋外シーンにおいてかなりの性能向上を示す。
  論文  参考訳（メタデータ） (2023-09-12T15:33:09Z)
• Break-A-Scene: Extracting Multiple Concepts from a Single Image [80.47666266017207]
  テキストシーン分解の課題を紹介する。 本稿では,対象概念の存在を示すマスクを用いた入力画像の拡張を提案する。 次に、新しい2段階のカスタマイズプロセスを示す。
  論文  参考訳（メタデータ） (2023-05-25T17:59:04Z)
• SceneComposer: Any-Level Semantic Image Synthesis [80.55876413285587]
  任意の精度のセマンティックレイアウトから条件付き画像合成のための新しいフレームワークを提案する。 このフレームワークは、形状情報のない最低レベルのテキスト・トゥ・イメージ(T2I)に自然に還元され、最高レベルのセグメンテーション・トゥ・イメージ(S2I)となる。 本稿では,この新たなセットアップの課題に対処する,新しいテクニックをいくつか紹介する。
  論文  参考訳（メタデータ） (2022-11-21T18:59:05Z)
• Enhance Images as You Like with Unpaired Learning [8.104571453311442]
  本稿では,低照度から高照度の画像空間における一対多の関係を学習するために,軽量な一経路条件生成対向ネットワーク(cGAN)を提案する。 我々のネットワークは、様々な参照画像上に設定された所定の入力条件から、拡張された画像の集合を生成することを学習する。 我々のモデルは、ノイズとクリーンなデータセットの完全な教師付き手法と同等に競合する視覚的および定量的な結果を得る。
  論文  参考訳（メタデータ） (2021-10-04T03:00:44Z)
• StEP: Style-based Encoder Pre-training for Multi-modal Image Synthesis [68.3787368024951]
  マルチモーダルイメージ・ツー・イメージ(I2I)翻訳のための新しいアプローチを提案する。 我々は、出力領域の可変性をモデル化する潜伏埋め込みをジェネレータと共同で学習する。 具体的には、新しいプロキシタスクを用いて汎用的なスタイルエンコーダを事前訓練し、任意のドメインから低次元のスタイル潜在空間への画像の埋め込みを学習する。
  論文  参考訳（メタデータ） (2021-04-14T19:58:24Z)
• Generating Novel Scene Compositions from Single Images and Videos [21.92417902229955]
  SIV-GANは,1つのトレーニング画像や1つのビデオクリップから新たなシーン合成を生成できる無条件生成モデルである。 従来の単一画像 GAN と比較すると,より多彩で高品質な画像を生成する一方で,単一の画像設定に制限されない。
  論文  参考訳（メタデータ） (2021-03-24T17:59:07Z)
• Unsupervised Novel View Synthesis from a Single Image [47.37120753568042]
  単一の画像からの新しいビュー合成は、オブジェクトの単一入力画像から新しいビューを生成することを目的としている。 本研究の目的は、新しいビュー合成のための条件付き生成モデルの訓練を、完全に教師なしの方法で行えるようにすることで、この仮定を緩和することである。
  論文  参考訳（メタデータ） (2021-02-05T16:56:04Z)
• Hierarchical Patch VAE-GAN: Generating Diverse Videos from a Single Sample [107.76407209269236]
  本稿では,新しいパッチベースの変分オートエンコーダ(VAE)を導入する。 粗いスケールでは、私たちのパッチVAEが使われ、サンプルの多様性が保証されます。 より微細なスケールでは、パッチGANが細部をレンダリングし、高品質なビデオを生成する。
  論文  参考訳（メタデータ） (2020-06-22T13:24:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。