論文の概要: Neural Crossbreed: Neural Based Image Metamorphosis

• arxiv url: http://arxiv.org/abs/2009.00905v1
• Date: Wed, 2 Sep 2020 08:56:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-22 20:05:04.657748
• Title: Neural Crossbreed: Neural Based Image Metamorphosis
• Title（参考訳）: ニューラルクロスブレッド(neural crossbreed:neural based image metamorphosis)
• Authors: Sanghun Park, Kwanggyoon Seo, Junyong Noh
• Abstract要約: 本稿では,入力画像の意味的変化を潜時空間で学習し,モーフィング効果を生み出すフィードフォワードニューラルネットワークを提案する。 ネットワークは意味的変化を学習するため、ユーザが明示的な対応を指定せずに意味のある中間画像のシーケンスを生成することができる。
• 参考スコア（独自算出の注目度）: 11.357156231073862
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We propose Neural Crossbreed, a feed-forward neural network that can learn a semantic change of input images in a latent space to create the morphing effect. Because the network learns a semantic change, a sequence of meaningful intermediate images can be generated without requiring the user to specify explicit correspondences. In addition, the semantic change learning makes it possible to perform the morphing between the images that contain objects with significantly different poses or camera views. Furthermore, just as in conventional morphing techniques, our morphing network can handle shape and appearance transitions separately by disentangling the content and the style transfer for rich usability. We prepare a training dataset for morphing using a pre-trained BigGAN, which generates an intermediate image by interpolating two latent vectors at an intended morphing value. This is the first attempt to address image morphing using a pre-trained generative model in order to learn semantic transformation. The experiments show that Neural Crossbreed produces high quality morphed images, overcoming various limitations associated with conventional approaches. In addition, Neural Crossbreed can be further extended for diverse applications such as multi-image morphing, appearance transfer, and video frame interpolation.
• Abstract（参考訳）: 本研究では,入力画像の意味変化を潜在空間で学習し,モーフィング効果を生成する,フィードフォワードニューラルネットワークであるneural crossbreedを提案する。 ネットワークは意味的変化を学習するため、ユーザが明示的な対応を指定せずに意味のある中間画像のシーケンスを生成することができる。 さらに、セマンティックな変更学習によって、ポーズやカメラビューが著しく異なるオブジェクトを含むイメージ間のモーフィングの実行が可能になる。 さらに,従来のモーフィング手法と同様に,我々のモーフィングネットワークは,コンテンツとスタイルの変換を疎結合にすることで,形状と外観の遷移を別々に処理することができる。 本研究では,2つの潜伏ベクトルを意図したモーフィング値で補間することにより,中間画像を生成するBigGANを用いたモーフィング訓練データセットを作成する。 これは、セマンティックトランスフォーメーションを学習するために、事前訓練された生成モデルを用いて画像変形に対処する最初の試みである。 実験により,ニューラルクロスブリードは高品質なモーフィズド画像を生成し,従来のアプローチに伴う様々な制限を克服することを示した。 さらに、マルチイメージのモーフィング、外観変換、ビデオフレーム補間など、多様な用途に対して、Neural Crossbreedをさらに拡張することができる。

関連論文リスト

• Hyper-VolTran: Fast and Generalizable One-Shot Image to 3D Object Structure via HyperNetworks [53.67497327319569]
  画像から3Dまでを1つの視点から解く新しいニューラルレンダリング手法を提案する。 提案手法では, 符号付き距離関数を表面表現として使用し, 幾何エンコードボリュームとハイパーネットワークスによる一般化可能な事前処理を取り入れた。 本実験は,一貫した結果と高速な生成による提案手法の利点を示す。
  論文  参考訳（メタデータ） (2023-12-24T08:42:37Z)
• Cross-Image Attention for Zero-Shot Appearance Transfer [68.43651329067393]
  画像間の意味的対応を暗黙的に確立するクロスイメージアテンション機構を導入する。 ノイズの多い潜在コードを操作する3つのメカニズムと、デノナイジングプロセスを通してモデルの内部表現を利用する。 実験により,本手法は多種多様な対象カテゴリに対して有効であり,形状,大きさ,視点の変動に頑健であることが示された。
  論文  参考訳（メタデータ） (2023-11-06T18:33:24Z)
• Neural Implicit Morphing of Face Images [0.7643309077806446]
  フェイスフォーミングは、多くの芸術的および法医学的応用を持つコンピュータグラフィックスにおける問題である。 このタスクは、特徴アライメントのためのワープと、歪んだ画像間のシームレスな遷移のためのブレンディングで構成される。 我々は,このような歪みや顔画像のブレンドを表現するために,協調型ニューラルネットワークを活用することを提案する。
  論文  参考訳（メタデータ） (2023-08-26T14:12:19Z)
• Multimodal Neurons in Pretrained Text-Only Transformers [52.20828443544296]
  視覚表現を対応するテキストに変換する「マルチモーダルニューロン」を同定する。 マルチモーダルニューロンは入力を横断する特定の視覚概念で動作し、画像キャプションに系統的な因果効果を有することを示す。
  論文  参考訳（メタデータ） (2023-08-03T05:27:12Z)
• MorphGANFormer: Transformer-based Face Morphing and De-Morphing [55.211984079735196]
  顔変形に対するスタイルGANベースのアプローチが主要な技術である。 本稿では,顔の変形に対する変換器ベースの代替手段を提案し,その利点をStyleGANベースの方法と比較した。
  論文  参考訳（メタデータ） (2023-02-18T19:09:11Z)
• Multiview Regenerative Morphing with Dual Flows [20.062713286961326]
  本稿では,Multiview Regenerative Morphingと呼ばれる新しい手法を提案する。 フォーミング過程を厳密で最適な輸送のための最適化として定式化する。 ユーザの指定した対応や2D/3D入力メッシュには依存しない。
  論文  参考訳（メタデータ） (2022-08-02T07:22:48Z)
• Image Morphing with Perceptual Constraints and STN Alignment [70.38273150435928]
  本稿では,一対の入力画像で動作する条件付きGANモーフィングフレームワークを提案する。 特別なトレーニングプロトコルは、知覚的類似性損失と組み合わせてフレームのシーケンスを生成し、時間とともにスムーズな変換を促進する。 我々は、古典的かつ潜時的な空間変形技術との比較を行い、自己スーパービジョンのための一連の画像から、我々のネットワークが視覚的に楽しむモーフィング効果を生成することを実証する。
  論文  参考訳（メタデータ） (2020-04-29T10:49:10Z)
• Fine-grained Image-to-Image Transformation towards Visual Recognition [102.51124181873101]
  我々は,入力画像の同一性を保った画像を生成するために,微細なカテゴリで画像を変換することを目的としている。 我々は、画像のアイデンティティと非関連要因をアンハングルするために、生成的敵ネットワークに基づくモデルを採用する。 CompCarsとMulti-PIEデータセットの実験では、我々のモデルが生成した画像のアイデンティティを、最先端の画像-画像変換モデルよりもはるかによく保存していることが示された。
  論文  参考訳（メタデータ） (2020-01-12T05:26:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。