論文の概要: Image Morphing with Perceptual Constraints and STN Alignment

• arxiv url: http://arxiv.org/abs/2004.14071v1
• Date: Wed, 29 Apr 2020 10:49:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 13:26:18.596097
• Title: Image Morphing with Perceptual Constraints and STN Alignment
• Title（参考訳）: 知覚制約とSTNアライメントを用いた画像修正
• Authors: Noa Fish, Richard Zhang, Lilach Perry, Daniel Cohen-Or, Eli Shechtman, Connelly Barnes
• Abstract要約: 本稿では,一対の入力画像で動作する条件付きGANモーフィングフレームワークを提案する。 特別なトレーニングプロトコルは、知覚的類似性損失と組み合わせてフレームのシーケンスを生成し、時間とともにスムーズな変換を促進する。 我々は、古典的かつ潜時的な空間変形技術との比較を行い、自己スーパービジョンのための一連の画像から、我々のネットワークが視覚的に楽しむモーフィング効果を生成することを実証する。
• 参考スコア（独自算出の注目度）: 70.38273150435928
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In image morphing, a sequence of plausible frames are synthesized and composited together to form a smooth transformation between given instances. Intermediates must remain faithful to the input, stand on their own as members of the set, and maintain a well-paced visual transition from one to the next. In this paper, we propose a conditional GAN morphing framework operating on a pair of input images. The network is trained to synthesize frames corresponding to temporal samples along the transformation, and learns a proper shape prior that enhances the plausibility of intermediate frames. While individual frame plausibility is boosted by the adversarial setup, a special training protocol producing sequences of frames, combined with a perceptual similarity loss, promote smooth transformation over time. Explicit stating of correspondences is replaced with a grid-based freeform deformation spatial transformer that predicts the geometric warp between the inputs, instituting the smooth geometric effect by bringing the shapes into an initial alignment. We provide comparisons to classic as well as latent space morphing techniques, and demonstrate that, given a set of images for self-supervision, our network learns to generate visually pleasing morphing effects featuring believable in-betweens, with robustness to changes in shape and texture, requiring no correspondence annotation.
• Abstract（参考訳）: 画像変形では、与えられたインスタンス間のスムーズな変換を形成するために、可塑性フレームのシーケンスを合成して合成する。 中間者はインプットに忠実であり続け、セットのメンバーとして独自の立場を保ち、それぞれから次の視覚的遷移を維持しなければならない。 本稿では,一対の入力画像で動作する条件付きGANモーフィングフレームワークを提案する。 ネットワークは、変換に沿った時間サンプルに対応するフレームを合成するように訓練され、中間フレームの妥当性を高めるための適切な形状を事前に学習する。 対向的な設定により、個々のフレームの可視性が向上する一方、知覚的類似性損失と組み合わせてフレームのシーケンスを生成する特別なトレーニングプロトコルは、時間とともにスムーズな変換を促進する。 対応の明示的な記述は、入力間の幾何学的ワープを予測するグリッドベースの自由形変形空間変換器に置き換えられ、形状を初期アライメントにすることで滑らかな幾何学的効果を構成する。 古典的手法と潜伏空間モーフィング手法との比較を行い, 自己スーパービジョンのための画像集合を与えられたネットワークは, 形状やテクスチャの変化に対して頑健性を持ち, 対応注釈を必要とせず, 視覚的にモーフィング効果を生成できることを実証する。

関連論文リスト

• Framer: Interactive Frame Interpolation [73.06734414930227]
  Framerのターゲットは、ユーザのクリエイティビティに応じて、2つのイメージ間のスムーズな遷移フレームを生成することだ。 提案手法は,選択したキーポイントの軌道を調整し,遷移過程のカスタマイズを支援する。 ここでは,キーポイントと軌道を自動的に推定するモジュールを導入する。
  論文  参考訳（メタデータ） (2024-10-24T17:59:51Z)
• SRIF: Semantic Shape Registration Empowered by Diffusion-based Image Morphing and Flow Estimation [2.336821026049481]
  拡散型画像モーフィングとフロー推定に基づく新しいセマンティック形状登録フレームワークSRIFを提案する。 SRIFは、挑戦的な形状対に関する高品質な密接な対応を実現するが、その間にスムーズで意味のある意味を与える。
  論文  参考訳（メタデータ） (2024-09-18T03:47:24Z)
• Technical Report: Masked Skeleton Sequence Modeling for Learning Larval Zebrafish Behavior Latent Embeddings [5.922172844641853]
  幼魚ゼブラフィッシュの行動から潜伏埋め込みを抽出する自己教師型学習法を提案する。 スイミングゼブラフィッシュの骨格配列について、SSTFormer(Sequence Space-Temporal Transformer)の先駆的なトランスフォーマーCNNアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-03-23T02:58:10Z)
• DynaST: Dynamic Sparse Transformer for Exemplar-Guided Image Generation [56.514462874501675]
  本稿では,動的スパースアテンションに基づくトランスフォーマーモデルを提案する。 このアプローチの核心は、ある位置がフォーカスすべき最適なトークン数の変化をカバーすることに特化した、新しいダイナミックアテンションユニットです。 3つの応用、ポーズ誘導型人物画像生成、エッジベース顔合成、歪みのない画像スタイル転送の実験により、DynaSTは局所的な詳細において優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2022-07-13T11:12:03Z)
• Frame Averaging for Equivariant Shape Space Learning [85.42901997467754]
  形状空間学習に対称性を組み込む自然な方法は、形状空間(エンコーダ)への写像と形状空間(デコーダ)からの写像が関連する対称性に同値であることを問うことである。 本稿では,2つのコントリビューションを導入することで,エンコーダとデコーダの等価性を組み込む枠組みを提案する。
  論文  参考訳（メタデータ） (2021-12-03T06:41:19Z)
• Neural Crossbreed: Neural Based Image Metamorphosis [11.357156231073862]
  本稿では,入力画像の意味的変化を潜時空間で学習し,モーフィング効果を生み出すフィードフォワードニューラルネットワークを提案する。 ネットワークは意味的変化を学習するため、ユーザが明示的な対応を指定せずに意味のある中間画像のシーケンスを生成することができる。
  論文  参考訳（メタデータ） (2020-09-02T08:56:47Z)
• Learning to Caricature via Semantic Shape Transform [95.25116681761142]
  本稿では,意味的形状変換に基づくアルゴリズムを提案する。 提案手法は,顔の構造を維持しつつ,視覚的に心地よい形状の誇張を表現できることを示す。
  論文  参考訳（メタデータ） (2020-08-12T03:41:49Z)
• Fast Symmetric Diffeomorphic Image Registration with Convolutional Neural Networks [11.4219428942199]
  本稿では,新しい非教師付き対称画像登録手法を提案する。 大規模脳画像データセットを用いた3次元画像登録法について検討した。
  論文  参考訳（メタデータ） (2020-03-20T22:07:24Z)
• Fine-grained Image-to-Image Transformation towards Visual Recognition [102.51124181873101]
  我々は,入力画像の同一性を保った画像を生成するために,微細なカテゴリで画像を変換することを目的としている。 我々は、画像のアイデンティティと非関連要因をアンハングルするために、生成的敵ネットワークに基づくモデルを採用する。 CompCarsとMulti-PIEデータセットの実験では、我々のモデルが生成した画像のアイデンティティを、最先端の画像-画像変換モデルよりもはるかによく保存していることが示された。
  論文  参考訳（メタデータ） (2020-01-12T05:26:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。