論文の概要: Cross-Identity Motion Transfer for Arbitrary Objects through Pose-Attentive Video Reassembling

• arxiv url: http://arxiv.org/abs/2007.08786v1
• Date: Fri, 17 Jul 2020 07:21:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-09 13:56:12.153455
• Title: Cross-Identity Motion Transfer for Arbitrary Objects through Pose-Attentive Video Reassembling
• Title（参考訳）: Pose-Attentive Video Reassemblingによる任意物体のクロスアイデンティティ移動
• Authors: Subin Jeon, Seonghyeon Nam, Seoung Wug Oh, Seon Joo Kim
• Abstract要約: ソース画像とドライビングビデオが与えられた場合、このネットワークは、ドライビングビデオの動きに応じて、ソース画像中の被写体をアニメーション化する。 注意機構では、学習した音源のキーポイントと駆動画像との密接な類似性が計算される。 自己教師型学習のトレーニングテストの相違を低減するため、新しいクロスアイデンティティトレーニングスキームが導入された。
• 参考スコア（独自算出の注目度）: 40.20163225821707
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose an attention-based networks for transferring motions between arbitrary objects. Given a source image(s) and a driving video, our networks animate the subject in the source images according to the motion in the driving video. In our attention mechanism, dense similarities between the learned keypoints in the source and the driving images are computed in order to retrieve the appearance information from the source images. Taking a different approach from the well-studied warping based models, our attention-based model has several advantages. By reassembling non-locally searched pieces from the source contents, our approach can produce more realistic outputs. Furthermore, our system can make use of multiple observations of the source appearance (e.g. front and sides of faces) to make the results more accurate. To reduce the training-testing discrepancy of the self-supervised learning, a novel cross-identity training scheme is additionally introduced. With the training scheme, our networks is trained to transfer motions between different subjects, as in the real testing scenario. Experimental results validate that our method produces visually pleasing results in various object domains, showing better performances compared to previous works.
• Abstract（参考訳）: 任意の物体間の動きを伝達するための注意に基づくネットワークを提案する。 ソース画像とドライビングビデオが与えられた場合、このネットワークは、ドライビングビデオの動作に応じて、ソース画像中の被写体をアニメーション化する。 注意機構では、ソース画像から出現情報を取得するために、ソース内の学習されたキーポイントと駆動画像との密接な類似度を算出する。 十分に研究されたワーピングベースのモデルとは異なるアプローチをとると、注意に基づくモデルにはいくつかの利点があります。 ソースコンテンツから非局所的に探索された部分を再組み立てすることで、よりリアルな出力が得られる。 さらに,本システムでは,音源の外観(顔の前面や側面など)を複数観測することで,より正確な結果が得られる。 自己教師型学習の訓練試験誤差を低減するため、新しいクロスアイデンティティトレーニングスキームが導入された。 トレーニング計画では、実際のテストシナリオのように、ネットワークは異なる被験者間で動きを伝達するように訓練されます。 実験により,本手法は様々な対象領域において視覚的に満足な結果をもたらすことが確認された。

関連論文リスト

• Saliency-based Video Summarization for Face Anti-spoofing [4.730428911461921]
  本稿では,ビジュアル・サリエンシを活用して,ディープラーニングモデルの性能向上を目的とした,顔のアンチ・スプーフィング検出のための映像要約手法を提案する。 特に、ソース画像のラプラシアンフィルタ出力とウィーナーフィルタ出力との差から、サリエンシ情報を抽出する。 重み付けマップは、画像中の各ピクセルの重要性を示す唾液度情報に基づいて計算される。
  論文  参考訳（メタデータ） (2023-08-23T18:08:32Z)
• LOCATE: Self-supervised Object Discovery via Flow-guided Graph-cut and Bootstrapped Self-training [13.985488693082981]
  動作情報と外観情報を利用して高品質な物体分割マスクを生成する自己教師型物体発見手法を提案する。 複数の標準ビデオオブジェクトセグメンテーション、画像のサリエンシ検出、オブジェクトセグメンテーションベンチマークにおいて、LOCATEと呼ばれるアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2023-08-22T07:27:09Z)
• PreViTS: Contrastive Pretraining with Video Tracking Supervision [53.73237606312024]
  PreViTSは、同じオブジェクトを含むクリップを選択するための教師なしSSLフレームワークである。 PreViTSはフレーム領域を空間的に制約し、モデルから学習し、意味のあるオブジェクトを見つけるように訓練する。 モーメントコントラスト(MoCo)エンコーダを,PreViTSを用いてVGG-SoundとKinetics-400データセットでトレーニングする。
  論文  参考訳（メタデータ） (2021-12-01T19:49:57Z)
• Object-aware Contrastive Learning for Debiased Scene Representation [74.30741492814327]
  オブジェクトを自己教師型でローカライズする,オブジェクト認識型コントラスト学習フレームワークを開発した。 また、コントラCAM、オブジェクト認識型乱作、背景混合に基づく2つのデータ拡張を導入し、コントラスト型自己教師型学習における文脈バイアスと背景バイアスを低減した。
  論文  参考訳（メタデータ） (2021-07-30T19:24:07Z)
• JOKR: Joint Keypoint Representation for Unsupervised Cross-Domain Motion Retargeting [53.28477676794658]
  ビデオにおける教師なしの動作は ディープ・ニューラル・ネットワークによって 大幅に進歩しました JOKR(Joint Keypoint Representation)は、オブジェクトの事前やデータ収集を必要とせずに、ソースとターゲットのビデオの両方を処理する。 本手法は質的かつ定量的に評価し,異なる動物,異なる花,人間など,さまざまなクロスドメインシナリオを扱うことを示す。
  論文  参考訳（メタデータ） (2021-06-17T17:32:32Z)
• Contrastive Learning of Image Representations with Cross-Video Cycle-Consistency [13.19476138523546]
  ビデオ間関係は視覚表現学習ではほとんど研究されていない。 本稿では,一般画像表現学習のサイクル一貫性を利用して,映像間関係を探索する新しいコントラスト学習手法を提案する。 最先端のコントラスト学習方法よりも大幅に改善されています。
  論文  参考訳（メタデータ） (2021-05-13T17:59:11Z)
• Instance Localization for Self-supervised Detection Pretraining [68.24102560821623]
  インスタンスローカリゼーションと呼ばれる,新たな自己監視型プリテキストタスクを提案する。 境界ボックスを事前学習に組み込むことで、より優れたタスクアライメントとアーキテクチャアライメントが促進されることを示す。 実験結果から, オブジェクト検出のための最先端の転送学習結果が得られた。
  論文  参考訳（メタデータ） (2021-02-16T17:58:57Z)
• Self-Supervised Representation Learning from Flow Equivariance [97.13056332559526]
  本稿では,複雑なシーンの映像ストリームに直接展開可能な,自己教師型学習表現フレームワークを提案する。 高分解能rawビデオから学んだ我々の表現は、静的画像の下流タスクに簡単に使用できます。
  論文  参考訳（メタデータ） (2021-01-16T23:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。