論文の概要: Self-supervised Correlation Mining Network for Person Image Generation
- arxiv url: http://arxiv.org/abs/2111.13307v2
- Date: Mon, 29 Nov 2021 08:25:03 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-30 13:25:56.921824
- Title: Self-supervised Correlation Mining Network for Person Image Generation
- Title（参考訳）: 人物画像生成のための自己教師付き相関マイニングネットワーク
- Authors: Zijian Wang, Xingqun Qi, Kun Yuan, Muyi Sun
- Abstract要約: 人物画像生成は、ソース画像の非剛性変形を実現することを目的としている。
特徴空間のソース画像を再構成する自己教師付き相関マイニングネットワーク(SCM-Net)を提案する。
クロススケールポーズ変換の忠実度を向上させるために,グラフに基づく身体構造保持損失を提案する。
- 参考スコア（独自算出の注目度）: 9.505343361614928
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Person image generation aims to perform non-rigid deformation on source
images, which generally requires unaligned data pairs for training. Recently,
self-supervised methods express great prospects in this task by merging the
disentangled representations for self-reconstruction. However, such methods
fail to exploit the spatial correlation between the disentangled features. In
this paper, we propose a Self-supervised Correlation Mining Network (SCM-Net)
to rearrange the source images in the feature space, in which two collaborative
modules are integrated, Decomposed Style Encoder (DSE) and Correlation Mining
Module (CMM). Specifically, the DSE first creates unaligned pairs at the
feature level. Then, the CMM establishes the spatial correlation field for
feature rearrangement. Eventually, a translation module transforms the
rearranged features to realistic results. Meanwhile, for improving the fidelity
of cross-scale pose transformation, we propose a graph based Body Structure
Retaining Loss (BSR Loss) to preserve reasonable body structures on half body
to full body generation. Extensive experiments conducted on DeepFashion dataset
demonstrate the superiority of our method compared with other supervised and
unsupervised approaches. Furthermore, satisfactory results on face generation
show the versatility of our method in other deformation tasks.
- Abstract（参考訳）: 人物画像生成は、トレーニングに不整合データペアを必要とするソースイメージに対して、非剛性変形を行うことを目的としている。
近年, 自己再建のための不整合表現を融合させることにより, 自己管理手法は, この課題における大きな展望を表現している。
しかし, この手法は, 絡み合った特徴間の空間的相関をうまく利用できない。
本稿では,DSE(Decomposed Style Encoder)とCMM(Reference Mining Module)という2つのコラボレーティブモジュールを統合した,特徴空間のソースコードを再構成する自己監督型相関マイニングネットワーク(SCM-Net)を提案する。
具体的には、DSEはまず、機能レベルで不整合ペアを生成する。
そして、CMMは特徴再構成のための空間相関場を確立する。
最終的に、翻訳モジュールは再配置された特徴を現実的な結果に変換する。
一方,クロススケールポーズ変換の忠実度を向上させるため,半体から全体生成までの合理的な身体構造を維持するために,グラフベースの身体構造保持損失(BSR損失)を提案する。
DeepFashionデータセット上で行った大規模な実験は、他の教師なしおよび教師なしのアプローチと比較して、我々の手法の優位性を示している。
また, 顔生成結果の満足度は, 他の変形課題における本手法の汎用性を示す。
関連論文リスト
- FissionVAE: Federated Non-IID Image Generation with Latent Space and Decoder Decomposition [9.059664504170287]
フェデレートされた学習により、分散化されたクライアントは、すべてのトレーニングデータをローカルに保ちながら、共有モデルを共同で学習することができる。
本稿では、潜在空間を分解し、個々のクライアントグループに適したデコーダブランチを構成する新しいアプローチFissionVAEを紹介する。
アプローチを評価するために,MNISTとFashionMNISTを組み合わせた2つの複合データセットを作成した。
論文 参考訳（メタデータ） (2024-08-30T08:22:30Z) - A Plug-and-Play Method for Rare Human-Object Interactions Detection by Bridging Domain Gap [50.079224604394]
textbfContext-textbfEnhanced textbfFeature textbfAment (CEFA) と呼ばれる新しいモデルに依存しないフレームワークを提案する。
CEFAは機能アライメントモジュールとコンテキスト拡張モジュールで構成される。
本手法は, 稀なカテゴリにおけるHOIモデルの検出性能を向上させるために, プラグアンドプレイモジュールとして機能する。
論文 参考訳（メタデータ） (2024-07-31T08:42:48Z) - Double-Shot 3D Shape Measurement with a Dual-Branch Network [14.749887303860717]
我々は、異なる構造光(SL)変調を処理するために、デュアルブランチ畳み込みニューラルネットワーク(CNN)-トランスフォーマーネットワーク(PDCNet)を提案する。
PDCNet内では、Transformerブランチを使用してフリンジイメージのグローバルな認識をキャプチャし、CNNブランチはスペックルイメージのローカル詳細を収集するように設計されている。
提案手法は, 自己生成データセット上で高精度な結果が得られる一方で, フランジオーダーの曖昧さを低減できることを示す。
論文 参考訳（メタデータ） (2024-07-19T10:49:26Z) - Rotated Multi-Scale Interaction Network for Referring Remote Sensing Image Segmentation [63.15257949821558]
Referring Remote Sensing Image (RRSIS)は、コンピュータビジョンと自然言語処理を組み合わせた新しい課題である。
従来の参照画像(RIS)アプローチは、空中画像に見られる複雑な空間スケールと向きによって妨げられている。
本稿ではRMSIN(Rotated Multi-Scale Interaction Network)を紹介する。
論文 参考訳（メタデータ） (2023-12-19T08:14:14Z) - Self-supervised Semantic Segmentation: Consistency over Transformation [3.485615723221064]
Inception Large Kernel Attention (I-LKA) モジュールをベースとしたロバストなフレームワークを統合した新しい自己教師型アルゴリズム textbfS$3$-Net を提案する。
我々は、変形可能な畳み込みを積分成分として利用し、優れた物体境界定義のための歪み変形を効果的に捕捉し、デライン化する。
皮膚病変および肺臓器の分節タスクに関する実験結果から,SOTA法と比較して,本手法の優れた性能を示した。
論文 参考訳（メタデータ） (2023-08-31T21:28:46Z) - Reconstruction-driven Dynamic Refinement based Unsupervised Domain
Adaptation for Joint Optic Disc and Cup Segmentation [25.750583118977833]
緑内障は可逆性失明の主要な原因の1つである。
OD/OCセグメンテーションモデルをトレーニングすることは依然として難しい。
本稿ではリコンストラクション駆動動的リファインメントネットワーク(RDR-Net)と呼ばれる新しい非教師なし領域適応(UDA)手法を提案する。
論文 参考訳（メタデータ） (2023-04-10T13:33:13Z) - Learning Detail-Structure Alternative Optimization for Blind
Super-Resolution [69.11604249813304]
そこで我々は,ブラインドSRに先立ってカーネルを曖昧にすることなく,再帰的な詳細構造代替最適化を実現する,有効かつカーネルフリーなネットワークDSSRを提案する。
DSSRでは、細部構造変調モジュール(DSMM)が構築され、画像の詳細と構造の相互作用と協調を利用する。
本手法は既存の手法に対して最先端の手法を実現する。
論文 参考訳（メタデータ） (2022-12-03T14:44:17Z) - CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。
提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。
実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
論文 参考訳（メタデータ） (2021-12-31T04:37:11Z) - MOGAN: Morphologic-structure-aware Generative Learning from a Single
Image [59.59698650663925]
近年,1つの画像のみに基づく生成モデルによる完全学習が提案されている。
多様な外観のランダムなサンプルを生成するMOGANというMOrphologic-structure-aware Generative Adversarial Networkを紹介します。
合理的な構造の維持や外観の変化など、内部機能に重点を置いています。
論文 参考訳（メタデータ） (2021-03-04T12:45:23Z) - CoADNet: Collaborative Aggregation-and-Distribution Networks for
Co-Salient Object Detection [91.91911418421086]
Co-Salient Object Detection (CoSOD)は、2つ以上の関連する画像を含む所定のクエリグループに繰り返し現れる健全なオブジェクトを発見することを目的としている。
課題の1つは、画像間の関係をモデリングし、活用することによって、コ・サリヤ・キューを効果的にキャプチャする方法である。
我々は,複数画像から有能かつ反復的な視覚パターンを捉えるために,エンドツーエンドの協調集約配信ネットワーク(CoADNet)を提案する。
論文 参考訳（メタデータ） (2020-11-10T04:28:11Z) - Joint Self-Attention and Scale-Aggregation for Self-Calibrated Deraining
Network [13.628218953897946]
本稿では,JDNetとよばれる有効アルゴリズムを提案する。
自己校正畳み込みを用いたスケール・アグリゲーション・セルフアグリゲーション・モジュールを巧みに設計することにより,提案モデルはより優れたデコレーション結果が得られる。
論文 参考訳（メタデータ） (2020-08-06T17:04:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。