論文の概要: GC-VTON: Predicting Globally Consistent and Occlusion Aware Local Flows with Neighborhood Integrity Preservation for Virtual Try-on

• arxiv url: http://arxiv.org/abs/2311.04932v1
• Date: Tue, 7 Nov 2023 10:09:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-10 17:07:18.019143
• Title: GC-VTON: Predicting Globally Consistent and Occlusion Aware Local Flows with Neighborhood Integrity Preservation for Virtual Try-on
• Title（参考訳）: GC-VTON: 仮想試行のための近傍積分保存による局所流れのグローバル一貫性及び閉塞性予測
• Authors: Hamza Rawal, Muhammad Junaid Ahmad, Farooq Zaman
• Abstract要約: フローベースの衣服のワープは、画像ベースの仮想トライオンネットワークの不可欠な部分である。 本研究では,グローバルな境界アライメントと局所的なテクスチャ保存タスクを分離する手法を提案する。 次に、局所フローと大域境界アライメントを調和させる2つのモジュール間で整合損失が生じる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Flow based garment warping is an integral part of image-based virtual try-on networks. However, optimizing a single flow predicting network for simultaneous global boundary alignment and local texture preservation results in sub-optimal flow fields. Moreover, dense flows are inherently not suited to handle intricate conditions like garment occlusion by body parts or by other garments. Forcing flows to handle the above issues results in various distortions like texture squeezing, and stretching. In this work, we propose a novel approach where we disentangle the global boundary alignment and local texture preserving tasks via our GlobalNet and LocalNet modules. A consistency loss is then employed between the two modules which harmonizes the local flows with the global boundary alignment. Additionally, we explicitly handle occlusions by predicting body-parts visibility mask, which is used to mask out the occluded regions in the warped garment. The masking prevents the LocalNet from predicting flows that distort texture to compensate for occlusions. We also introduce a novel regularization loss (NIPR), that defines a criteria to identify the regions in the warped garment where texture integrity is violated (squeezed or stretched). NIPR subsequently penalizes the flow in those regions to ensure regular and coherent warps that preserve the texture in local neighborhoods. Evaluation on a widely used virtual try-on dataset demonstrates strong performance of our network compared to the current SOTA methods.
• Abstract（参考訳）: フローベースの衣服のワープはイメージベースの仮想トライオンネットワークの不可欠な部分である。 しかし,グローバル境界アライメントと局所テクスチャ保存を同時に行うための単一フロー予測ネットワークの最適化は,準最適流れ場における結果をもたらす。 さらに、密流は、身体部分や他の衣服による衣服の閉塞のような複雑な状態を扱うのに本質的に適していない。 上記の問題に対処するためにフローを強制すると、テクスチャのスクイーズやストレッチなど、さまざまな歪みが発生する。 本研究では,GlobalNetモジュールとLocalNetモジュールを介してグローバル境界アライメントと局所テクスチャ保存タスクを分離する手法を提案する。 次に、局所フローと大域境界アライメントを調和させる2つのモジュール間で整合損失が生じる。 さらに, 乱れた衣服の隠蔽領域を隠蔽するために用いられるボディパーツの視認性マスクを予測することにより, 咬合を明示的に処理する。 マスキングは、咬合を補償するためにテクスチャを歪ませる流れを予測することを妨げる。 また,テクスチャの整合性(スリーズドやストレッチド)に反する変形した衣服の領域を特定するための基準を定義した新しい正規化損失(NIPR)を導入する。 NIPRはその後、これらの地域の流れをペナルティ化し、地域のテクスチャを保存する定期的で一貫性のあるワープを確保する。 広範に利用されている仮想試行データセットの評価は、現在のSOTA法と比較してネットワークの性能が強いことを示す。

関連論文リスト

• LCP-Fusion: A Neural Implicit SLAM with Enhanced Local Constraints and Computable Prior [22.948360879064758]
  LCP-Fusionは、局所的な制約が強化され、計算可能な事前計算が可能な、神経暗黙のSLAMシステムである。 提案手法は,既存のRGB-D暗黙SLAMよりも高精度な局所化精度と再構成整合性を実現する。
  論文  参考訳（メタデータ） (2024-11-06T02:05:44Z)
• GP-VTON: Towards General Purpose Virtual Try-on via Collaborative Local-Flow Global-Parsing Learning [63.8668179362151]
  仮想トライオン(Virtual Try-ON)は、ショップ内の衣服を特定の人に転送することを目的としている。 既存の手法では、異なる衣服部品の異方性変形をモデル化するために、グローバルなワーピングモジュールを使用している。 本稿では,革新的なローカルフロー・グローバル・パーシング(LFGP)ワーピングモジュールと動的グラディエント・トラニケーション(DGT)トレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2023-03-24T02:12:29Z)
• Push-the-Boundary: Boundary-aware Feature Propagation for Semantic Segmentation of 3D Point Clouds [0.5249805590164901]
  本研究では,オブジェクト境界近傍のセマンティックセグメンテーションを改善するための境界対応特徴伝搬機構を提案する。 1つの共有エンコーダで、ネットワークは、(i)境界ローカライゼーション、(ii)オブジェクトの内部を指す方向の予測、(iii)セマンティックセグメンテーションを3つの並列ストリームで出力する。 提案手法は境界誤差を低減することによって一貫した改善をもたらす。
  論文  参考訳（メタデータ） (2022-12-23T15:42:01Z)
• Global Aggregation then Local Distribution for Scene Parsing [99.1095068574454]
  提案手法は,エンドツーエンドのトレーニング可能なブロックとしてモジュール化され,既存のセマンティックセグメンテーションネットワークに容易に接続可能であることを示す。 私たちのアプローチでは、Cityscapes、ADE20K、Pascal Context、Camvid、COCO-stuffといった主要なセマンティックセグメンテーションベンチマークに基づいて、新しい最先端の技術を構築できます。
  論文  参考訳（メタデータ） (2021-07-28T03:46:57Z)
• Sign-Agnostic CONet: Learning Implicit Surface Reconstructions by Sign-Agnostic Optimization of Convolutional Occupancy Networks [39.65056638604885]
  畳み込み型ネットワークの符号非依存最適化により暗黙的表面再構成を学習する。 この目標をシンプルで効果的な設計で効果的に達成できることを示す。
  論文  参考訳（メタデータ） (2021-05-08T03:35:32Z)
• Unsupervised Metric Relocalization Using Transform Consistency Loss [66.19479868638925]
  メートル法再ローカライズを行うためのトレーニングネットワークは、従来、正確な画像対応が必要である。 地図内のクエリ画像のローカライズは、登録に使用される参照画像に関係なく、同じ絶対的なポーズを与えるべきである。 提案手法は, 限られた地下構造情報が得られる場合に, 他の教師あり手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-01T19:24:27Z)
• LRC-Net: Learning Discriminative Features on Point Clouds by Encoding Local Region Contexts [65.79931333193016]
  本稿では,LRC-Net(Local-Region-Context Network)を提案する。 LRC-Netは、局所領域内および周辺領域間の微粒なコンテキストを同時に符号化する。 その結果, LRC-Netは形状分類や形状分割の応用において最先端の手法と競合することがわかった。
  論文  参考訳（メタデータ） (2020-03-18T14:34:08Z)
• Image Fine-grained Inpainting [89.17316318927621]
  拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。 この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。 また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
  論文  参考訳（メタデータ） (2020-02-07T03:45:25Z)
• Dense Residual Network: Enhancing Global Dense Feature Flow for Character Recognition [75.4027660840568]
  本稿では,すべての畳み込み層から階層的特徴をフルに活用することにより,局所的・大域的特徴フローを改善する方法について検討する。 技術的には、テキスト認識のための効率的で効果的なCNNフレームワークであるFDRN(Fast Dense Residual Network)を提案する。
  論文  参考訳（メタデータ） (2020-01-23T06:55:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。