論文の概要: One-Shot Learning for Pose-Guided Person Image Synthesis in the Wild

• arxiv url: http://arxiv.org/abs/2409.09593v1
• Date: Sun, 15 Sep 2024 02:42:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-17 20:07:53.463195
• Title: One-Shot Learning for Pose-Guided Person Image Synthesis in the Wild
• Title（参考訳）: 野生における多目的人物画像合成のためのワンショット学習
• Authors: Dongqi Fan, Tao Chen, Mingjie Wang, Rui Ma, Qiang Tang, Zili Yi, Qian Wang, Liang Chang,
• Abstract要約: 現在のPGPIS(Pose-Guided Person Image Synthesis)法は、大量のラベル付き三重項データに大きく依存し、ジェネレータを教師付きで訓練する。 OnePoseTransは高品質なポーズ転送結果を生成し、最先端のデータ駆動方式よりも高い安定性を提供する。 テストケース毎に、OnePoseTransはNVIDIA V100 GPUで約48秒でモデルをカスタマイズする。
• 参考スコア（独自算出の注目度）: 15.379362338850767
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current Pose-Guided Person Image Synthesis (PGPIS) methods depend heavily on large amounts of labeled triplet data to train the generator in a supervised manner. However, they often falter when applied to in-the-wild samples, primarily due to the distribution gap between the training datasets and real-world test samples. While some researchers aim to enhance model generalizability through sophisticated training procedures, advanced architectures, or by creating more diverse datasets, we adopt the test-time fine-tuning paradigm to customize a pre-trained Text2Image (T2I) model. However, naively applying test-time tuning results in inconsistencies in facial identities and appearance attributes. To address this, we introduce a Visual Consistency Module (VCM), which enhances appearance consistency by combining the face, text, and image embedding. Our approach, named OnePoseTrans, requires only a single source image to generate high-quality pose transfer results, offering greater stability than state-of-the-art data-driven methods. For each test case, OnePoseTrans customizes a model in around 48 seconds with an NVIDIA V100 GPU.
• Abstract（参考訳）: 現在のPGPIS(Pose-Guided Person Image Synthesis)法は、大量のラベル付き三重項データに大きく依存し、ジェネレータを教師付きで訓練する。 しかし、トレーニングデータセットと実世界のテストサンプルの分散ギャップが主な原因で、Wildのサンプルに適用された場合、しばしばフェールする。 一部の研究者は、高度なトレーニング手順や高度なアーキテクチャ、より多様なデータセットを作成することによって、モデルの一般化性を高めることを目的としているが、テストタイムの微調整パラダイムを採用して、事前訓練されたText2Image(T2I)モデルをカスタマイズする。 しかし, テストタイムチューニングを経時的に適用すると, 顔の同一性や外観特性の矛盾が生じる。 これを解決するために、顔、テキスト、画像埋め込みを組み合わせた外観整合性を高めるVisual Consistency Module (VCM)を導入する。 OnePoseTransという名前の我々のアプローチでは、高品質なポーズ転送結果を生成するために、単一のソースイメージしか必要とせず、最先端のデータ駆動方式よりも安定性が高い。 テストケース毎に、OnePoseTransはNVIDIA V100 GPUで約48秒でモデルをカスタマイズする。

関連論文リスト

• Time Step Generating: A Universal Synthesized Deepfake Image Detector [0.4488895231267077]
  汎用合成画像検出器 Time Step Generating (TSG) を提案する。 TSGは、事前訓練されたモデルの再構築能力、特定のデータセット、サンプリングアルゴリズムに依存していない。 我々は,提案したTSGを大規模GenImageベンチマークで検証し,精度と一般化性の両方において大幅な改善を実現した。
  論文  参考訳（メタデータ） (2024-11-17T09:39:50Z)
• JeDi: Joint-Image Diffusion Models for Finetuning-Free Personalized Text-to-Image Generation [49.997839600988875]
  既存のパーソナライズ手法は、ユーザのカスタムデータセット上でテキスト・ツー・イメージの基礎モデルを微調整することに依存している。 ファインタニングフリーのパーソナライズモデルを学ぶための効果的な手法として,ジョイントイメージ拡散(jedi)を提案する。 本モデルは,従来のファインタニングベースとファインタニングフリーのパーソナライゼーションベースの両方において,定量的かつ定性的に,高い品質を実現する。
  論文  参考訳（メタデータ） (2024-07-08T17:59:02Z)
• OneDiff: A Generalist Model for Image Difference Captioning [5.71214984158106]
  画像差分キャプション(IDC)は、近縁な画像間の変化を正確に記述するために重要である。 OneDiffは、堅牢な視覚言語モデルアーキテクチャを利用する新しいジェネラリストアプローチである。 OneDiffは、既存の最先端モデルを精度と適応性で一貫して上回っている。
  論文  参考訳（メタデータ） (2024-07-08T06:14:37Z)
• Contrastive Transformer Learning with Proximity Data Generation for Text-Based Person Search [60.626459715780605]
  記述的なテキストクエリーを与えられたテキストベースの人物検索は、画像ギャラリーからベストマッチした人物を検索することを目的としている。 このようなクロスモーダル検索タスクは、重要なモダリティギャップ、きめ細かい相違、注釈付きデータの不十分さのため、かなり難しい。 本稿では,テキストに基づく人物検索のための2つのトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2023-11-15T16:26:49Z)
• Randomize to Generalize: Domain Randomization for Runway FOD Detection [1.4249472316161877]
  細い物体検出は、小型化、低解像度化、オクルージョン化、背景クラッタ、照明条件、被写体対画像比の小さいため困難である。 本稿では,SRIA(Synthetic Image Augmentation)の新たな2段階手法を提案する。 検出精度は初期41%からOODテストセットの92%に改善した。
  論文  参考訳（メタデータ） (2023-09-23T05:02:31Z)
• DINOv2: Learning Robust Visual Features without Supervision [75.42921276202522]
  この研究は、既存の事前学習手法、特に自己教師付き手法が、多様なソースから十分なキュレートされたデータで訓練すれば、そのような特徴を生み出すことができることを示している。 技術的な貢献の多くは、大規模なトレーニングを加速し、安定化することを目的としています。 データの観点からは、自己組織化されていないデータではなく、専用で多様でキュレートされた画像データセットを構築するための自動パイプラインを提案する。
  論文  参考訳（メタデータ） (2023-04-14T15:12:19Z)
• ViTAEv2: Vision Transformer Advanced by Exploring Inductive Bias for Image Recognition and Beyond [76.35955924137986]
  我々は、内在性IBを畳み込み、すなわちViTAEから探索するビジョントランスフォーマーを提案する。 ViTAEはいくつかの空間ピラミッド縮小モジュールを備えており、入力イメージをリッチなマルチスケールコンテキストでトークンに埋め込む。 我々は、ImageNet検証セット上で88.5%のTop-1分類精度と、ImageNet実検証セット上で最高の91.2%のTop-1分類精度を得る。
  論文  参考訳（メタデータ） (2022-02-21T10:40:05Z)
• Meta Internal Learning [88.68276505511922]
  単一画像生成のための内部学習は、単一の画像に基づいて新しい画像を生成するようにジェネレータを訓練するフレームワークである。 本稿では,サンプル画像の内部統計をより効果的にモデル化するために,画像集合のトレーニングを可能にするメタラーニング手法を提案する。 以上の結果から, 得られたモデルは, 多数の共通画像アプリケーションにおいて, シングルイメージのGANと同程度に適していることがわかった。
  論文  参考訳（メタデータ） (2021-10-06T16:27:38Z)
• IMAGINE: Image Synthesis by Image-Guided Model Inversion [79.4691654458141]
  IMGE-Guided Model INvErsion (IMAGINE) と呼ばれるインバージョンベースの手法を導入し、高品質で多様な画像を生成します。 我々は,事前学習した分類器から画像意味論の知識を活用し,妥当な世代を実現する。 IMAGINEは,1)合成中の意味的特異性制約を同時に実施し,2)ジェネレータトレーニングなしでリアルな画像を生成し,3)生成過程を直感的に制御する。
  論文  参考訳（メタデータ） (2021-04-13T02:00:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。