論文の概要: Synthesizing Anyone, Anywhere, in Any Pose

• arxiv url: http://arxiv.org/abs/2304.03164v2
• Date: Sun, 5 Nov 2023 12:09:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-07 23:05:28.883483
• Title: Synthesizing Anyone, Anywhere, in Any Pose
• Title（参考訳）: 誰でも、どこでも、どんなポーズでも、合成する
• Authors: H{\aa}kon Hukkel{\aa}s, Frank Lindseth
• Abstract要約: TriA-GANは、任意のポーズでAnyone、Anywhereを合成できるキーポイント誘導型GANである。 また,TriA-GANは,従来の全体合成法よりも大幅に向上することを示した。 また,TriA-GANの潜伏空間は標準の非条件編集技術と互換性があることも示した。
• 参考スコア（独自算出の注目度）: 0.7252027234425334
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We address the task of in-the-wild human figure synthesis, where the primary goal is to synthesize a full body given any region in any image. In-the-wild human figure synthesis has long been a challenging and under-explored task, where current methods struggle to handle extreme poses, occluding objects, and complex backgrounds. Our main contribution is TriA-GAN, a keypoint-guided GAN that can synthesize Anyone, Anywhere, in Any given pose. Key to our method is projected GANs combined with a well-crafted training strategy, where our simple generator architecture can successfully handle the challenges of in-the-wild full-body synthesis. We show that TriA-GAN significantly improves over previous in-the-wild full-body synthesis methods, all while requiring less conditional information for synthesis (keypoints \vs DensePose). Finally, we show that the latent space of TriA-GAN is compatible with standard unconditional editing techniques, enabling text-guided editing of generated human figures.
• Abstract（参考訳）: 画像中の任意の領域が与えられたときの全身の合成を主目的とする人物合成の課題に対処する。 in-the-wild ヒトのフィギュア合成は長い間、難解で未熟な作業であり、現在の手法では極端なポーズや物体のゆるみ、複雑な背景を扱うのに苦労している。 私たちの主な貢献は、任意のポーズでAnyone、Anywhereを合成できるキーポイント誘導型GANであるTriA-GANです。 提案手法の鍵となるのは,GANを十分に構築されたトレーニング戦略と組み合わせることである。 また,TriA-GANは,従来の全体合成法に比べて,条件情報の少ない合成法である(keypoints \vs DensePose)。 最後に,TriA-GANの潜在空間が標準的な非条件編集技術と互換性があることを示し,生成した人物のテキスト誘導編集を可能にする。

関連論文リスト

• Abstract Art Interpretation Using ControlNet [0.0]
  我々は、ユーザがより細かい合成過程を制御できるようにし、合成画像のさらなる操作を可能にします。 抽象画に見られるミニマリスト形式に触発されて、三角形のような幾何学的原始的要素から作られた新しい条件を導入する。
  論文  参考訳（メタデータ） (2024-08-23T06:25:54Z)
• Survey on Controlable Image Synthesis with Deep Learning [15.29961293132048]
  本稿では,ディープラーニングを用いた3次元制御可能な画像合成に関する最近の研究について述べる。 まず,3次元制御可能な画像合成のためのデータセットと評価指標を紹介する。 光制御可能な画像合成手法も3次元再照明研究のために検討されている。
  論文  参考訳（メタデータ） (2023-07-18T07:02:51Z)
• Novel View Synthesis of Humans using Differentiable Rendering [50.57718384229912]
  我々は新しいポーズで人々の新しい視点を合成するための新しいアプローチを提案する。 我々の合成はヒトの骨格構造を表す拡散ガウス原始体を用いる。 これらのプリミティブをレンダリングすると、高次元の潜像が得られ、デコーダネットワークによってRGBイメージに変換される。
  論文  参考訳（メタデータ） (2023-03-28T10:48:33Z)
• Set-the-Scene: Global-Local Training for Generating Controllable NeRF Scenes [68.14127205949073]
  オブジェクトプロキシを用いて3Dシーンを合成するための新しいGlobalLocalトレーニングフレームワークを提案する。 プロキシを使うことで、個々の独立オブジェクトの配置を調整するなど、さまざまな編集オプションが実現可能であることを示す。 その結果,Set-the-Sceneはシーンの合成と操作に強力なソリューションを提供することがわかった。
  論文  参考訳（メタデータ） (2023-03-23T17:17:29Z)
• InsetGAN for Full-Body Image Generation [90.71033704904629]
  本稿では,複数の事前学習型GANを結合する新しい手法を提案する。 1つのGANは、グローバルキャンバス(例えば、人体)と、異なる部分に焦点を当てた特別なGAN、またはインセットのセットを生成する。 フルボディのGANと専用の高品質な顔のGANを組み合わせることで、可視的外観の人間を作り出すことで、セットアップを実証する。
  論文  参考訳（メタデータ） (2022-03-14T17:01:46Z)
• Human View Synthesis using a Single Sparse RGB-D Input [16.764379184593256]
  本稿では,RGB-Dが疎い単一ビューセンサから取得した映像からリアルなレンダリングを生成するための,新しいビュー合成フレームワークを提案する。 エンハンサーネットワークは、元のビューから隠された領域でも全体の忠実さを活用し、細部まで細部までクリップレンダリングを生成する。
  論文  参考訳（メタデータ） (2021-12-27T20:13:53Z)
• PISE: Person Image Synthesis and Editing with Decoupled GAN [64.70360318367943]
  人像合成と編集のための新しい二段階生成モデルであるPISEを提案する。 ヒトのポーズ伝達では,まず対象のポーズに合わせた人間のパーシングマップを合成し,衣服の形状を表現する。 衣服の形状とスタイルを分離するため,地域ごとの符号化と正規化を共同で提案する。
  論文  参考訳（メタデータ） (2021-03-06T04:32:06Z)
• Semantic View Synthesis [56.47999473206778]
  我々はセマンティック・ビュー・シンセサイザーの新たな課題に取り組み、セマンティック・ラベル・マップを入力として、合成シーンの自由視点レンダリングを生成する。 まず,3次元映像の視覚面の色と深度を合成することに焦点を当てた。 次に、合成色と深度を用いて、多面画像(MPI)表現予測プロセスに明示的な制約を課す。
  論文  参考訳（メタデータ） (2020-08-24T17:59:46Z)
• Hierarchy Composition GAN for High-fidelity Image Synthesis [57.32311953820988]
  本稿では,革新的階層構成GAN(HIC-GAN)を提案する。 HIC-GANは、幾何学と外観領域における画像合成をエンドツーエンドのトレーニング可能なネットワークに組み込んでいる。 シーンテキスト画像合成, 肖像画編集, 室内レンダリングタスクの実験により, 提案したHIC-GANは, 質的, 定量的に優れた合成性能が得られることを示した。
  論文  参考訳（メタデータ） (2019-05-12T11:11:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。