論文の概要: PoseDreamer: Scalable and Photorealistic Human Data Generation Pipeline with Diffusion Models

• arxiv url: http://arxiv.org/abs/2603.28763v1
• Date: Mon, 30 Mar 2026 17:59:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-31 23:18:45.559431
• Title: PoseDreamer: Scalable and Photorealistic Human Data Generation Pipeline with Diffusion Models
• Title（参考訳）: PoseDreamer:拡散モデルを用いたスケーラブルで光リアルなヒューマンデータ生成パイプライン
• Authors: Lorenza Prospero, Orest Kupyn, Ostap Viniavskyi, João F. Henriques, Christian Rupprecht,
• Abstract要約: PoseDreamerは,3Dメッシュアノテーションを備えた合成データセットを生成する,新たなパイプラインだ。 我々は50万以上の高品質な合成サンプルを生成し、画質の指標を76%改善した。
• 参考スコア（独自算出の注目度）: 41.23359540842301
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Acquiring labeled datasets for 3D human mesh estimation is challenging due to depth ambiguities and the inherent difficulty of annotating 3D geometry from monocular images. Existing datasets are either real, with manually annotated 3D geometry and limited scale, or synthetic, rendered from 3D engines that provide precise labels but suffer from limited photorealism, low diversity, and high production costs. In this work, we explore a third path: generated data. We introduce PoseDreamer, a novel pipeline that leverages diffusion models to generate large-scale synthetic datasets with 3D mesh annotations. Our approach combines controllable image generation with Direct Preference Optimization for control alignment, curriculum-based hard sample mining, and multi-stage quality filtering. Together, these components naturally maintain correspondence between 3D labels and generated images, while prioritizing challenging samples to maximize dataset utility. Using PoseDreamer, we generate more than 500,000 high-quality synthetic samples, achieving a 76% improvement in image-quality metrics compared to rendering-based datasets. Models trained on PoseDreamer achieve performance comparable to or superior to those trained on real-world and traditional synthetic datasets. In addition, combining PoseDreamer with synthetic datasets results in better performance than combining real-world and synthetic datasets, demonstrating the complementary nature of our dataset. We will release the full dataset and generation code.
• Abstract（参考訳）: 3次元メッシュ推定のためのラベル付きデータセットの取得は、深さのあいまいさと、モノクロ画像から3次元幾何学を注釈付けすることの難しさにより困難である。 既存のデータセットは、手動で注釈付けされた3D幾何学と制限されたスケール、あるいは正確なラベルを提供するが、光リアリズム、低多様性、高生産コストに悩まされている3Dエンジンからレンダリングされる合成のいずれかである。 この研究では、第3のパス、すなわち生成されたデータについて検討する。 拡散モデルを利用して3Dメッシュアノテーションを用いた大規模合成データセットを生成する新しいパイプラインであるPoseDreamerを紹介する。 本手法は、制御可能な画像生成と、制御アライメント、カリキュラムベースのハードサンプルマイニング、マルチステージ品質フィルタリングのためのダイレクト・プレフレクション・最適化を組み合わせたものである。 これらのコンポーネントは、データセットの有用性を最大化するために難しいサンプルを優先順位付けしながら、3Dラベルと生成された画像の対応性を自然に維持する。 PoseDreamerを使うことで、50万以上の高品質な合成サンプルを生成し、レンダリングベースのデータセットと比較して、画質の指標を76%改善しました。 PoseDreamerでトレーニングされたモデルは、現実世界や従来の合成データセットでトレーニングされたモデルに匹敵する、あるいは優れたパフォーマンスを達成する。 さらに、PoseDreamerと合成データセットを組み合わせることで、実際のデータセットと合成データセットを組み合わせるよりもパフォーマンスが向上し、データセットの補完的な性質が示される。 完全なデータセットと生成コードをリリースします。

関連論文リスト

• A Framework for Low-Effort Training Data Generation for Urban Semantic Segmentation [15.541453405140485]
  合成データセットは都市景観認識モデルの訓練に広く利用されているが、リアルなレンダリングでさえ、実際の画像に顕著なギャップがあることを示している。 本稿では,不完全な擬似ラベルのみを用いて,既成拡散モデルを対象ドメインに適応させる新しいフレームワークを提案する。 合成データセットのセマンティックマップから高忠実で目標に沿った画像を生成する。
  論文  参考訳（メタデータ） (2025-10-13T16:12:29Z)
• Diffusion Models are Efficient Data Generators for Human Mesh Recovery [55.37787289869703]
  生成モデルにより生成された合成データはCGレンダリングデータと相補的であることを示す。 我々はHumanWildと呼ばれる最近の拡散モデルに基づく効率的なデータ生成パイプラインを提案する。 われわれの研究は、人間の3Dリカバリを現場に拡大するための道を開くかもしれない。
  論文  参考訳（メタデータ） (2024-03-17T06:31:16Z)
• UniG3D: A Unified 3D Object Generation Dataset [75.49544172927749]
  UniG3Dは、ShapeNetデータセット上に普遍的なデータ変換パイプラインを用いて構築された、統一された3Dオブジェクト生成データセットである。 このパイプラインは、各生の3Dモデルを包括的なマルチモーダルデータ表現に変換する。 データセットのデータソースの選択は、そのスケールと品質に基づいています。
  論文  参考訳（メタデータ） (2023-06-19T07:03:45Z)
• STPLS3D: A Large-Scale Synthetic and Real Aerial Photogrammetry 3D Point Cloud Dataset [6.812704277866377]
  本稿では,合成空中測光点雲生成パイプラインを提案する。 仮想ゲームで合成データを生成するのとは異なり、提案したパイプラインは実環境の再構築プロセスをシミュレートする。 我々は、リッチな注釈付き合成3D空中測光点クラウドデータセットを提案する。
  論文  参考訳（メタデータ） (2022-03-17T03:50:40Z)
• UltraPose: Synthesizing Dense Pose with 1 Billion Points by Human-body Decoupling 3D Model [58.70130563417079]
  我々は,身体の発生を自由に制御できる,一連の分離されたパラメータを持つ新しい3次元人体モデルを導入する。 既存の手動注釈付きDensePose-COCOデータセットと比較して、合成されたUltraPoseは、アノテーションのコストと誤差を伴わずに、超高密度な画像-地上対応を持つ。
  論文  参考訳（メタデータ） (2021-10-28T16:24:55Z)
• Synthetic Data and Hierarchical Object Detection in Overhead Imagery [0.0]
  衛星画像における低・ゼロサンプル学習を向上させるための新しい合成データ生成および拡張技術を開発した。 合成画像の有効性を検証するために,検出モデルと2段階モデルの訓練を行い,実際の衛星画像上で得られたモデルを評価する。
  論文  参考訳（メタデータ） (2021-01-29T22:52:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。