論文の概要: From Real to Synthetic and Back: Synthesizing Training Data for
Multi-Person Scene Understanding
- arxiv url: http://arxiv.org/abs/2006.02110v1
- Date: Wed, 3 Jun 2020 09:02:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-25 18:13:15.224427
- Title: From Real to Synthetic and Back: Synthesizing Training Data for
Multi-Person Scene Understanding
- Title（参考訳）: realからsynthetic、backへ:多人数場面理解のためのトレーニングデータの合成
- Authors: Igor Kviatkovsky, Nadav Bhonker and Gerard Medioni
- Abstract要約: 特定のシナリオで対話する複数の人物の自然に見える画像を合成する手法を提案する。
これらの画像は、合成データの利点の恩恵を受けている。
合成領域と実領域のギャップを低減するため,以下のステップからなるパイプラインを導入する。
- 参考スコア（独自算出の注目度）: 0.7519872646378835
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a method for synthesizing naturally looking images of multiple
people interacting in a specific scenario. These images benefit from the
advantages of synthetic data: being fully controllable and fully annotated with
any type of standard or custom-defined ground truth. To reduce the
synthetic-to-real domain gap, we introduce a pipeline consisting of the
following steps: 1) we render scenes in a context modeled after the real world,
2) we train a human parsing model on the synthetic images, 3) we use the model
to estimate segmentation maps for real images, 4) we train a conditional
generative adversarial network (cGAN) to learn the inverse mapping -- from a
segmentation map to a real image, and 5) given new synthetic segmentation maps,
we use the cGAN to generate realistic images. An illustration of our pipeline
is presented in Figure 2. We use the generated data to train a multi-task model
on the challenging tasks of UV mapping and dense depth estimation. We
demonstrate the value of the data generation and the trained model, both
quantitatively and qualitatively on the CMU Panoptic Dataset.
- Abstract（参考訳）: 特定のシナリオで対話する複数の人物の自然に見える画像を合成する手法を提案する。
これらの画像は、合成データの利点の恩恵を受ける: 完全に制御可能で、任意の種類の標準またはカスタム定義の基底真理に完全にアノテートされる。
合成ドメイン間ギャップを低減するため、以下のステップからなるパイプラインを導入する。
1)現実世界をモデルにしたコンテキストでシーンを描画する。
2)合成画像上で人間の構文解析モデルを訓練する。
3)本モデルを用いて,実画像のセグメンテーションマップを推定する。
4) 条件生成逆数ネットワーク(cGAN)を訓練し, セグメントマップから実画像への逆写像を学習する。
5) 新たに合成セグメンテーションマップが得られた場合, cGANを用いてリアルな画像を生成する。
パイプラインの例が図2に示されています。
生成されたデータを用いて,uvマッピングと密集深度推定の課題に対して,マルチタスクモデルを訓練する。
我々は、CMU Panoptic Dataset上で、データ生成と訓練されたモデルの価値を定量的かつ質的に示す。
関連論文リスト
- The Unmet Promise of Synthetic Training Images: Using Retrieved Real Images Performs Better [39.57368843211441]
すべての合成画像は、最終的にジェネレータを訓練するために使用される上流データに由来する。
我々は, LAION-2Bから直接取得した目標実画像に対して, 安定拡散によって生成されたタスク関連ターゲット合成データを微調整と比較した。
解析の結果,このアンダーパフォーマンスは生成物と,合成画像中のタスク関連視覚的詳細が不正確なためであることが示唆された。
論文 参考訳（メタデータ） (2024-06-07T18:04:21Z) - Is Synthetic Image Useful for Transfer Learning? An Investigation into Data Generation, Volume, and Utilization [62.157627519792946]
ブリッジドトランスファー(ブリッジドトランスファー)と呼ばれる新しいフレームワークを導入する。このフレームワークは、当初、トレーニング済みモデルの微調整に合成画像を使用し、転送性を向上させる。
合成画像と実画像のスタイルアライメントを改善するために,データセットスタイルの逆変換方式を提案する。
提案手法は10の異なるデータセットと5つの異なるモデルで評価され、一貫した改善が示されている。
論文 参考訳（メタデータ） (2024-03-28T22:25:05Z) - Joint one-sided synthetic unpaired image translation and segmentation
for colorectal cancer prevention [16.356954231068077]
我々は3D技術と生成対向ネットワークを組み合わせたリアルな合成画像を作成する。
CUT-segは,分割モデルと生成モデルとを共同で訓練し,現実的な画像を生成する共同訓練である。
この研究の一環として、20000のリアルな大腸画像を含む完全に合成されたデータセットであるSynth-Colonをリリースする。
論文 参考訳（メタデータ） (2023-07-20T22:09:04Z) - Image Captions are Natural Prompts for Text-to-Image Models [70.30915140413383]
本研究では,合成データの学習効果とプロンプトによる合成データ分布の関係を解析した。
本稿では,テキストから画像への生成モデルにより,より情報的で多様な学習データを合成する簡易かつ効果的な手法を提案する。
本手法は,合成学習データに基づいて訓練したモデルの性能を大幅に向上させる。
論文 参考訳（メタデータ） (2023-07-17T14:38:11Z) - Unsupervised Traffic Scene Generation with Synthetic 3D Scene Graphs [83.9783063609389]
本稿では,ドメイン不変シーン表現に基づくトラフィックシーンの画像をレンダリングせずに直接合成する手法を提案する。
具体的には、内部表現として合成シーングラフに依存し、現実的な交通シーン合成のための教師なしニューラルネットワークアーキテクチャを導入する。
論文 参考訳（メタデータ） (2023-03-15T09:26:29Z) - Synthetic Image Data for Deep Learning [0.294944680995069]
3次元モデルからレンダリングされたリアルな合成画像データを使用して、画像集合を拡大し、画像分類セグメンテーションモデルを訓練することができる。
実車の生産3次元CADモデルに基づく大規模合成データセットを,高品質な物理ベースレンダリングとドメインランダム化により効率的に作成できることを示す。
論文 参考訳（メタデータ） (2022-12-12T20:28:13Z) - A Shared Representation for Photorealistic Driving Simulators [83.5985178314263]
本稿では、識別器アーキテクチャを再考することにより、生成画像の品質を向上させることを提案する。
シーンセグメンテーションマップや人体ポーズといったセマンティックインプットによって画像が生成されるという問題に焦点が当てられている。
我々は,意味的セグメンテーション,コンテンツ再構成,および粗い粒度の逆解析を行うのに十分な情報をエンコードする,共有潜在表現を学習することを目指している。
論文 参考訳（メタデータ） (2021-12-09T18:59:21Z) - Fake It Till You Make It: Face analysis in the wild using synthetic data
alone [9.081019005437309]
合成データだけで顔関連コンピュータビジョンを野生で実行可能であることを示す。
本稿では、手続き的に生成された3次元顔モデルと手作り資産の包括的ライブラリを組み合わせることで、前例のないリアリズムによるトレーニング画像のレンダリングを行う方法について述べる。
論文 参考訳（メタデータ） (2021-09-30T13:07:04Z) - Multi-Spectral Image Synthesis for Crop/Weed Segmentation in Precision
Farming [3.4788711710826083]
本稿では, 精密農業における作物・雑草の分枝化問題に適用し, 共通データ増分法に関する代替手法を提案する。
我々は、最も関連性の高いオブジェクトクラス(作物や雑草)を合成されたクラスに置き換えることで、半人工的なサンプルを作成する。
RGBデータに加えて、近赤外(NIR)情報も考慮し、4つのチャネルマルチスペクトル合成画像を生成する。
論文 参考訳（メタデータ） (2020-09-12T08:49:36Z) - Intrinsic Autoencoders for Joint Neural Rendering and Intrinsic Image
Decomposition [67.9464567157846]
合成3Dモデルからリアルな画像を生成するためのオートエンコーダを提案し,同時に実像を本質的な形状と外観特性に分解する。
実験により, レンダリングと分解の併用処理が有益であることが確認され, 画像から画像への翻訳の質的, 定量的なベースラインよりも優れた結果が得られた。
論文 参考訳（メタデータ） (2020-06-29T12:53:58Z) - Two-shot Spatially-varying BRDF and Shape Estimation [89.29020624201708]
形状とSVBRDFを段階的に推定した新しいディープラーニングアーキテクチャを提案する。
ドメインランダム化された幾何学と現実的な材料を用いた大規模合成学習データセットを作成する。
合成データセットと実世界のデータセットの両方の実験により、合成データセットでトレーニングされたネットワークが、実世界の画像に対してうまく一般化できることが示されている。
論文 参考訳（メタデータ） (2020-04-01T12:56:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。