論文の概要: RiCS: A 2D Self-Occlusion Map for Harmonizing Volumetric Objects
- arxiv url: http://arxiv.org/abs/2205.06975v1
- Date: Sat, 14 May 2022 05:35:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-19 06:10:16.171071
- Title: RiCS: A 2D Self-Occlusion Map for Harmonizing Volumetric Objects
- Title(参考訳): RiCS: ボリュームオブジェクトの調和のための2次元自己閉塞マップ
- Authors: Yunseok Jang, Ruben Villegas, Jimei Yang, Duygu Ceylan, Xin Sun,
Honglak Lee
- Abstract要約: カメラ空間における光マーチング (RiCS) は、3次元における前景物体の自己閉塞を2次元の自己閉塞マップに表現する新しい手法である。
表現マップは画像の質を高めるだけでなく,時間的コヒーレントな複雑な影効果をモデル化できることを示す。
- 参考スコア(独自算出の注目度): 68.85305626324694
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: There have been remarkable successes in computer vision with deep learning.
While such breakthroughs show robust performance, there have still been many
challenges in learning in-depth knowledge, like occlusion or predicting
physical interactions. Although some recent works show the potential of 3D data
in serving such context, it is unclear how we efficiently provide 3D input to
the 2D models due to the misalignment in dimensionality between 2D and 3D. To
leverage the successes of 2D models in predicting self-occlusions, we design
Ray-marching in Camera Space (RiCS), a new method to represent the
self-occlusions of foreground objects in 3D into a 2D self-occlusion map. We
test the effectiveness of our representation on the human image harmonization
task by predicting shading that is coherent with a given background image. Our
experiments demonstrate that our representation map not only allows us to
enhance the image quality but also to model temporally coherent complex shadow
effects compared with the simulation-to-real and harmonization methods, both
quantitatively and qualitatively. We further show that we can significantly
improve the performance of human parts segmentation networks trained on
existing synthetic datasets by enhancing the harmonization quality with our
method.
- Abstract(参考訳): 深層学習によるコンピュータビジョンで顕著な成功を収めた。
このようなブレークスルーは堅牢なパフォーマンスを示しているが、隠蔽や物理的相互作用の予測など、深い知識を学ぶ上ではまだ多くの課題がある。
近年の研究では, 2d と 3d の次元が不一致であることから, 3d モデルへの入力を効率的に行う方法が明らかになっていない。
カメラ空間におけるレイマーチング(Ray-marching in Camera Space, RiCS)は, 3次元前景オブジェクトの自己閉塞を2次元の自己閉塞マップに表現する新しい手法である。
背景画像とコヒーレントなシェーディングを予測し,人間の画像調和タスクにおける表現の有効性を検証した。
実験により, 画像の質向上だけでなく, 時間的コヒーレントな複雑な影効果を, 定量的・定性的にシミュレーション・トゥ・リアル・ハーモニゼーション法と比較してモデル化できることを実証した。
さらに,本手法により,既存の合成データセット上でトレーニングされたヒト部品分割ネットワークの性能を大幅に向上させることができることを示す。
関連論文リスト
- En3D: An Enhanced Generative Model for Sculpting 3D Humans from 2D
Synthetic Data [36.51674664590734]
本研究では,高品質な3次元アバターの小型化を図ったEn3Dを提案する。
従来の3Dデータセットの不足や、視角が不均衡な限られた2Dコレクションと異なり、本研究の目的は、ゼロショットで3D人間を作れる3Dの開発である。
論文 参考訳(メタデータ) (2024-01-02T12:06:31Z) - JOTR: 3D Joint Contrastive Learning with Transformers for Occluded Human
Mesh Recovery [84.67823511418334]
本稿では,3次元メッシュ復元のためのTRansformersフレームワークを用いた3次元ジョイントコントラスト学習について述べる。
提案手法は,2D$&$3D対応結果を得るために,2Dおよび3D表現を融合するエンコーダ・デコーダ変換器アーキテクチャを含む。
論文 参考訳(メタデータ) (2023-07-31T02:58:58Z) - Interpretable 2D Vision Models for 3D Medical Images [47.75089895500738]
本研究では,3次元画像処理における中間特徴表現を用いた2次元ネットワークの適応手法を提案する。
我々は、ベンチマークとして3D MedMNISTデータセットと、既存の手法に匹敵する数百の高分解能CTまたはMRIスキャンからなる2つの実世界のデータセットを示す。
論文 参考訳(メタデータ) (2023-07-13T08:27:09Z) - Joint-MAE: 2D-3D Joint Masked Autoencoders for 3D Point Cloud
Pre-training [65.75399500494343]
Masked Autoencoders (MAE) は、2Dおよび3Dコンピュータビジョンのための自己教師型学習において有望な性能を示した。
自己監督型3次元点雲事前学習のための2D-3DジョイントMAEフレームワークであるJoint-MAEを提案する。
論文 参考訳(メタデータ) (2023-02-27T17:56:18Z) - Deep-MDS Framework for Recovering the 3D Shape of 2D Landmarks from a
Single Image [8.368476827165114]
本稿では,人間の顔上の2次元ランドマークの3次元形状を,単一の入力画像で再現する枠組みを提案する。
ディープニューラルネットワークは、NMDSアプローチで使用される2Dランドマーク間のペアの相似性を学習する。
論文 参考訳(メタデータ) (2022-10-27T06:20:10Z) - A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware
Image Synthesis [163.96778522283967]
そこで本研究では,シェーディング誘導型生成暗黙モデルを提案する。
正確な3D形状は、異なる照明条件下でリアルなレンダリングをもたらす必要がある。
複数のデータセットに対する実験により,提案手法が光リアルな3次元画像合成を実現することを示す。
論文 参考訳(メタデータ) (2021-10-29T10:53:12Z) - Using Adaptive Gradient for Texture Learning in Single-View 3D
Reconstruction [0.0]
3次元モデル再構築のための学習ベースのアプローチは、現代の応用によって注目を集めている。
本稿では,サンプリング画像のばらつきに基づいて予測座標の勾配を最適化し,新しいサンプリングアルゴリズムを提案する。
また,frechetインセプション距離(fid)を用いて学習における損失関数を形成し,レンダリング画像と入力画像とのギャップを橋渡しする。
論文 参考訳(メタデータ) (2021-04-29T07:52:54Z) - Synthetic Training for Monocular Human Mesh Recovery [100.38109761268639]
本稿では,RGB画像と大規模に異なる複数の身体部位の3次元メッシュを推定することを目的とする。
主な課題は、2D画像のすべての身体部分の3Dアノテーションを完備するトレーニングデータがないことである。
本稿では,D2S(Deep-to-scale)投影法を提案する。
論文 参考訳(メタデータ) (2020-10-27T03:31:35Z) - Towards Realistic 3D Embedding via View Alignment [53.89445873577063]
本稿では,3次元モデルを2次元背景画像に現実的に,かつ自動的に埋め込み,新たな画像を構成する,革新的なビューアライメントGAN(VA-GAN)を提案する。
VA-GANはテクスチャジェネレータとディファレンシャルディスクリミネーターで構成され、相互接続され、エンドツーエンドのトレーニングが可能である。
論文 参考訳(メタデータ) (2020-07-14T14:45:00Z) - Convolutional Generation of Textured 3D Meshes [34.20939983046376]
単視点自然画像からの2次元監視のみを用いて,三角形メッシュとそれに伴う高分解能テクスチャマップを生成できるフレームワークを提案する。
我々の研究の重要な貢献は、メッシュとテクスチャを2D表現として符号化することであり、意味的に整合し、2D畳み込みGANで容易にモデル化できる。
本研究では,Pascal3D+カーとCUBにおいて,モデルがクラスラベル,属性,テキストに条件付けされている場合とで,本手法の有効性を実証する。
論文 参考訳(メタデータ) (2020-06-13T15:23:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。