論文の概要: Novel-View Human Action Synthesis

• arxiv url: http://arxiv.org/abs/2007.02808v3
• Date: Thu, 8 Oct 2020 10:02:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-13 02:44:33.650869
• Title: Novel-View Human Action Synthesis
• Title（参考訳）: 新規なヒューマンアクション合成
• Authors: Mohamed Ilyes Lakhal, Davide Boscaini, Fabio Poiesi, Oswald Lanz, Andrea Cavallaro
• Abstract要約: 対象視点を合成する新しい3D推論を提案する。 まず,対象物体の3次元メッシュを推定し,粗いテクスチャを2次元画像からメッシュに転送する。 本研究では, 局地的, 地域的, グローバルなテクスチャを伝達することで, 半密度のテクスチャメッシュを創出する。
• 参考スコア（独自算出の注目度）: 39.72702883597454
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Novel-View Human Action Synthesis aims to synthesize the movement of a body from a virtual viewpoint, given a video from a real viewpoint. We present a novel 3D reasoning to synthesize the target viewpoint. We first estimate the 3D mesh of the target body and transfer the rough textures from the 2D images to the mesh. As this transfer may generate sparse textures on the mesh due to frame resolution or occlusions. We produce a semi-dense textured mesh by propagating the transferred textures both locally, within local geodesic neighborhoods, and globally, across symmetric semantic parts. Next, we introduce a context-based generator to learn how to correct and complete the residual appearance information. This allows the network to independently focus on learning the foreground and background synthesis tasks. We validate the proposed solution on the public NTU RGB+D dataset. The code and resources are available at https://bit.ly/36u3h4K.
• Abstract（参考訳）: 新しい視点のヒューマンアクションシンセシスは、実際の視点からの映像を与えられた仮想的な視点から身体の動きを合成することを目的としている。 対象視点を合成する新しい3D推論を提案する。 まず,対象物体の3次元メッシュを推定し,粗いテクスチャを2次元画像からメッシュに転送する。 この転送は、フレームの解像度やオクルージョンのため、メッシュ上にばらばらなテクスチャを生成する可能性がある。 局所的, 地域的, グローバル的に, 対称的なセマンティック部分にわたって伝達されたテクスチャを伝播させることにより, 半密度のテクスチャメッシュを作成する。 次に,残余出現情報の修正・完了方法を学ぶためのコンテキストベース生成器を提案する。 これにより、ネットワークは前景と背景合成タスクの学習に独立して焦点を合わせることができる。 提案手法をパブリックNTU RGB+Dデータセット上で検証する。 コードとリソースはhttps://bit.ly/36u3h4Kで入手できる。

関連論文リスト

• Bridging 3D Gaussian and Mesh for Freeview Video Rendering [57.21847030980905]
  GauMeshはダイナミックシーンのモデリングとレンダリングのために3D GaussianとMeshをブリッジする。 提案手法は, 動的シーンの異なる部分を表現するために, プリミティブの適切なタイプに適応することを示す。
  論文  参考訳（メタデータ） (2024-03-18T04:01:26Z)
• Mesh Neural Cellular Automata [62.101063045659906]
  本稿では,UVマップを必要とせずに3次元メッシュ上で動的テクスチャを直接合成するメッシュニューラルセルオートマタ(MeshNCA)を提案する。 IcosphereメッシュでのみトレーニングされたMeshNCAは、驚くべきテストタイムの一般化を示し、目に見えないメッシュ上でテクスチャをリアルタイムで合成する。
  論文  参考訳（メタデータ） (2023-11-06T01:54:37Z)
• iNVS: Repurposing Diffusion Inpainters for Novel View Synthesis [45.88928345042103]
  単一ソース画像から一貫した新しいビューを生成する方法を提案する。 本手法は,画像からの可視画素の再利用を最大化することに焦点を当てる。 我々は、光源ビューからターゲットビューへ可視画素を転送する単眼深度推定器を用いる。
  論文  参考訳（メタデータ） (2023-10-24T20:33:19Z)
• TexFusion: Synthesizing 3D Textures with Text-Guided Image Diffusion Models [77.85129451435704]
  大規模誘導画像拡散モデルを用いて3次元テクスチャを合成する手法を提案する。 具体的には、潜時拡散モデルを利用し、セット・デノナイジング・モデルと集合・デノナイジング・テキスト・マップを適用する。
  論文  参考訳（メタデータ） (2023-10-20T19:15:29Z)
• Generating Texture for 3D Human Avatar from a Single Image using Sampling and Refinement Networks [8.659903550327442]
  幾何学情報を組み込んだ3次元アバターのテクスチャ合成法を提案する。 サンプルネットワークは、ソース画像の隠蔽領域を埋め、テクスチャをターゲット3Dメッシュの表面と整列させる。 与えられた画像の鮮明な詳細を維持するため、サンプリングされたテクスチャと精製されたテクスチャを混合して最終テクスチャマップを生成する。
  論文  参考訳（メタデータ） (2023-05-01T16:44:02Z)
• CompNVS: Novel View Synthesis with Scene Completion [83.19663671794596]
  本稿では,スパースグリッドに基づくニューラルシーン表現を用いた生成パイプラインを提案する。 画像特徴を3次元空間に符号化し、幾何学的完備化ネットワークとその後のテクスチャ塗布ネットワークを用いて、欠落した領域を外挿する。 フォトリアリスティック画像列は、整合性関連微分可能レンダリングによって最終的に得られる。
  論文  参考訳（メタデータ） (2022-07-23T09:03:13Z)
• Continuous Object Representation Networks: Novel View Synthesis without Target View Supervision [26.885846254261626]
  連続オブジェクト表現ネットワーク(Continuous Object Representation Networks、CORN)は、入力画像の幾何学と外観を3D一貫したシーン表現にマッピングする条件付きアーキテクチャである。 CORNは、新しいビューの合成やシングルビューの3D再構成、そして直接監督を使用する最先端のアプローチに匹敵するパフォーマンスといった挑戦的なタスクでうまく機能する。
  論文  参考訳（メタデータ） (2020-07-30T17:49:44Z)
• Deep Geometric Texture Synthesis [83.9404865744028]
  幾何学的テクスチャを合成するための新しい枠組みを提案する。 単一の参照3Dモデルの局所的な近傍からテクスチャ統計を学習する。 我々のネットワークはメッシュ頂点を任意の方向に変位させ、幾何学的テクスチャの合成を可能にする。
  論文  参考訳（メタデータ） (2020-06-30T19:36:38Z)
• On Demand Solid Texture Synthesis Using Deep 3D Networks [3.1542695050861544]
  本稿では,ディープラーニングフレームワークに基づくオンデマンドテクスチャ合成のための新しいアプローチについて述べる。 任意の大きさの固形テクスチャのコヒーレント部分を合成するために、生成ネットワークを訓練する。 合成されたボリュームは、少なくとも最先端のパッチベースのアプローチと同等の視覚的結果が得られる。
  論文  参考訳（メタデータ） (2020-01-13T20:59:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。