論文の概要: Efficient Textured Mesh Recovery from Multiple Views with Differentiable
Rendering
- arxiv url: http://arxiv.org/abs/2205.12468v1
- Date: Wed, 25 May 2022 03:33:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-26 14:32:53.018844
- Title: Efficient Textured Mesh Recovery from Multiple Views with Differentiable
Rendering
- Title（参考訳）: 微分レンダリングによる複数視点からの効率的なテクスチャメッシュ復元
- Authors: Lixiang Lin, Yisu Zhang, Jianke Zhu
- Abstract要約: マルチビュー画像からテクスチャメッシュを復元する手法を提案する。
学習ベース多視点ステレオアルゴリズムにより予測される深度との差を最小化することにより形状形状を最適化する。
形状や色に対する暗黙的なニューラル表現とは対照的に,物体の光と反射を共同で推定する物理ベース逆レンダリング方式を導入する。
- 参考スコア（独自算出の注目度）: 8.264851594332677
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite of the promising results on shape and color recovery using
self-supervision, the multi-layer perceptrons-based methods usually costs hours
to train the deep neural network due to the implicit surface representation.
Moreover, it is quite computational intensive to render a single image, since a
forward network inference is required for each pixel. To tackle these
challenges, in this paper, we propose an efficient coarse-to-fine approach to
recover the textured mesh from multi-view images. Specifically, we take
advantage of a differentiable Poisson Solver to represent the shape, which is
able to produce topology-agnostic and watertight surfaces. To account for the
depth information, we optimize the shape geometry by minimizing the difference
between the rendered mesh with the depth predicted by the learning-based
multi-view stereo algorithm. In contrast to the implicit neural representation
on shape and color, we introduce a physically based inverse rendering scheme to
jointly estimate the lighting and reflectance of the objects, which is able to
render the high resolution image at real-time. Additionally, we fine-tune the
extracted mesh by inverse rendering to obtain the mesh with fine details and
high fidelity image. We have conducted the extensive experiments on several
multi-view stereo datasets, whose promising results demonstrate the efficacy of
our proposed approach. We will make our full implementation publicly available.
- Abstract（参考訳）: 自己スーパービジョンによる形状と色回復に関する有望な結果にもかかわらず、多層パーセプトロンに基づく手法は通常、暗黙的な表面表現のために深層ニューラルネットワークを訓練するのに数時間かかる。
さらに,各画素に対してフォワードネットワーク推論を必要とするため,単一の画像のレンダリングには計算集約性が高い。
本稿では,これらの課題に対処するために,マルチビュー画像からテクスチャメッシュを復元する,効率的な粗大きめアプローチを提案する。
具体的には、微分可能なポアソンソルバを利用して形状を表現し、トポロジーに依存しない水密曲面を生成できる。
深度情報を考慮し,学習ベース多視点ステレオアルゴリズムにより予測される深度との差を最小化することにより,形状形状を最適化する。
形状や色に対する暗黙的なニューラル表現とは対照的に,物体の照度と反射率を同時推定する物理ベースの逆レンダリング方式を導入し,高解像度画像をリアルタイムにレンダリングする。
さらに,抽出したメッシュを逆レンダリングにより微調整し,微細かつ高忠実なメッシュを得る。
本研究では,複数視点ステレオデータセットを用いた広範囲実験を行い,提案手法の有効性を実証する。
完全な実装を一般公開する予定です。
関連論文リスト
- Fine-Grained Multi-View Hand Reconstruction Using Inverse Rendering [11.228453237603834]
本稿では,逆レンダリングを利用して手ポーズを復元し,詳細を複雑化する多視点ハンドメッシュ再構成手法を提案する。
また、ハンドメッシュとテクスチャの両方を洗練させるために、新しいハンドアルベドとメッシュ(HAM)最適化モジュールも導入した。
提案手法は,再現精度とレンダリング品質の両面において,最先端の手法よりも優れている。
論文 参考訳（メタデータ） (2024-07-08T07:28:24Z) - Multiscale Representation for Real-Time Anti-Aliasing Neural Rendering [84.37776381343662]
Mip-NeRFは、スケール情報をエンコードする円錐フラストラムとしてマルチスケール表現を提案する。
我々は,リアルタイムなアンチエイリアスレンダリングのためのマルチスケールな明示的表現であるmip voxel grids (Mip-VoG)を提案する。
私たちのアプローチは、マルチスケールのトレーニングとリアルタイムのアンチエイリアスレンダリングを同時に提供する最初の方法です。
論文 参考訳（メタデータ） (2023-04-20T04:05:22Z) - Implicit Neural Deformation for Multi-View Face Reconstruction [43.88676778013593]
マルチビューRGB画像から新しい3次元顔再構成法を提案する。
従来の3次元形態素モデルに基づく手法とは異なり,本手法は暗黙の表現を利用してリッチな幾何学的特徴を符号化する。
いくつかのベンチマークデータセットに対する実験結果から,提案手法は代替ベースラインよりも優れ,最先端の手法に比べて優れた顔再構成結果が得られることが示された。
論文 参考訳（メタデータ） (2021-12-05T07:02:53Z) - Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
多視点画像観測による材料と照明の協調最適化手法を提案する。
従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
論文 参考訳（メタデータ） (2021-11-24T13:58:20Z) - SDWNet: A Straight Dilated Network with Wavelet Transformation for Image
Deblurring [23.86692375792203]
画像劣化は、ぼやけた画像から鋭い画像を復元することを目的としたコンピュータビジョンの問題である。
我々のモデルは拡張畳み込みを用いて空間分解能の高い大きな受容場を得ることができる。
本稿では,ウェーブレット変換を用いた新しいモジュールを提案する。
論文 参考訳（メタデータ） (2021-10-12T07:58:10Z) - Efficient and Differentiable Shadow Computation for Inverse Problems [64.70468076488419]
微分可能幾何計算は画像に基づく逆問題に対する関心が高まっている。
微分可能な可視性とソフトシャドウ計算のための効率的かつ効率的なアプローチを提案する。
定式化は微分可能であるため, テクスチャ, 照明, 剛体ポーズ, 画像からの変形回復などの逆問題を解くために使用できる。
論文 参考訳（メタデータ） (2021-04-01T09:29:05Z) - Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。
まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。
これらの深度マップは、異なるビューを粗く整列するために使用される。
本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-03-27T21:28:54Z) - Learning Enriched Features for Real Image Restoration and Enhancement [166.17296369600774]
畳み込みニューラルネットワーク(CNN)は、画像復元作業における従来のアプローチよりも劇的に改善されている。
ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とした,新しいアーキテクチャを提案する。
提案手法は,高解像度の空間的詳細を同時に保存しながら,複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
論文 参考訳（メタデータ） (2020-03-15T11:04:30Z) - Multimodal Deep Unfolding for Guided Image Super-Resolution [23.48305854574444]
ディープラーニング手法は、低解像度の入力から高解像度の出力へのエンドツーエンドのマッピングを学習するために、トレーニングデータに依存する。
本稿では,スパース事前を組み込んだマルチモーダル深層学習設計を提案し,他の画像モダリティからの情報をネットワークアーキテクチャに効果的に統合する。
提案手法は,サイド情報を用いた畳み込みスパース符号化の反復的アルゴリズムに類似した,新しい展開演算子に依存している。
論文 参考訳（メタデータ） (2020-01-21T14:41:53Z) - Learned Multi-View Texture Super-Resolution [76.82725815863711]
仮想3Dオブジェクトの高解像度テクスチャマップを,そのオブジェクトの低解像度画像の集合から作成できる超高解像度手法を提案する。
本アーキテクチャは, (i) 重なり合うビューの冗長性に基づくマルチビュー超解像の概念と, (ii) 高分解能画像構造の学習先行に基づくシングルビュー超解像の概念を統一する。
論文 参考訳（メタデータ） (2020-01-14T13:49:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。