論文の概要: Photo-to-Shape Material Transfer for Diverse Structures

• arxiv url: http://arxiv.org/abs/2205.04018v1
• Date: Mon, 9 May 2022 03:37:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-10 17:06:13.933076
• Title: Photo-to-Shape Material Transfer for Diverse Structures
• Title（参考訳）: 異方性構造の光-形物質移動
• Authors: Ruizhen Hu, Xiangyu Su, Xiangkai Chen, Oliver Van Kaick, Hui Huang
• Abstract要約: 本稿では,3次元形状に光写実的可照性材料を自動的に割り当てる手法を提案する。 本手法は,画像翻訳ニューラルネットワークと物質割当ニューラルネットワークを組み合わせる。 本手法により, 材料を形状に割り当てることができ, 外観が入力例によく似ていることを示す。
• 参考スコア（独自算出の注目度）: 15.816608726698986
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a method for assigning photorealistic relightable materials to 3D shapes in an automatic manner. Our method takes as input a photo exemplar of a real object and a 3D object with segmentation, and uses the exemplar to guide the assignment of materials to the parts of the shape, so that the appearance of the resulting shape is as similar as possible to the exemplar. To accomplish this goal, our method combines an image translation neural network with a material assignment neural network. The image translation network translates the color from the exemplar to a projection of the 3D shape and the part segmentation from the projection to the exemplar. Then, the material prediction network assigns materials from a collection of realistic materials to the projected parts, based on the translated images and perceptual similarity of the materials. One key idea of our method is to use the translation network to establish a correspondence between the exemplar and shape projection, which allows us to transfer materials between objects with diverse structures. Another key idea of our method is to use the two pairs of (color, segmentation) images provided by the image translation to guide the material assignment, which enables us to ensure the consistency in the assignment. We demonstrate that our method allows us to assign materials to shapes so that their appearances better resemble the input exemplars, improving the quality of the results over the state-of-the-art method, and allowing us to automatically create thousands of shapes with high-quality photorealistic materials. Code and data for this paper are available at https://github.com/XiangyuSu611/TMT.
• Abstract（参考訳）: 本稿では,フォトリアリスティックな可照性材料を自動的に3d形状に割り当てる手法を提案する。 本手法では,実物体と3次元物体の被写体とをセグメンテーションで入力し,その被写体を用いて物体の形状への配置を誘導し,得られた形状の外観を被写体と可能な限り類似させる。 この目的を達成するために,画像翻訳ニューラルネットワークと物体割当ニューラルネットワークを組み合わせた手法を提案する。 画像翻訳ネットワークは、図柄から図柄までの色を、図柄から図柄への3次元形状の投影と、図柄から図柄への部分分割に変換する。 そして、材料予測ネットワークは、変換された画像と、材料の知覚的類似性に基づいて、現実的な材料の集合から材料を投影された部品に割り当てる。 提案手法の1つの重要なアイデアは, 翻訳ネットワークを用いて, 異物と形状投影との対応を確立することであり, 多様な構造を有する物体間の物質移動を可能にする。 提案手法のもう1つの鍵となる考え方は、画像翻訳によって提供される2対の(色, セグメンテーション)画像を用いて、素材割り当てをガイドすることで、割り当ての一貫性を確保することである。 提案手法は, 材料を形状に割り当てることで, 外観が入力例によく似るようにし, 結果の質を最先端の方法で向上させ, 高品質なフォトリアリスティック材料で数千の形状を自動生成できることを実証する。 この論文のコードとデータはhttps://github.com/XiangyuSu611/TMTで公開されている。

関連論文リスト

• MaPa: Text-driven Photorealistic Material Painting for 3D Shapes [80.66880375862628]
  本稿では,テキスト記述から3次元メッシュの材料を作成することを目的とする。 テクスチャマップを合成する既存の方法とは異なり、我々はセグメントワイドな手続き的な材料グラフを生成することを提案する。 我々のフレームワークは高品質なレンダリングをサポートし、編集にかなりの柔軟性を提供します。
  論文  参考訳（メタデータ） (2024-04-26T17:54:38Z)
• MaterialSeg3D: Segmenting Dense Materials from 2D Priors for 3D Assets [63.284244910964475]
  本稿では,2次元のセマンティクスから基礎となる物質を推定する3次元アセット素材生成フレームワークを提案する。 このような先行モデルに基づいて,材料を三次元空間で解析する機構を考案する。
  論文  参考訳（メタデータ） (2024-04-22T07:00:17Z)
• Materialistic: Selecting Similar Materials in Images [30.85562156542794]
  アーティスト・ちょうせんエリアと同じ素材を示す写真の領域を選択する方法を提案する。 提案手法は、シェーディング、スペックハイライト、キャストシャドーに対して堅牢であり、実際の画像の選択を可能にする。 本モデルでは,画像編集,動画内選択,類似した素材を用いたオブジェクト画像の検索など,一連の応用について実演する。
  論文  参考訳（メタデータ） (2023-05-22T17:50:48Z)
• Neural Photometry-guided Visual Attribute Transfer [4.630419389180576]
  本稿では,同じ又は類似の素材のより大きなサンプルに対して,視覚的特性を伝播する深層学習に基づく手法を提案する。 トレーニングには、複数のイルミネーションと専用データ拡張ポリシーの下で撮影された材料の画像を活用する。 我々のモデルは、教師付き画像から画像への変換フレームワークに依存しており、転送されたドメインに依存しない。
  論文  参考訳（メタデータ） (2021-12-05T09:22:28Z)
• Object Wake-up: 3-D Object Reconstruction, Animation, and in-situ Rendering from a Single Image [58.69732754597448]
  椅子の写真があれば、椅子の3次元形状を抽出し、その可愛らしい調音や動きをアニメーション化し、元の画像空間でその場でレンダリングできるだろうか? 単一画像中の調音対象を抽出・操作するための自動アプローチを考案する。
  論文  参考訳（メタデータ） (2021-08-05T16:20:12Z)
• ShaRF: Shape-conditioned Radiance Fields from a Single View [54.39347002226309]
  本稿では,単一の画像のみのオブジェクトの神経シーン表現を推定する手法を提案する。 この手法の核心は,対象物の幾何学的足場の推定である。 合成画像と実画像の両方において,提案手法の有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2021-02-17T16:40:28Z)
• Intrinsic Autoencoders for Joint Neural Rendering and Intrinsic Image Decomposition [67.9464567157846]
  合成3Dモデルからリアルな画像を生成するためのオートエンコーダを提案し,同時に実像を本質的な形状と外観特性に分解する。 実験により, レンダリングと分解の併用処理が有益であることが確認され, 画像から画像への翻訳の質的, 定量的なベースラインよりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2020-06-29T12:53:58Z)
• Self-Supervised 2D Image to 3D Shape Translation with Disentangled Representations [92.89846887298852]
  本稿では,2次元画像ビューと3次元オブジェクト形状を翻訳するフレームワークを提案する。 形状変換のための自己教師型画像変換フレームワークであるSISTを提案する。
  論文  参考訳（メタデータ） (2020-03-22T22:44:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。