論文の概要: Woven Fabric Capture with a Reflection-Transmission Photo Pair

• arxiv url: http://arxiv.org/abs/2406.19398v3
• Date: Mon, 8 Jul 2024 03:26:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-10 00:50:23.796153
• Title: Woven Fabric Capture with a Reflection-Transmission Photo Pair
• Title（参考訳）: 反射透過型フォトペアを用いた織物の捕集
• Authors: Yingjie Tang, Zixuan Li, Miloš Hašan, Jian Yang, Beibei Wang,
• Abstract要約: 本稿では,2枚の画像から織布のパラメータを復元することを提案する。 携帯電話カメラと2つの点灯で反射・透過写真を撮影し、軽量ネットワークを介して布のパラメータを推定する。 その結果、推定パラメータのレンダリングは、初めて反射と透過の両方の入力画像と一致する。
• 参考スコア（独自算出の注目度）: 20.6762692088882
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Digitizing woven fabrics would be valuable for many applications, from digital humans to interior design. Previous work introduces a lightweight woven fabric acquisition approach by capturing a single reflection image and estimating the fabric parameters with a differentiable geometric and shading model. The renderings of the estimated fabric parameters can closely match the photo; however, the captured reflection image is insufficient to fully characterize the fabric sample reflectance. For instance, fabrics with different thicknesses might have similar reflection images but lead to significantly different transmission. We propose to recover the woven fabric parameters from two captured images: reflection and transmission. At the core of our method is a differentiable bidirectional scattering distribution function (BSDF) model, handling reflection and transmission, including single and multiple scattering. We propose a two-layer model, where the single scattering uses an SGGX phase function as in previous work, and multiple scattering uses a new azimuthally-invariant microflake definition, which we term ASGGX. This new fabric BSDF model closely matches real woven fabrics in both reflection and transmission. We use a simple setup for capturing reflection and transmission photos with a cell phone camera and two point lights, and estimate the fabric parameters via a lightweight network, together with a differentiable optimization. We also model the out-of-focus effects explicitly with a simple solution to match the thin-lens camera better. As a result, the renderings of the estimated parameters can agree with the input images on both reflection and transmission for the first time. The code for this paper is at https://github.com/lxtyin/FabricBTDF-Recovery.
• Abstract（参考訳）: 織布のデジタル化は、デジタル人間からインテリアデザインまで、多くの用途に有用だろう。 従来の研究は、単一の反射画像をキャプチャして、微分可能な幾何学的およびシェーディングモデルを用いて布パラメータを推定することにより、軽量な織物取得手法を導入している。 推定されたファブリックパラメータのレンダリングは、写真と密接に一致させることができるが、キャプチャされた反射像は、ファブリックサンプル反射率を完全に特徴づけるには不十分である。 例えば、厚みが異なる布地は、同様の反射像を持つが、透過率が大きく異なる。 本稿では,2枚の画像から織布のパラメータを復元することを提案する。 本手法のコアとなるのは、単一散乱と多重散乱を含む反射と透過を扱う、微分可能な双方向散乱分布関数(BSDF)モデルである。 単層散乱はSGGX位相関数を用い,複数層散乱はASGGXと呼ばれる新しい方位不変マイクロフレーク定義を用いる2層モデルを提案する。 この新しいファブリックBSDFモデルは、反射と透過の両方において実際の織物と密に一致している。 携帯電話カメラと2点灯で反射・透過写真を撮影し、軽量ネットワークを介して布のパラメータを推定する。 また、細いレンズのカメラにマッチする簡単なソリューションで、アウト・オブ・フォーカス効果を明示的にモデル化します。 その結果、推定パラメータのレンダリングは、初めて反射と透過の両方の入力画像と一致する。 本論文のコードはhttps://github.com/lxtyin/FabricBTDF-Recoveryにある。

関連論文リスト

• Neural Gaffer: Relighting Any Object via Diffusion [43.87941408722868]
  我々はニューラル・ギャファーと呼ばれる新しいエンドツーエンドの2次元ライティング拡散モデルを提案する。 我々のモデルは、任意の物体の1つの画像を取り、新しい照明条件下で、正確で高品質な信頼された画像を合成することができる。 本稿では,インターネット画像の総合化と精度の両面からモデルを評価し,その利点を一般化と精度の両面から示す。
  論文  参考訳（メタデータ） (2024-06-11T17:50:15Z)
• Relightify: Relightable 3D Faces from a Single Image via Diffusion Models [86.3927548091627]
  単一画像からの3次元顔BRDF再構成を高精度に行うために,拡散モデルを用いた最初のアプローチを提案する。 既存の手法とは対照的に,観測されたテクスチャを直接入力画像から取得することで,より忠実で一貫した推定が可能となる。
  論文  参考訳（メタデータ） (2023-05-10T11:57:49Z)
• Parents and Children: Distinguishing Multimodal DeepFakes from Natural Images [60.34381768479834]
  近年の拡散モデルの発展により、自然言語のテキストプロンプトから現実的なディープフェイクの生成が可能になった。 我々は、最先端拡散モデルにより生成されたディープフェイク検出に関する体系的研究を開拓した。
  論文  参考訳（メタデータ） (2023-04-02T10:25:09Z)
• Nighttime Smartphone Reflective Flare Removal Using Optical Center Symmetry Prior [81.64647648269889]
  反射フレア(英: Reflective flare)は、レンズの内部に光が反射し、明るい点や「ゴースト効果」を引き起こす現象である。 我々は、反射フレアと光源が常にレンズの光学中心の周囲に対称であることを示す光中心対称性を事前に提案する。 多様なリアルな反射フレアパターンを含むブラケットフレアと呼ばれる最初の反射フレア除去データセットを作成します。
  論文  参考訳（メタデータ） (2023-03-27T09:44:40Z)
• CbwLoss: Constrained Bidirectional Weighted Loss for Self-supervised Learning of Depth and Pose [13.581694284209885]
  光度差は、未ラベルのモノクロビデオから深度とカメラのポーズを推定するためにニューラルネットワークを訓練するために使用される。 本稿では,アフィン変換とビュー合成によって生じる流れ場と深さ構造の違いを利用して,移動物体とオクルージョンを取り扱う。 ネットワークを追加することなく、より意味的な情報と文脈的な情報を持つ特徴の差を測定することにより、テクスチャレス領域がモデル最適化に与える影響を緩和する。
  論文  参考訳（メタデータ） (2022-12-12T12:18:24Z)
• Learning Enriched Illuminants for Cross and Single Sensor Color Constancy [182.4997117953705]
  ネットワークをトレーニングするためのクロスセンサ自己教師型トレーニングを提案する。 センサに依存しない方法で人工発光体をランダムにサンプリングすることでネットワークを訓練する。 実験により、我々のクロスセンサモデルとシングルセンサーモデルは、他の最先端手法よりも大きなマージンで優れていることが示された。
  論文  参考訳（メタデータ） (2022-03-21T15:45:35Z)
• DIB-R++: Learning to Predict Lighting and Material with a Hybrid Differentiable Renderer [78.91753256634453]
  そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。 そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。 より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
  論文  参考訳（メタデータ） (2021-10-30T01:59:39Z)
• Two-Stage Single Image Reflection Removal with Reflection-Aware Guidance [78.34235841168031]
  シングルイメージリフレクション除去(SIRR)のためのリフレクション・アウェア・ガイダンス(RAGNet)を用いた新しい2段階ネットワークを提案する。 RAGは、(i)観測からの反射の効果を緩和するために、(ii)線形結合仮説から逸脱する効果を緩和するための部分畳み込みにおいてマスクを生成するために用いられる。 5つの一般的なデータセットの実験は、最先端のSIRR法と比較して、RAGNetの量的および質的な優位性を実証している。
  論文  参考訳（メタデータ） (2020-12-02T03:14:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。