論文の概要: HumanMaterial: Human Material Estimation from a Single Image via Progressive Training

• arxiv url: http://arxiv.org/abs/2507.18385v1
• Date: Thu, 24 Jul 2025 12:59:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-25 15:10:43.719095
• Title: HumanMaterial: Human Material Estimation from a Single Image via Progressive Training
• Title（参考訳）: HumanMaterial: プログレッシブトレーニングによる単一画像からの人体材料推定
• Authors: Yu Jiang, Jiahao Xia, Jiongming Qin, Yusen Wang, Tuo Cao, Chunxia Xiao,
• Abstract要約: フルボディのヒューマン逆レンダリングは、任意の照明下で写真リアルなレンダリングを実現するために高品質な材料を取得することを目的としている。 以前の研究は、トレーニング用の素材データセットを構築することでこの問題を緩和したが、その単純化された材料データとレンダリング方程式は、レンダリング結果に制限されたリアリズム、特に皮膚のレンダリング結果をもたらす。 我々は,スキャンした実データと統計資料データに基づいて,高品質なデータセット(OpenHumanBRDF)を構築した。 正常な拡散アルベド, 粗さ, 特異アルベドに加えて, 特に皮膚において, レンダリング結果の現実性を高めるために, 変位および地下散乱を生じさせる。
• 参考スコア（独自算出の注目度）: 20.601524328351665
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Full-body Human inverse rendering based on physically-based rendering aims to acquire high-quality materials, which helps achieve photo-realistic rendering under arbitrary illuminations. This task requires estimating multiple material maps and usually relies on the constraint of rendering result. The absence of constraints on the material maps makes inverse rendering an ill-posed task. Previous works alleviated this problem by building material dataset for training, but their simplified material data and rendering equation lead to rendering results with limited realism, especially that of skin. To further alleviate this problem, we construct a higher-quality dataset (OpenHumanBRDF) based on scanned real data and statistical material data. In addition to the normal, diffuse albedo, roughness, specular albedo, we produce displacement and subsurface scattering to enhance the realism of rendering results, especially for the skin. With the increase in prediction tasks for more materials, using an end-to-end model as in the previous work struggles to balance the importance among various material maps, and leads to model underfitting. Therefore, we design a model (HumanMaterial) with progressive training strategy to make full use of the supervision information of the material maps and improve the performance of material estimation. HumanMaterial first obtain the initial material results via three prior models, and then refine the results by a finetuning model. Prior models estimate different material maps, and each map has different significance for rendering results. Thus, we design a Controlled PBR Rendering (CPR) loss, which enhances the importance of the materials to be optimized during the training of prior models. Extensive experiments on OpenHumanBRDF dataset and real data demonstrate that our method achieves state-of-the-art performance.
• Abstract（参考訳）: 物理ベースのレンダリングに基づくフルボディヒューマン逆レンダリングは、任意の照明下でのフォトリアリスティックレンダリングを実現するための高品質な素材の獲得を目的としている。 このタスクは複数のマテリアルマップを推定し、通常はレンダリング結果の制約に依存する。 材料マップに制約がないため、逆レンダリングは不適切なタスクとなる。 以前の研究は、トレーニング用の素材データセットを構築することでこの問題を緩和したが、その単純化された材料データとレンダリング方程式は、より限定されたリアリズム、特に皮膚のレンダリング結果に繋がった。 この問題をさらに緩和するために、スキャンした実データと統計資料データに基づいて高品質なデータセット(OpenHumanBRDF)を構築する。 正常な拡散アルベド, 粗さ, 特異アルベドに加えて, 特に皮膚において, レンダリング結果の現実性を高めるために, 変位および地下散乱を生じさせる。 より多くの材料に対する予測タスクの増加に伴い、以前の作業のようにエンド・ツー・エンドのモデルを使用することで、さまざまな材料マップの重要性のバランスがとれなくなり、モデル不適合につながる。 そこで本研究では,材料マップの監視情報をフル活用し,材料推定性能を向上させるために,プログレッシブトレーニング戦略を備えたモデル(HumanMaterial)を設計する。 HumanMaterialはまず3つの先行モデルを通して最初の材料結果を取得し、それから微調整モデルで結果を洗練する。 先行モデルは、異なるマテリアルマップを推定し、各マップはレンダリング結果に異なる意味を持つ。 そこで,制御されたPBRレンダリング(CPR)損失を設計し,事前モデルのトレーニング中に最適化する材料の重要性を高める。 OpenHumanBRDFデータセットと実データに対する大規模な実験により,本手法が最先端の性能を実現することを示す。

関連論文リスト

• Human Body Restoration with One-Step Diffusion Model and A New Benchmark [74.66514054623669]
  本稿では,高品質な自動収穫・フィルタリング(HQ-ACF)パイプラインを提案する。 このパイプラインは、既存のオブジェクト検出データセットやその他のラベル付けされていないイメージを活用して、高品質な人間の画像を自動的にトリミングし、フィルタリングする。 また,人体修復のための新しい1段階拡散モデルであるemphOSDHumanを提案する。
  論文  参考訳（メタデータ） (2025-02-03T14:48:40Z)
• Foundation Model for Composite Microstructures: Reconstruction, Stiffness, and Nonlinear Behavior Prediction [0.0]
  短繊維複合画像の大規模コーパスで事前学習した自己教師型視覚変換器であるMaterial Masked Autoencoder (MMAE) について述べる。 i) 制限データの微調整による均質化剛性成分の予測, (ii) MMAEと相互作用に基づく物質ネットワークを結合することで物理的に解釈可能なパラメータを推定する。
  論文  参考訳（メタデータ） (2024-11-10T19:06:25Z)
• MaterialFusion: Enhancing Inverse Rendering with Material Diffusion Priors [67.74705555889336]
  本稿では,テクスチャと材料特性に先立って2Dを組み込んだ,従来の3次元逆レンダリングパイプラインであるMaterialFusionを紹介する。 本稿では,2次元拡散モデルであるStableMaterialについて述べる。 種々の照明条件下で, 合成および実物体の4つのデータセット上でのMaterialFusionの照度特性を検証した。
  論文  参考訳（メタデータ） (2024-09-23T17:59:06Z)
• IntrinsicAnything: Learning Diffusion Priors for Inverse Rendering Under Unknown Illumination [37.96484120807323]
  本稿では,未知の静止照明条件下で撮影されたポーズ画像から対象物質を回収することを目的とする。 我々は、最適化プロセスの正規化のための生成モデルを用いて、その材料を事前に学習する。 実世界および合成データセットを用いた実験により,本手法が材料回収における最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-04-17T17:45:08Z)
• Intrinsic Image Diffusion for Indoor Single-view Material Estimation [55.276815106443976]
  室内シーンの外観分解のための生成モデルIntrinsic Image Diffusionを提案する。 1つの入力ビューから、アルベド、粗さ、および金属地図として表される複数の材料説明をサンプリングする。 提案手法は,PSNRで1.5dB$,アルベド予測で45%のFIDスコアを達成し,よりシャープで,より一貫性があり,より詳細な資料を生成する。
  論文  参考訳（メタデータ） (2023-12-19T15:56:19Z)
• Alchemist: Parametric Control of Material Properties with Diffusion Models [51.63031820280475]
  本手法は,フォトリアリズムで知られているテキスト・イメージ・モデルの生成先行に乗じる。 我々は,NeRFの材料化へのモデルの適用の可能性を示す。
  論文  参考訳（メタデータ） (2023-12-05T18:58:26Z)
• An Adversarial Active Sampling-based Data Augmentation Framework for Manufacturable Chip Design [55.62660894625669]
  リソグラフィーモデリングは、チップ設計マスクが製造可能であることを保証するため、チップ設計において重要な問題である。 機械学習の最近の進歩は、時間を要するリソグラフィーシミュレーションをディープニューラルネットワークに置き換えるための代替ソリューションを提供している。 本稿では,限られたデータのジレンマを解消し,機械学習モデルの性能を向上させるために,データ拡張フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-27T20:53:39Z)
• Diffuse Map Guiding Unsupervised Generative Adversarial Network for SVBRDF Estimation [0.21756081703276003]
  本稿では,GAN(Generative Adversarial Network)に基づく拡散マップ誘導材料推定手法を提案する。 本手法では,携帯電話で撮影した少数の画像のみを用いて,グローバルな特徴を持つ可塑性SVBRDFマップを予測できる。
  論文  参考訳（メタデータ） (2022-05-24T10:32:27Z)
• DIB-R++: Learning to Predict Lighting and Material with a Hybrid Differentiable Renderer [78.91753256634453]
  そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。 そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。 より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
  論文  参考訳（メタデータ） (2021-10-30T01:59:39Z)
• MaterialGAN: Reflectance Capture using a Generative SVBRDF Model [33.578080406338266]
  本稿では,StyleGAN2をベースとした深層生成畳み込みネットワークであるMaterialGANを提案する。 逆レンダリングフレームワークにおいて,MaterialGANは強力な素材として利用できることを示す。 携帯端末を用いたフラッシュ照明下で撮影された画像からSVBRDFを再構成する作業において,この枠組みを実証する。
  論文  参考訳（メタデータ） (2020-09-30T21:33:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。