論文の概要: Deep SVBRDF Estimation on Real Materials
- arxiv url: http://arxiv.org/abs/2010.04143v1
- Date: Thu, 8 Oct 2020 17:41:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-09 12:34:36.237882
- Title: Deep SVBRDF Estimation on Real Materials
- Title(参考訳): 実材料による深部svbrdf推定
- Authors: Louis-Philippe Asselin, Denis Laurendeau, Jean-Fran\c{c}ois Lalonde
- Abstract要約: 実データを用いた実験では,合成データのみをトレーニングするネットワークは十分な結果を得るには不十分であることを示す。
実データにネットワーク重みを適応させることが重要であり, 実データ上でのSVBRDF推定手法を著しく上回っていることを示す。
- 参考スコア(独自算出の注目度): 5.37133760455631
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent work has demonstrated that deep learning approaches can successfully
be used to recover accurate estimates of the spatially-varying BRDF (SVBRDF) of
a surface from as little as a single image. Closer inspection reveals, however,
that most approaches in the literature are trained purely on synthetic data,
which, while diverse and realistic, is often not representative of the richness
of the real world. In this paper, we show that training such networks
exclusively on synthetic data is insufficient to achieve adequate results when
tested on real data. Our analysis leverages a new dataset of real materials
obtained with a novel portable multi-light capture apparatus. Through an
extensive series of experiments and with the use of a novel deep learning
architecture, we explore two strategies for improving results on real data:
finetuning, and a per-material optimization procedure. We show that adapting
network weights to real data is of critical importance, resulting in an
approach which significantly outperforms previous methods for SVBRDF estimation
on real materials. Dataset and code are available at
https://lvsn.github.io/real-svbrdf
- Abstract(参考訳): 近年の研究では, 深層学習手法を用いて, 表面の空間変化のあるBRDF (SVBRDF) の正確な推定値を, 単一画像から再現できることが示されている。
しかし、より綿密な検査によって、文学におけるほとんどのアプローチは純粋に合成データに基づいて訓練されており、多様で現実的なものの、現実世界の豊かさを表すものではないことが分かる。
本稿では,このようなネットワークを合成データのみにトレーニングすることは,実データでテストした場合に十分な結果を得るには不十分であることを示す。
本分析では,新しい携帯型マルチライトキャプチャ装置を用いて得られた実物体のデータセットを活用する。
一連の実験と、新しいディープラーニングアーキテクチャの使用を通じて、実データの結果を改善するための2つの戦略、微調整と材料ごとの最適化手順について検討する。
実データにネットワーク重みを適応させることが重要であり, 実データ上でのSVBRDF推定手法を著しく上回っていることを示す。
データセットとコードはhttps://lvsn.github.io/real-svbrdfで利用可能
関連論文リスト
- Improving Object Detector Training on Synthetic Data by Starting With a Strong Baseline Methodology [0.14980193397844666]
本稿では,合成データを用いた学習における事前学習対象検出器の性能向上手法を提案する。
提案手法は,実画像の事前学習から得られた有用な特徴を忘れずに,合成データから有能な情報を抽出することに焦点を当てる。
論文 参考訳(メタデータ) (2024-05-30T08:31:01Z) - The Devil in the Details: Simple and Effective Optical Flow Synthetic
Data Generation [19.945859289278534]
本稿では,光学フローデータセットの要求特性が比較的単純であり,簡易な合成データ生成法を提案する。
2次元動きに基づくデータセットでは、合成データセットを生成するための最も単純だが重要な要素を体系的に分析する。
論文 参考訳(メタデータ) (2023-08-14T18:01:45Z) - Exploring the Effectiveness of Dataset Synthesis: An application of
Apple Detection in Orchards [68.95806641664713]
本研究では,リンゴ樹の合成データセットを生成するための安定拡散2.1-baseの有用性について検討する。
我々は、現実世界のリンゴ検出データセットでリンゴを予測するために、YOLOv5mオブジェクト検出モデルを訓練する。
その結果、実世界の画像でトレーニングされたベースラインモデルと比較して、生成データでトレーニングされたモデルはわずかに性能が劣っていることがわかった。
論文 参考訳(メタデータ) (2023-06-20T09:46:01Z) - Bridging the Gap: Enhancing the Utility of Synthetic Data via
Post-Processing Techniques [7.967995669387532]
生成モデルは、実世界のデータを置き換えたり拡張したりできる合成データセットを生成するための有望なソリューションとして登場した。
本稿では,合成データセットの品質と多様性を向上させるために,新しい3つのポストプロセッシング手法を提案する。
Gap Filler(GaFi)は、Fashion-MNIST、CIFAR-10、CIFAR-100データセットにおいて、実精度スコアとのギャップを2.03%、1.78%、および3.99%に効果的に減少させることを示した。
論文 参考訳(メタデータ) (2023-05-17T10:50:38Z) - A New Benchmark: On the Utility of Synthetic Data with Blender for Bare
Supervised Learning and Downstream Domain Adaptation [42.2398858786125]
コンピュータビジョンにおけるディープラーニングは、大規模ラベル付きトレーニングデータの価格で大きな成功を収めた。
制御不能なデータ収集プロセスは、望ましくない重複が存在する可能性のある非IIDトレーニングおよびテストデータを生成する。
これを回避するために、ドメインランダム化による3Dレンダリングによる合成データを生成する方法がある。
論文 参考訳(メタデータ) (2023-03-16T09:03:52Z) - Dataset Distillation by Matching Training Trajectories [75.9031209877651]
そこで本研究では,実データと同じような状態にネットワークを誘導するために,蒸留データを最適化する新しい定式化を提案する。
ネットワークが与えられたら、蒸留データを何回か繰り返して訓練し、合成訓練されたパラメータと実データで訓練されたパラメータとの距離に関して蒸留データを最適化する。
本手法は既存の手法よりも優れており,高解像度の視覚データを蒸留することができる。
論文 参考訳(メタデータ) (2022-03-22T17:58:59Z) - CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。
このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。
提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
論文 参考訳(メタデータ) (2022-03-03T05:58:49Z) - Neural BRDF Representation and Importance Sampling [79.84316447473873]
本稿では,リフレクタンスBRDFデータのコンパクトニューラルネットワークに基づく表現について述べる。
BRDFを軽量ネットワークとしてエンコードし、適応角サンプリングによるトレーニングスキームを提案する。
複数の実世界のデータセットから等方性および異方性BRDFの符号化結果を評価する。
論文 参考訳(メタデータ) (2021-02-11T12:00:24Z) - Dataset Condensation with Gradient Matching [36.14340188365505]
本研究では,大規模なデータセットを,深層ニューラルネットワークをスクラッチからトレーニングするための情報的合成サンプルの小さなセットに凝縮させることを学習する,データセット凝縮という,データ効率のよい学習のためのトレーニングセット合成手法を提案する。
いくつかのコンピュータビジョンベンチマークでその性能を厳格に評価し、最先端の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2020-06-10T16:30:52Z) - Syn2Real Transfer Learning for Image Deraining using Gaussian Processes [92.15895515035795]
CNNに基づく画像デライニング手法は,再現誤差や視覚的品質の点で優れた性能を発揮している。
実世界の完全ラベル付き画像デライニングデータセットを取得する上での課題により、既存の手法は合成されたデータのみに基づいて訓練される。
本稿では,ガウス過程に基づく半教師付き学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-06-10T00:33:18Z) - Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。
我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。
そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
論文 参考訳(メタデータ) (2020-05-18T09:36:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。