論文の概要: Inpainting Normal Maps for Lightstage data

• arxiv url: http://arxiv.org/abs/2401.08099v1
• Date: Tue, 16 Jan 2024 03:59:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-17 15:16:41.113313
• Title: Inpainting Normal Maps for Lightstage data
• Title（参考訳）: 光ステージデータのための正規マップのインペインティング
• Authors: Hancheng Zuo and Bernard Tiddeman
• Abstract要約: 本研究では,GAN(Generative Adversarial Network)を用いた正規地図の塗装手法を提案する。 提案手法は,弓ネクタイ型ジェネレータネットワークと識別器ネットワークを併用し,トレーニングフェーズを交互に行うことによって,従来の一般的な画像塗装技術を拡張した。 提案手法は,高性能でリアルな塗布された正規地図を効果的に生成し,性能評価に適していることが示唆された。
• 参考スコア（独自算出の注目度）: 3.1002416427168304
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study introduces a novel method for inpainting normal maps using a generative adversarial network (GAN). Normal maps, often derived from a lightstage, are crucial in performance capture but can have obscured areas due to movement (e.g., by arms, hair, or props). Inpainting fills these missing areas with plausible data. Our approach extends previous general image inpainting techniques, employing a bow tie-like generator network and a discriminator network, with alternating training phases. The generator aims to synthesize images aligning with the ground truth and deceive the discriminator, which differentiates between real and processed images. Periodically, the discriminator undergoes retraining to enhance its ability to identify processed images. Importantly, our method adapts to the unique characteristics of normal map data, necessitating modifications to the loss function. We utilize a cosine loss instead of mean squared error loss for generator training. Limited training data availability, even with synthetic datasets, demands significant augmentation, considering the specific nature of the input data. This includes appropriate image flipping and in-plane rotations to accurately alter normal vectors. Throughout training, we monitored key metrics such as average loss, Structural Similarity Index Measure (SSIM), and Peak Signal-to-Noise Ratio (PSNR) for the generator, along with average loss and accuracy for the discriminator. Our findings suggest that the proposed model effectively generates high-quality, realistic inpainted normal maps, suitable for performance capture applications. These results establish a foundation for future research, potentially involving more advanced networks and comparisons with inpainting of source images used to create the normal maps.
• Abstract（参考訳）: 本研究では,GAN (Generative Adversarial Network) を用いた正規地図の塗装手法を提案する。 通常の地図は、しばしばライトステージから派生したもので、パフォーマンスキャプチャーにおいて重要であるが、動き(例えば腕、髪、小道具など)によって曖昧な領域を持つことがある。 塗装は、これらの欠落した部分を可算データで埋める。 提案手法は,弓ネクタイ型ジェネレータネットワークと識別器ネットワークを併用し,トレーニングフェーズを交互に行うことによって,従来の一般的な画像塗装技術を拡張した。 生成器は、基底真理に一致する画像を合成し、実際の画像と処理された画像とを区別する判別器を欺くことを目的としている。 周期的に、判別器は再訓練を行い、その処理された画像の識別能力を高める。 重要なことに,本手法は通常の地図データの特徴に適応し,損失関数の変更を必要とする。 ジェネレータトレーニングでは,平均二乗誤差損失の代わりにコサイン損失を利用する。 限られたトレーニングデータ可用性、たとえ合成データセットであっても、入力データの特定の性質を考慮して、大幅な拡張が要求される。 これには適切な画像反転と通常のベクトルを正確に変更するための平面内回転が含まれる。 トレーニングを通じて, 発電機における平均損失, 構造類似度指標(SSIM), ピーク信号対雑音比(PSNR), 判別器の平均損失, 精度などの重要な指標を監視した。 提案手法は,高性能でリアルな塗布された正規地図を効果的に生成し,性能評価に適していることが示唆された。 これらの結果は将来の研究の基盤を確立し、より高度なネットワークと、通常の地図を作成するために使用されるソースイメージのインペイントと比較する可能性がある。

関連論文リスト

• GLIP: Electromagnetic Field Exposure Map Completion by Deep Generative Networks [0.6144680854063939]
  GANのジェネレータネットワークのみを用いてEMF露光マップを再構成する手法を提案する。 このアプローチでは、センサデータからLIP(Local Image Prior)として、深層畳み込み生成ネットワークによってキャプチャされる。 実験結果から, センサデータのみを使用できたとしても, 正確な推定が可能であることがわかった。
  論文  参考訳（メタデータ） (2024-05-06T11:43:01Z)
• Reconstructed Student-Teacher and Discriminative Networks for Anomaly Detection [8.35780131268962]
  学生と教師のネットワークで構成されるSTPM(Standard-Teacher Feature pyramid matching)に基づいて,強力な異常検出手法を提案する。 本研究は,STPMの精度を向上させるために,学生ネットワークを生成モデルとして使用し,通常の特徴を再構築する。 さらに精度を向上させるために,本手法では擬似アノマリーで訓練した識別ネットワークを用いる。
  論文  参考訳（メタデータ） (2022-10-14T05:57:50Z)
• Unpaired Image Super-Resolution with Optimal Transport Maps [128.1189695209663]
  実世界の画像超解像(SR)タスクは、しばしば、教師付き技術の適用を制限するペアデータセットを持っていない。 本稿では,非バイアスのOTマップを知覚輸送コストで学習する未ペアSRのアルゴリズムを提案する。 我々のアルゴリズムは、大規模無人AIM-19データセット上で、最先端のパフォーマンスをほぼ提供する。
  論文  参考訳（メタデータ） (2022-02-02T16:21:20Z)
• Low-Light Image Enhancement with Normalizing Flow [92.52290821418778]
  本稿では,この一対多の関係を正規化フローモデルを用いてモデル化する。 低照度画像/特徴を条件として取り、通常露光される画像の分布をガウス分布にマッピングすることを学ぶ可逆ネットワーク。 既存のベンチマークデータセットによる実験結果から,提案手法はより定量的,質的な結果を得ることができ,照度が良く,ノイズやアーティファクトが小さく,色も豊かになることがわかった。
  論文  参考訳（メタデータ） (2021-09-13T12:45:08Z)
• CAMERAS: Enhanced Resolution And Sanity preserving Class Activation Mapping for image saliency [61.40511574314069]
  バックプロパゲーション画像のサリエンシは、入力中の個々のピクセルのモデル中心の重要性を推定することにより、モデル予測を説明することを目的としている。 CAMERASは、外部の事前処理を必要とせずに、高忠実度バックプロパゲーション・サリエンシ・マップを計算できる手法である。
  論文  参考訳（メタデータ） (2021-06-20T08:20:56Z)
• CutPaste: Self-Supervised Learning for Anomaly Detection and Localization [59.719925639875036]
  通常のトレーニングデータのみを用いて異常検知器を構築するためのフレームワークを提案する。 まず、自己教師付き深層表現を学習し、学習した表現の上に生成的1クラス分類器を構築する。 MVTec異常検出データセットに関する実証研究は,提案アルゴリズムが実世界の様々な欠陥を検出可能であることを実証している。
  論文  参考訳（メタデータ） (2021-04-08T19:04:55Z)
• Pixel-wise Dense Detector for Image Inpainting [34.721991959357425]
  近年のGANベースの画像インパインティング手法では,画像の識別とスカラー出力に平均的手法が採用されている。 本稿では, 画像インパインティングのための新たな検出ベース生成フレームワークを提案し, 逆方向のプロセスにおいてmin-max戦略を採用する。 複数の公開データセットの実験は、提案したフレームワークの優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2020-11-04T13:45:27Z)
• Unsupervised Metric Relocalization Using Transform Consistency Loss [66.19479868638925]
  メートル法再ローカライズを行うためのトレーニングネットワークは、従来、正確な画像対応が必要である。 地図内のクエリ画像のローカライズは、登録に使用される参照画像に関係なく、同じ絶対的なポーズを与えるべきである。 提案手法は, 限られた地下構造情報が得られる場合に, 他の教師あり手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-01T19:24:27Z)
• Iterative energy-based projection on a normal data manifold for anomaly localization [3.785123406103385]
  本稿では,オートエンコーダを学習した正規データ多様体上で異常データを投影する手法を提案する。 オートエンコーダの入力を反復的に更新することにより、オートエンコーダボトルネックに起因する高周波情報の損失を回避できる。
  論文  参考訳（メタデータ） (2020-02-10T13:35:41Z)
• Image Fine-grained Inpainting [89.17316318927621]
  拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。 この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。 また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
  論文  参考訳（メタデータ） (2020-02-07T03:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。