論文の概要: Neural Photometry-guided Visual Attribute Transfer

• arxiv url: http://arxiv.org/abs/2112.02520v1
• Date: Sun, 5 Dec 2021 09:22:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-07 14:28:19.948302
• Title: Neural Photometry-guided Visual Attribute Transfer
• Title（参考訳）: ニューラルフォトメトリによる視覚属性伝達
• Authors: Carlos Rodriguez-Pardo and Elena Garces
• Abstract要約: 本稿では,同じ又は類似の素材のより大きなサンプルに対して,視覚的特性を伝播する深層学習に基づく手法を提案する。 トレーニングには、複数のイルミネーションと専用データ拡張ポリシーの下で撮影された材料の画像を活用する。 我々のモデルは、教師付き画像から画像への変換フレームワークに依存しており、転送されたドメインに依存しない。
• 参考スコア（独自算出の注目度）: 4.630419389180576
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We present a deep learning-based method for propagating spatially-varying visual material attributes (e.g. texture maps or image stylizations) to larger samples of the same or similar materials. For training, we leverage images of the material taken under multiple illuminations and a dedicated data augmentation policy, making the transfer robust to novel illumination conditions and affine deformations. Our model relies on a supervised image-to-image translation framework and is agnostic to the transferred domain; we showcase a semantic segmentation, a normal map, and a stylization. Following an image analogies approach, the method only requires the training data to contain the same visual structures as the input guidance. Our approach works at interactive rates, making it suitable for material edit applications. We thoroughly evaluate our learning methodology in a controlled setup providing quantitative measures of performance. Last, we demonstrate that training the model on a single material is enough to generalize to materials of the same type without the need for massive datasets.
• Abstract（参考訳）: 本稿では,空間的に変動する視覚材料属性(テクスチャマップや画像スタイライゼーションなど)を,同一または類似材料のより大きなサンプルに伝播する深層学習に基づく手法を提案する。 トレーニングでは,複数の照明と専用データ拡張ポリシーで撮影された材料の画像を活用して,新しい照明条件とアフィン変形に頑健な転送を行う。 我々のモデルは、教師付き画像から画像への翻訳フレームワークに依存し、転送されたドメインに依存しない、セマンティックセグメンテーション、正規マップ、スタイリングを提示する。 画像アナロジーアプローチに従って、この方法は、入力ガイダンスと同じ視覚構造を含む訓練データのみを必要とする。 我々の手法はインタラクティブなレートで動作し、マテリアル編集アプリケーションに適している。 我々は,性能の定量的指標を提供する制御環境において,学習方法論を徹底的に評価する。 最後に、単一材料上でモデルをトレーニングすることは、大量のデータセットを必要とせずに、同じタイプの材料に一般化するのに十分であることを示す。

関連論文リスト

• MatSwap: Light-aware material transfers in images [18.37330769828654]
  MatSwap(マットスワップ)は、画像内の指定された表面に物質を移す方法である。 我々は、露光紫外線マッピングを必要とせずに、入力材料とシーン内の外観の関係を学習する。 本手法では,シーンの同一性を保ちながら,所望の素材を写真中のターゲット位置にシームレスに統合する。
  論文  参考訳（メタデータ） (2025-02-11T18:59:59Z)
• Materialist: Physically Based Editing Using Single-Image Inverse Rendering [50.39048790589746]
  本稿では、学習に基づくアプローチとプログレッシブな微分可能レンダリングを組み合わせた手法を提案する。 提案手法は,より現実的な光物質相互作用,正確な影,大域的な照明を実現する。 また,全シーン形状を必要とせず,効果的に機能する材料透過性編集手法を提案する。
  論文  参考訳（メタデータ） (2025-01-07T11:52:01Z)
• Dataset Augmentation by Mixing Visual Concepts [3.5420134832331334]
  本稿では,事前学習した拡散モデルの微調整によるデータセット拡張手法を提案する。 我々は、拡散モデルに実際の画像と新しいテキスト埋め込みを条件付けすることで適応する。 提案手法は,ベンチマーク分類タスクにおける最先端の強化手法より優れている。
  論文  参考訳（メタデータ） (2024-12-19T19:42:22Z)
• IDArb: Intrinsic Decomposition for Arbitrary Number of Input Views and Illuminations [64.07859467542664]
  画像から幾何学的および物質的情報をキャプチャすることは、コンピュータビジョンとグラフィックスの基本的な課題である。 従来の最適化に基づく手法では、密集した多視点入力から幾何学、材料特性、環境照明を再構築するために数時間の計算時間を必要とすることが多い。 IDArbは、様々な照明条件下で、任意の画像に対して本質的な分解を行うために設計された拡散モデルである。
  論文  参考訳（メタデータ） (2024-12-16T18:52:56Z)
• Dense Text-to-Image Generation with Attention Modulation [49.287458275920514]
  既存のテキストと画像の拡散モデルは、高密度キャプションを与えられた現実的なイメージを合成するのに苦労する。 そこで我々はDenseDiffusionを提案する。DenseDiffusionは、訓練済みのテキスト・ツー・イメージ・モデルを用いて、そのような高密度キャプションを扱う訓練自由な方法である。 レイアウト条件に特化して訓練したモデルを用いて、同様の品質の視覚的結果を得る。
  論文  参考訳（メタデータ） (2023-08-24T17:59:01Z)
• Few-shot Semantic Image Synthesis with Class Affinity Transfer [23.471210664024067]
  そこで本研究では,大規模なデータセット上でトレーニングされたモデルを利用して,小規模なターゲットデータセット上での学習能力を向上させるトランスファー手法を提案する。 クラス親和性行列は、ターゲットラベルマップと互換性を持たせるために、ソースモデルの第一層として導入される。 セマンティック・セマンティック・シンセサイザー(セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・アーキテクチャー)にアプローチを適用する。
  論文  参考訳（メタデータ） (2023-04-05T09:24:45Z)
• Neural Congealing: Aligning Images to a Joint Semantic Atlas [14.348512536556413]
  画像の集合を横断的に意味的に共通するコンテンツを調整するための,ゼロショットの自己教師型フレームワークを提案する。 提案手法は,DINO-ViTの事前学習能力を利用して学習する。 提案手法は,大規模データセットに対する広範囲なトレーニングを必要とする最先端の手法と比較して,好適に動作することを示す。
  論文  参考訳（メタデータ） (2023-02-08T09:26:22Z)
• Retrieval-based Spatially Adaptive Normalization for Semantic Image Synthesis [68.1281982092765]
  本稿では,Retrieval-based spatially AdaptIve normalization (RESAIL) と呼ばれる新しい正規化モジュールを提案する。 RESAILは、正規化アーキテクチャに対するピクセルレベルのきめ細かいガイダンスを提供する。 いくつかの挑戦的なデータセットの実験により、RESAILは定量的メトリクス、視覚的品質、主観的評価の観点から、最先端技術に対して好意的に機能することが示された。
  論文  参考訳（メタデータ） (2022-04-06T14:21:39Z)
• Multimodal Contrastive Training for Visual Representation Learning [45.94662252627284]
  マルチモーダルデータを取り入れた視覚表現の学習手法を開発した。 本手法は,各モダリティおよびセマンティクス情報内の本質的なデータ特性をクロスモーダル相関から同時に利用する。 統合フレームワークにマルチモーダルトレーニングを組み込むことで,より強力で汎用的な視覚的特徴を学習することができる。
  論文  参考訳（メタデータ） (2021-04-26T19:23:36Z)
• Instance Localization for Self-supervised Detection Pretraining [68.24102560821623]
  インスタンスローカリゼーションと呼ばれる,新たな自己監視型プリテキストタスクを提案する。 境界ボックスを事前学習に組み込むことで、より優れたタスクアライメントとアーキテクチャアライメントが促進されることを示す。 実験結果から, オブジェクト検出のための最先端の転送学習結果が得られた。
  論文  参考訳（メタデータ） (2021-02-16T17:58:57Z)
• Learning Deformable Image Registration from Optimization: Perspective, Modules, Bilevel Training and Beyond [62.730497582218284]
  マルチスケールの伝搬により微分同相モデルを最適化する,新しいディープラーニングベースのフレームワークを開発した。 我々は,脳MRIデータにおける画像-アトラス登録,肝CTデータにおける画像-画像登録を含む,3次元ボリュームデータセットにおける画像登録実験の2つのグループを実行する。
  論文  参考訳（メタデータ） (2020-04-30T03:23:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。