論文の概要: Materialistic: Selecting Similar Materials in Images

• arxiv url: http://arxiv.org/abs/2305.13291v1
• Date: Mon, 22 May 2023 17:50:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-23 13:40:43.976066
• Title: Materialistic: Selecting Similar Materials in Images
• Title（参考訳）: マテリアル: 画像中の類似物質の選択
• Authors: Prafull Sharma, Julien Philip, Micha\"el Gharbi, William T. Freeman, Fredo Durand, Valentin Deschaintre
• Abstract要約: アーティスト・ちょうせんエリアと同じ素材を示す写真の領域を選択する方法を提案する。 提案手法は、シェーディング、スペックハイライト、キャストシャドーに対して堅牢であり、実際の画像の選択を可能にする。 本モデルでは,画像編集,動画内選択,類似した素材を用いたオブジェクト画像の検索など,一連の応用について実演する。
• 参考スコア（独自算出の注目度）: 30.85562156542794
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Separating an image into meaningful underlying components is a crucial first step for both editing and understanding images. We present a method capable of selecting the regions of a photograph exhibiting the same material as an artist-chosen area. Our proposed approach is robust to shading, specular highlights, and cast shadows, enabling selection in real images. As we do not rely on semantic segmentation (different woods or metal should not be selected together), we formulate the problem as a similarity-based grouping problem based on a user-provided image location. In particular, we propose to leverage the unsupervised DINO features coupled with a proposed Cross-Similarity module and an MLP head to extract material similarities in an image. We train our model on a new synthetic image dataset, that we release. We show that our method generalizes well to real-world images. We carefully analyze our model's behavior on varying material properties and lighting. Additionally, we evaluate it against a hand-annotated benchmark of 50 real photographs. We further demonstrate our model on a set of applications, including material editing, in-video selection, and retrieval of object photographs with similar materials.
• Abstract（参考訳）: イメージを重要なコンポーネントに分割することは、イメージの編集と理解の両面において重要な第一歩です。 本稿では,アーティスト・チョーセン地域と同じ資料を展示する写真の領域を選択できる方法を提案する。 提案手法は,シェーディング,スペキュラーハイライト,キャストシャドウに頑健であり,実画像の選択を可能にする。 セマンティックセグメンテーションに依存しないため(異なる森や金属を一緒に選択すべきではない)、ユーザが提供する画像位置に基づいて類似性に基づくグループ化問題として問題を定式化する。 特に,教師なしDINO機能と,提案するクロス・シミュラリティモジュールとMLPヘッドを組み合わせることで,画像中の材料類似性を抽出する手法を提案する。 私たちは、リリースする新しい合成画像データセットでモデルをトレーニングします。 本手法は実世界の画像によく当てはまることを示す。 様々な材料特性と照明に対するモデルの挙動を慎重に分析する。 さらに,実写写真50枚を手書きで評価した。 さらに,本モデルは,画像編集,動画内選択,類似した素材によるオブジェクト画像の検索など,一連の応用について実証する。

関連論文リスト

• MatSwap: Light-aware material transfers in images [18.37330769828654]
  MatSwap(マットスワップ)は、画像内の指定された表面に物質を移す方法である。 我々は、露光紫外線マッピングを必要とせずに、入力材料とシーン内の外観の関係を学習する。 本手法では,シーンの同一性を保ちながら,所望の素材を写真中のターゲット位置にシームレスに統合する。
  論文  参考訳（メタデータ） (2025-02-11T18:59:59Z)
• Materialist: Physically Based Editing Using Single-Image Inverse Rendering [50.39048790589746]
  本稿では、学習に基づくアプローチとプログレッシブな微分可能レンダリングを組み合わせた手法を提案する。 提案手法は,より現実的な光物質相互作用,正確な影,大域的な照明を実現する。 また,全シーン形状を必要とせず,効果的に機能する材料透過性編集手法を提案する。
  論文  参考訳（メタデータ） (2025-01-07T11:52:01Z)
• Zero-shot Image Editing with Reference Imitation [50.75310094611476]
  我々は、ユーザーがより便利に創造性を発揮できるように、模倣編集と呼ばれる新しい形態の編集を提示する。 ビデオクリップから2つのフレームをランダムに選択し、あるフレームのいくつかの領域をマスクし、他のフレームからの情報を用いてマスクされた領域を復元する、MimicBrushと呼ばれる生成学習フレームワークを提案する。 各種試験事例における本手法の有効性を実験的に示すとともに,既存手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-11T17:59:51Z)
• Diffusion Model-Based Image Editing: A Survey [46.244266782108234]
  様々な画像生成や編集作業のための強力なツールとして,拡散モデルが登場している。 本稿では,画像編集のための拡散モデルを用いた既存手法の概要について述べる。 テキスト誘導画像編集アルゴリズムの性能を更に評価するために,系統的なベンチマークであるEditEvalを提案する。
  論文  参考訳（メタデータ） (2024-02-27T14:07:09Z)
• Intrinsic Image Diffusion for Indoor Single-view Material Estimation [55.276815106443976]
  室内シーンの外観分解のための生成モデルIntrinsic Image Diffusionを提案する。 1つの入力ビューから、アルベド、粗さ、および金属地図として表される複数の材料説明をサンプリングする。 提案手法は,PSNRで1.5dB$,アルベド予測で45%のFIDスコアを達成し,よりシャープで,より一貫性があり,より詳細な資料を生成する。
  論文  参考訳（メタデータ） (2023-12-19T15:56:19Z)
• Photo-to-Shape Material Transfer for Diverse Structures [15.816608726698986]
  本稿では,3次元形状に光写実的可照性材料を自動的に割り当てる手法を提案する。 本手法は,画像翻訳ニューラルネットワークと物質割当ニューラルネットワークを組み合わせる。 本手法により, 材料を形状に割り当てることができ, 外観が入力例によく似ていることを示す。
  論文  参考訳（メタデータ） (2022-05-09T03:37:01Z)
• Neural Photometry-guided Visual Attribute Transfer [4.630419389180576]
  本稿では,同じ又は類似の素材のより大きなサンプルに対して,視覚的特性を伝播する深層学習に基づく手法を提案する。 トレーニングには、複数のイルミネーションと専用データ拡張ポリシーの下で撮影された材料の画像を活用する。 我々のモデルは、教師付き画像から画像への変換フレームワークに依存しており、転送されたドメインに依存しない。
  論文  参考訳（メタデータ） (2021-12-05T09:22:28Z)
• Bridging Composite and Real: Towards End-to-end Deep Image Matting [88.79857806542006]
  画像マッチングにおける意味論と細部の役割について検討する。 本稿では,共有エンコーダと2つの分離デコーダを用いた新しいGlance and Focus Matting Network(GFM)を提案する。 総合的な実証研究により、GFMは最先端の手法より優れていることが示されている。
  論文  参考訳（メタデータ） (2020-10-30T10:57:13Z)
• RetrieveGAN: Image Synthesis via Differentiable Patch Retrieval [76.87013602243053]
  本稿では,シーン記述からイメージを抽出したパッチを参照として合成する,識別可能な検索モジュールを提案する。 提案手法が現実的かつ多様な画像を生成可能であることを示すため,広範に定量的かつ定性的な実験を行った。
  論文  参考訳（メタデータ） (2020-07-16T17:59:04Z)
• Region-adaptive Texture Enhancement for Detailed Person Image Synthesis [86.69934638569815]
  RATE-Netは、シャープなテクスチャで人物画像を合成するための新しいフレームワークである。 提案するフレームワークは,テクスチャ強化モジュールを利用して,画像から外観情報を抽出する。 DeepFashionベンチマークデータセットで実施された実験は、既存のネットワークと比較して、我々のフレームワークの優位性を実証した。
  論文  参考訳（メタデータ） (2020-05-26T02:33:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。