論文の概要: Learning Zero-Shot Material States Segmentation, by Implanting Natural Image Patterns in Synthetic Data
- arxiv url: http://arxiv.org/abs/2403.03309v5
- Date: Mon, 10 Jun 2024 01:13:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-12 01:03:43.081269
- Title: Learning Zero-Shot Material States Segmentation, by Implanting Natural Image Patterns in Synthetic Data
- Title（参考訳）: 合成データに自然画像パターンを埋め込んだゼロショット物質状態セグメンテーションの学習
- Authors: Sagi Eppel, Jolina Li, Manuel Drehwald, Alan Aspuru-Guzik,
- Abstract要約: この研究は、現実世界の画像から抽出されたパターンを合成データに注入することで、ギャップを埋めることを目的としている。
ゼロショット材料状態セグメンテーションのための総合ベンチマークを初めて提示する。
また,30,000の抽出テクスチャとSVBRDF/PBR材料を共有し,将来の生成を容易にする。
- 参考スコア（独自算出の注目度）: 0.555174246084229
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Visual recognition of materials and their states is essential for understanding the physical world, from identifying wet regions on surfaces or stains on fabrics to detecting infected areas on plants or minerals in rocks. Collecting data that captures this vast variability is complex due to the scattered and gradual nature of material states. Manually annotating real-world images is constrained by cost and precision, while synthetic data, although accurate and inexpensive, lacks real-world diversity. This work aims to bridge this gap by infusing patterns automatically extracted from real-world images into synthetic data. Hence, patterns collected from natural images are used to generate and map materials into synthetic scenes. This unsupervised approach captures the complexity of the real world while maintaining the precision and scalability of synthetic data. We also present the first comprehensive benchmark for zero-shot material state segmentation, utilizing real-world images across a diverse range of domains, including food, soils, construction, plants, liquids, and more, each appears in various states such as wet, dry, infected, cooked, burned, and many others. The annotation includes partial similarity between regions with similar but not identical materials and hard segmentation of only identical material states. This benchmark eluded top foundation models, exposing the limitations of existing data collection methods. Meanwhile, nets trained on the infused data performed significantly better on this and related tasks. The dataset, code, and trained model are available. We also share 300,000 extracted textures and SVBRDF/PBR materials to facilitate future datasets generation.
- Abstract（参考訳）: 物質とその状態の視覚的認識は、表面や汚れの濡れた領域を識別するから、岩石中の植物や鉱物の感染領域を検出するまで、物理的世界を理解するために不可欠である。
この大きな変動を捉えたデータの収集は、物質状態の散在と漸進的な性質のために複雑である。
手動でアノテートする現実世界のイメージはコストと精度で制約されるが、合成データは正確で安価だが現実世界の多様性に欠ける。
この研究は、現実世界の画像から抽出されたパターンを合成データに注入することで、このギャップを埋めることを目的としている。
そのため、自然画像から収集したパターンを用いて、素材を合成シーンにマッピングする。
この教師なしのアプローチは、合成データの精度とスケーラビリティを維持しながら、現実世界の複雑さを捉えている。
また, 食品, 土壌, 建設, 植物, 液体など, さまざまな領域にまたがる実世界の画像を利用して, 湿潤, 乾燥, 感染, 調理, 焼成などの様々な状態に出現する, ゼロショット物質状態セグメンテーションの総合的なベンチマークも行った。
このアノテーションは、類似しているが同一ではない領域間の部分的な類似性と、同一の物質状態のみのハードセグメンテーションを含む。
このベンチマークは、既存のデータ収集メソッドの制限を露呈して、上位の基盤モデルを取り除いた。
一方、注入されたデータに基づいてトレーニングされたネットは、これと関連したタスクにおいて、大幅に改善された。
データセット、コード、トレーニングされたモデルが利用可能だ。
また,30,000の抽出テクスチャとSVBRDF/PBR材料を共有し,将来のデータセット生成を容易にする。
関連論文リスト
- Intrinsic Image Diffusion for Indoor Single-view Material Estimation [55.276815106443976]
室内シーンの外観分解のための生成モデルIntrinsic Image Diffusionを提案する。
1つの入力ビューから、アルベド、粗さ、および金属地図として表される複数の材料説明をサンプリングする。
提案手法は,PSNRで1.5dB$,アルベド予測で45%のFIDスコアを達成し,よりシャープで,より一貫性があり,より詳細な資料を生成する。
論文 参考訳（メタデータ） (2023-12-19T15:56:19Z) - Perceptual Artifacts Localization for Image Synthesis Tasks [59.638307505334076]
我々は10,168個の画像からなる新しいデータセットを導入し,それぞれに知覚的アーティファクトラベルを付加した。
提案したデータセットに基づいてトレーニングされたセグメンテーションモデルは、さまざまなタスクにまたがるアーティファクトを効果的にローカライズする。
生成した画像の知覚的アーティファクトをシームレスに修正する,革新的なズームイン・インペインティングパイプラインを提案する。
論文 参考訳（メタデータ） (2023-10-09T10:22:08Z) - SyntheWorld: A Large-Scale Synthetic Dataset for Land Cover Mapping and
Building Change Detection [20.985372561774415]
我々は、品質、多様性、スケールに比類しない合成データセットであるSyntheWorldを提示する。
サブメーターレベルのピクセルを持つ4万枚の画像と8つのカテゴリの詳細なランドカバーアノテーションを含んでいる。
リモートセンシング画像処理研究を容易にするためのSyntheWorldをリリースする。
論文 参考訳（メタデータ） (2023-09-05T02:42:41Z) - Analysis of Training Object Detection Models with Synthetic Data [0.0]
本稿では,オブジェクト検出に合成データを使用する方法の概要を概説する。
データ生成の側面とモデルをトレーニングするテクニックを分析します。
実験は実データ上で検証され、実データでトレーニングされたモデルにベンチマークされる。
論文 参考訳（メタデータ） (2022-11-29T10:21:16Z) - TRoVE: Transforming Road Scene Datasets into Photorealistic Virtual
Environments [84.6017003787244]
本研究では、シミュレーションデータセットに存在する困難とドメインギャップに対処する合成データ生成パイプラインを提案する。
既存のデータセットからアノテーションや視覚的手がかりを利用すれば、自動マルチモーダルデータ生成が容易になることを示す。
論文 参考訳（メタデータ） (2022-08-16T20:46:08Z) - Dataset of Industrial Metal Objects [1.1125968799758437]
このデータセットは、6Dオブジェクトポーズラベルを持つ実世界のRGB画像と合成されたRGB画像の両方を含んでいる。
実世界のデータは、さまざまなオブジェクト形状、材料、キャリア、構成、照明条件の異なるシーンのマルチビュー画像を記録することで得られる。
実世界の状況を慎重にシミュレートし、制御された現実的な方法で変化させることで合成データを得る。
論文 参考訳（メタデータ） (2022-08-08T10:49:06Z) - Towards 3D Scene Understanding by Referring Synthetic Models [65.74211112607315]
メソッドは通常、実際のシーンスキャンにおける過剰なアノテーションを緩和する。
合成モデルは、合成特徴の実際のシーンカテゴリを、統一された特徴空間にどのように依存するかを考察する。
実験の結果,ScanNet S3DISデータセットの平均mAPは46.08%,学習データセットは55.49%であった。
論文 参考訳（メタデータ） (2022-03-20T13:06:15Z) - Fake It Till You Make It: Face analysis in the wild using synthetic data
alone [9.081019005437309]
合成データだけで顔関連コンピュータビジョンを野生で実行可能であることを示す。
本稿では、手続き的に生成された3次元顔モデルと手作り資産の包括的ライブラリを組み合わせることで、前例のないリアリズムによるトレーニング画像のレンダリングを行う方法について述べる。
論文 参考訳（メタデータ） (2021-09-30T13:07:04Z) - From Synthetic to Real: Image Dehazing Collaborating with Unlabeled Real
Data [58.50411487497146]
ラベルのない実データと協調する新しい画像デハージングフレームワークを提案する。
まず,特徴表現を3つの成分マップに切り離す不整合画像デハージングネットワーク(DID-Net)を開発する。
そして、無ラベルの実データと協調して単一画像のデハージングを促進するために、不整合平均教師ネットワーク(DMT-Net)を用いる。
論文 参考訳（メタデータ） (2021-08-06T04:00:28Z) - Learning Topology from Synthetic Data for Unsupervised Depth Completion [66.26787962258346]
画像から高密度深度マップとスパース深度測定を推定する手法を提案する。
我々は,疎点雲と密度の高い自然形状の関係を学習し,その画像を用いて予測深度マップの検証を行う。
論文 参考訳（メタデータ） (2021-06-06T00:21:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。