論文の概要: Learning Zero-Shot Material States Segmentation, by Implanting Natural Image Patterns in Synthetic Data

• arxiv url: http://arxiv.org/abs/2403.03309v2
• Date: Thu, 7 Mar 2024 17:43:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-08 16:27:10.611851
• Title: Learning Zero-Shot Material States Segmentation, by Implanting Natural Image Patterns in Synthetic Data
• Title（参考訳）: 合成データに自然画像パターンを埋め込んだゼロショット物質状態セグメンテーションの学習
• Authors: Sagi Eppel, Jolina Li, Manuel Drehwald, Alan Aspuru-Guzik
• Abstract要約: 自然画像から抽出したパターンを用いて、素材を合成シーンにマッピングする方法を示す。 また、クラス非依存の物質状態セグメンテーションのための最初の一般的なベンチマークを示す。 ここでは,MatchSeg 上のネット列車が既存の最先端手法を著しく上回っていることを示す。
• 参考スコア（独自算出の注目度）: 0.606487980401116
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Visual understanding and segmentation of materials and their states is fundamental for understanding the physical world. The infinite textures, shapes and often blurry boundaries formed by material make this task particularly hard to generalize. Whether it's identifying wet regions of a surface, minerals in rocks, infected regions in plants, or pollution in water, each material state has its own unique form. For neural nets to learn class-agnostic materials segmentation it is necessary to first collect and annotate data that capture this complexity. Collecting real-world images and manually annotating is limited both by the cost and limited precision of manual labor. In contrast, synthetic data is highly accurate and almost cost-free but fails to replicate the vast diversity of the material world. In this work, we suggest a method to bridge this crucial gap, by implanting patterns extracted from real-world images, in synthetic data. Hence, patterns automatically collected from natural images are used to map materials into synthetic scenes. This unsupervised approach allows the generated data to capture the vast complexity of the real world while maintaining the precision and scale of synthetic data. We also present the first general benchmark for class-agnostic material state segmentation. The benchmark images contain a wide range of real-world images of material states, from cooking, food, rocks, construction, plants, and liquids each in various states (wet/dry/stained/cooked/burned/worned/rusted/sediment/foam...). The annotation includes both partial similarity between regions with similar but not identical materials, and hard segmentation of only points of the exact same material state. We show that net trains on MatSeg significantly outperform existing state-of-the-art methods on this task.
• Abstract（参考訳）: 物質とその状態の視覚的理解とセグメンテーションは、物理的世界を理解するのに不可欠である。 無限のテクスチャ、形状、しばしば材料によって形成されるぼやけた境界は、このタスクを特に一般化するのが困難である。 地表の湿った地域、岩石の鉱物、植物に感染した地域、水に汚染されている地域など、それぞれの物質状態には独自の形態があります。 ニューラルネットがクラス非依存の材料セグメンテーションを学ぶためには、まずこの複雑さを捉えたデータを収集し、注釈付けする必要がある。 実世界の画像の収集と手作業による注釈は、手作業のコストと精度の両方によって制限される。 対照的に、合成データは精度が高く、ほとんどコストがかからないが、物質世界の膨大な多様性を再現できない。 本研究では,実画像から抽出したパターンを合成データに埋め込むことにより,この重要なギャップを埋める手法を提案する。 そのため、自然画像から自動的に収集されたパターンを用いて、素材を合成シーンにマッピングする。 この教師なしのアプローチにより、生成されたデータは合成データの精度とスケールを維持しながら、現実世界の膨大な複雑さを捉えることができる。 また、クラス非依存の物質状態セグメンテーションのための最初の一般的なベンチマークを示す。 ベンチマーク画像には、料理、食べ物、岩、建設、植物、そして液体など、さまざまな状態の物質状態(Wet/Dry/stained/cooked/cooked/worned/rusted/sediment/foam...)の幅広い現実世界の画像が含まれている。 本アノテーションは、類似するが同一ではない領域間の部分的類似性と、全く同一の材料状態の点のみのハードセグメント化の両方を含む。 ここでは,MatchSeg 上のネット列車が既存の最先端手法を著しく上回っていることを示す。

関連論文リスト

• On Synthetic Texture Datasets: Challenges, Creation, and Curation [1.9567015559455132]
  56のテクスチャにまたがる362,880のテクスチャイメージのデータセットを作成します。 画像生成過程において,画像生成パイプライン内のNSFW安全フィルタはテクスチャに非常に敏感であることがわかった。
  論文  参考訳（メタデータ） (2024-09-16T14:02:18Z)
• Intrinsic Image Diffusion for Indoor Single-view Material Estimation [55.276815106443976]
  室内シーンの外観分解のための生成モデルIntrinsic Image Diffusionを提案する。 1つの入力ビューから、アルベド、粗さ、および金属地図として表される複数の材料説明をサンプリングする。 提案手法は,PSNRで1.5dB$,アルベド予測で45%のFIDスコアを達成し,よりシャープで,より一貫性があり,より詳細な資料を生成する。
  論文  参考訳（メタデータ） (2023-12-19T15:56:19Z)
• Perceptual Artifacts Localization for Image Synthesis Tasks [59.638307505334076]
  我々は10,168個の画像からなる新しいデータセットを導入し,それぞれに知覚的アーティファクトラベルを付加した。 提案したデータセットに基づいてトレーニングされたセグメンテーションモデルは、さまざまなタスクにまたがるアーティファクトを効果的にローカライズする。 生成した画像の知覚的アーティファクトをシームレスに修正する,革新的なズームイン・インペインティングパイプラインを提案する。
  論文  参考訳（メタデータ） (2023-10-09T10:22:08Z)
• SyntheWorld: A Large-Scale Synthetic Dataset for Land Cover Mapping and Building Change Detection [20.985372561774415]
  我々は、品質、多様性、スケールに比類しない合成データセットであるSyntheWorldを提示する。 サブメーターレベルのピクセルを持つ4万枚の画像と8つのカテゴリの詳細なランドカバーアノテーションを含んでいる。 リモートセンシング画像処理研究を容易にするためのSyntheWorldをリリースする。
  論文  参考訳（メタデータ） (2023-09-05T02:42:41Z)
• Analysis of Training Object Detection Models with Synthetic Data [0.0]
  本稿では,オブジェクト検出に合成データを使用する方法の概要を概説する。 データ生成の側面とモデルをトレーニングするテクニックを分析します。 実験は実データ上で検証され、実データでトレーニングされたモデルにベンチマークされる。
  論文  参考訳（メタデータ） (2022-11-29T10:21:16Z)
• TRoVE: Transforming Road Scene Datasets into Photorealistic Virtual Environments [84.6017003787244]
  本研究では、シミュレーションデータセットに存在する困難とドメインギャップに対処する合成データ生成パイプラインを提案する。 既存のデータセットからアノテーションや視覚的手がかりを利用すれば、自動マルチモーダルデータ生成が容易になることを示す。
  論文  参考訳（メタデータ） (2022-08-16T20:46:08Z)
• Dataset of Industrial Metal Objects [1.1125968799758437]
  このデータセットは、6Dオブジェクトポーズラベルを持つ実世界のRGB画像と合成されたRGB画像の両方を含んでいる。 実世界のデータは、さまざまなオブジェクト形状、材料、キャリア、構成、照明条件の異なるシーンのマルチビュー画像を記録することで得られる。 実世界の状況を慎重にシミュレートし、制御された現実的な方法で変化させることで合成データを得る。
  論文  参考訳（メタデータ） (2022-08-08T10:49:06Z)
• Towards 3D Scene Understanding by Referring Synthetic Models [65.74211112607315]
  メソッドは通常、実際のシーンスキャンにおける過剰なアノテーションを緩和する。 合成モデルは、合成特徴の実際のシーンカテゴリを、統一された特徴空間にどのように依存するかを考察する。 実験の結果,ScanNet S3DISデータセットの平均mAPは46.08%,学習データセットは55.49%であった。
  論文  参考訳（メタデータ） (2022-03-20T13:06:15Z)
• From Synthetic to Real: Image Dehazing Collaborating with Unlabeled Real Data [58.50411487497146]
  ラベルのない実データと協調する新しい画像デハージングフレームワークを提案する。 まず,特徴表現を3つの成分マップに切り離す不整合画像デハージングネットワーク(DID-Net)を開発する。 そして、無ラベルの実データと協調して単一画像のデハージングを促進するために、不整合平均教師ネットワーク(DMT-Net)を用いる。
  論文  参考訳（メタデータ） (2021-08-06T04:00:28Z)
• Learning Topology from Synthetic Data for Unsupervised Depth Completion [66.26787962258346]
  画像から高密度深度マップとスパース深度測定を推定する手法を提案する。 我々は,疎点雲と密度の高い自然形状の関係を学習し,その画像を用いて予測深度マップの検証を行う。
  論文  参考訳（メタデータ） (2021-06-06T00:21:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。