論文の概要: Panoptic Segmentation using Synthetic and Real Data

• arxiv url: http://arxiv.org/abs/2204.07069v1
• Date: Thu, 14 Apr 2022 16:01:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-15 13:39:57.456558
• Title: Panoptic Segmentation using Synthetic and Real Data
• Title（参考訳）: 合成データと実データを用いたパノプティカルセグメンテーション
• Authors: Camillo Quattrocchi, Daniele Di Mauro, Antonino Furnari, Giovanni Maria Farinella
• Abstract要約: 本研究では,実環境と実物体の3次元モデルから合成画像を生成するパイプラインを提案する。 実験により、合成画像を使用することで、合理的なパノプティクスセグメンテーション性能を得るために必要な実画像の数を劇的に削減できることが示された。
• 参考スコア（独自算出の注目度）: 21.226582774172062
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Being able to understand the relations between the user and the surrounding environment is instrumental to assist users in a worksite. For instance, understanding which objects a user is interacting with from images and video collected through a wearable device can be useful to inform the worker on the usage of specific objects in order to improve productivity and prevent accidents. Despite modern vision systems can rely on advanced algorithms for object detection, semantic and panoptic segmentation, these methods still require large quantities of domain-specific labeled data, which can be difficult to obtain in industrial scenarios. Motivated by this observation, we propose a pipeline which allows to generate synthetic images from 3D models of real environments and real objects. The generated images are automatically labeled and hence effortless to obtain. Exploiting the proposed pipeline, we generate a dataset comprising synthetic images automatically labeled for panoptic segmentation. This set is complemented by a small number of manually labeled real images for fine-tuning. Experiments show that the use of synthetic images allows to drastically reduce the number of real images needed to obtain reasonable panoptic segmentation performance.
• Abstract（参考訳）: ユーザと周囲の環境の関係を理解することは、作業現場でユーザを支援するのに役立ちます。 例えば、ウェアラブルデバイスで収集された画像やビデオからユーザが対話しているオブジェクトを理解することは、作業者に特定のオブジェクトの使用を知らせ、生産性を高め、事故を防止するのに役立ちます。 現代のビジョンシステムは、オブジェクト検出、セマンティクス、およびパンオプティカルセグメンテーションのための高度なアルゴリズムを頼りにすることができるが、これらの方法は依然として大量のドメイン固有のラベル付きデータを必要とする。 そこで本研究では,実環境と実物体の3次元モデルから合成画像を生成するパイプラインを提案する。 生成された画像は自動的にラベル付けされ、取得に手間がかからない。 提案したパイプラインをエクスプロイトし、パン光学セグメントの自動ラベル付き合成画像からなるデータセットを生成する。 このセットは、微調整のための少数の手動による実画像によって補完される。 実験により、合成画像を使用することで、適切なパノプティクスセグメンテーション性能を得るために必要な実画像の数を劇的に削減できることが示された。

関連論文リスト

• Visual Car Brand Classification by Implementing a Synthetic Image Dataset Creation Pipeline [3.524869467682149]
  安定拡散を用いた合成画像データセットの自動生成パイプラインを提案する。 YOLOv8を用いて自動境界ボックス検出と合成画像の品質評価を行う。
  論文  参考訳（メタデータ） (2024-06-03T07:44:08Z)
• Investigation of the Impact of Synthetic Training Data in the Industrial Application of Terminal Strip Object Detection [4.327763441385371]
  本稿では,端末ストリップ物体検出の複雑な産業応用における標準対象検出器のシム・トゥ・リアル一般化性能について検討する。 評価のために300個の実画像に手動でアノテートを行った結果,どちらの領域でも同じ規模の興味の対象が重要であることがわかった。
  論文  参考訳（メタデータ） (2024-03-06T18:33:27Z)
• Perceptual Artifacts Localization for Image Synthesis Tasks [59.638307505334076]
  我々は10,168個の画像からなる新しいデータセットを導入し,それぞれに知覚的アーティファクトラベルを付加した。 提案したデータセットに基づいてトレーニングされたセグメンテーションモデルは、さまざまなタスクにまたがるアーティファクトを効果的にローカライズする。 生成した画像の知覚的アーティファクトをシームレスに修正する,革新的なズームイン・インペインティングパイプラインを提案する。
  論文  参考訳（メタデータ） (2023-10-09T10:22:08Z)
• Structure-Guided Image Completion with Image-level and Object-level Semantic Discriminators [97.12135238534628]
  複雑な意味論やオブジェクトの生成を改善するために,セマンティック・ディミネータとオブジェクトレベル・ディミネータからなる学習パラダイムを提案する。 特に、セマンティック・ディミネーターは、事前学習された視覚的特徴を利用して、生成された視覚概念の現実性を改善する。 提案手法は, 生成品質を著しく向上させ, 各種タスクの最先端化を実現する。
  論文  参考訳（メタデータ） (2022-12-13T01:36:56Z)
• Label-Free Synthetic Pretraining of Object Detectors [67.17371526567325]
  そこで本稿では,SOLID(Synthetic Optimization layout with Instance Detection)という新しい手法を提案する。 筆者らのSOLIDアプローチは,(1)シーンアレンジメントを最適化した非ラベルの3Dモデルを用いた合成画像の生成,(2)"インスタンス検出"タスクにおけるオブジェクト検出の事前学習,の2つの主要コンポーネントから構成される。 当社のアプローチでは,事前学習のためのセマンティックラベルは必要とせず,任意の3Dモデルを使用することが可能である。
  論文  参考訳（メタデータ） (2022-08-08T16:55:17Z)
• RICE: Refining Instance Masks in Cluttered Environments with Graph Neural Networks [53.15260967235835]
  本稿では,インスタンスマスクのグラフベース表現を利用して,そのような手法の出力を改良する新しいフレームワークを提案する。 我々は、セグメンテーションにスマートな摂動をサンプリングできるディープネットワークと、オブジェクト間の関係をエンコード可能なグラフニューラルネットワークを訓練し、セグメンテーションを評価する。 本稿では,本手法によって生成された不確実性推定を用いてマニピュレータを誘導し,乱れたシーンを効率的に理解するアプリケーションについて紹介する。
  論文  参考訳（メタデータ） (2021-06-29T20:29:29Z)
• Image Compositing for Segmentation of Surgical Tools without Manual Annotations [10.05087029666444]
  特殊効果による手法を活用し、現実的なトレーニングデータセットの作成を自動化することを提案する。 クロマキーの上にサンプル手術器具を置くことにより、前景データをキャプチャする。 背景データは、楽器を含まないビデオの収集によって取得される。 半合成データのみを用いてバニラU-Netをトレーニングし、簡単な後処理を適用することで、公開可能な実データセットでトレーニングされた同じネットワークの結果と一致できることを示す。
  論文  参考訳（メタデータ） (2021-02-18T18:14:43Z)
• Detection and Segmentation of Custom Objects using High Distraction Photorealistic Synthetic Data [0.5076419064097732]
  合成データを用いてインスタンスセグメンテーションを行うための簡便で有用な手法を示す。 目標は、カスタムオブジェクトの実際のデータを手動で収集し、注釈付けすることで、高いパフォーマンスを達成することである。 このホワイトペーパーは、光実写シミュレーションデータが現実の応用に利用できるという強い証拠を提供する。
  論文  参考訳（メタデータ） (2020-07-28T16:33:42Z)
• OpenRooms: An End-to-End Open Framework for Photorealistic Indoor Scene Datasets [103.54691385842314]
  本研究では,屋内シーンの大規模フォトリアリスティックデータセットを作成するための新しいフレームワークを提案する。 私たちの目標は、データセット作成プロセスを広く利用できるようにすることです。 これにより、逆レンダリング、シーン理解、ロボット工学における重要な応用が可能になる。
  論文  参考訳（メタデータ） (2020-07-25T06:48:47Z)
• Intrinsic Autoencoders for Joint Neural Rendering and Intrinsic Image Decomposition [67.9464567157846]
  合成3Dモデルからリアルな画像を生成するためのオートエンコーダを提案し,同時に実像を本質的な形状と外観特性に分解する。 実験により, レンダリングと分解の併用処理が有益であることが確認され, 画像から画像への翻訳の質的, 定量的なベースラインよりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2020-06-29T12:53:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。