論文の概要: SynTable: A Synthetic Data Generation Pipeline for Unseen Object Amodal
Instance Segmentation of Cluttered Tabletop Scenes
- arxiv url: http://arxiv.org/abs/2307.07333v2
- Date: Fri, 23 Feb 2024 14:34:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-26 18:17:45.801205
- Title: SynTable: A Synthetic Data Generation Pipeline for Unseen Object Amodal
Instance Segmentation of Cluttered Tabletop Scenes
- Title（参考訳）: syntable: 乱雑なテーブルトップシーンのオブジェクトアモーダルインスタンスセグメンテーションのための合成データ生成パイプライン
- Authors: Zhili Ng, Haozhe Wang, Zhengshen Zhang, Francis Tay Eng Hock, and
Marcelo H. Ang Jr
- Abstract要約: 我々はNVIDIAのIsaac Sim Replicator Composerを使って構築されたPythonベースのデータセットジェネレータであるSynTableを紹介する。
私たちのデータセット生成ツールは、オブジェクトメッシュ、材料、テクスチャ、照明、背景を含む複雑な3Dシーンをレンダリングすることができます。
レイトレーシングによりSynTableを用いて生成されたサンプルデータセットを用いて、最先端モデルであるUOAIS-Netのトレーニングを行う。
- 参考スコア（独自算出の注目度）: 2.8661021832561757
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we present SynTable, a unified and flexible Python-based
dataset generator built using NVIDIA's Isaac Sim Replicator Composer for
generating high-quality synthetic datasets for unseen object amodal instance
segmentation of cluttered tabletop scenes. Our dataset generation tool can
render a complex 3D scene containing object meshes, materials, textures,
lighting, and backgrounds. Metadata, such as modal and amodal instance
segmentation masks, occlusion masks, depth maps, bounding boxes, and material
properties, can be generated to automatically annotate the scene according to
the users' requirements. Our tool eliminates the need for manual labeling in
the dataset generation process while ensuring the quality and accuracy of the
dataset. In this work, we discuss our design goals, framework architecture, and
the performance of our tool. We demonstrate the use of a sample dataset
generated using SynTable by ray tracing for training a state-of-the-art model,
UOAIS-Net. The results show significantly improved performance in Sim-to-Real
transfer when evaluated on the OSD-Amodal dataset. We offer this tool as an
open-source, easy-to-use, photorealistic dataset generator for advancing
research in deep learning and synthetic data generation.
- Abstract（参考訳）: 本稿では、NVIDIAのIsaac Sim Replicator Composerを使って構築された、統一的で柔軟なPythonベースのデータセットジェネレータであるSynTableを紹介します。
私たちのデータセット生成ツールは、オブジェクトメッシュ、材料、テクスチャ、照明、背景を含む複雑な3dシーンをレンダリングできます。
モーダルやアモーダルインスタンスのセグメンテーションマスク、オクルージョンマスク、深度マップ、バウンディングボックス、マテリアルプロパティなどのメタデータを生成して、ユーザの要求に応じてシーンを自動的にアノテートすることができる。
当社のツールは、データセットの品質と精度を確保しつつ、データセット生成プロセスで手動ラベリングを不要にする。
本稿では,設計目標,フレームワークアーキテクチャ,ツールの性能について論じる。
レイトレーシングによりSynTableを用いて生成されたサンプルデータセットを用いて、最先端モデルのUOAIS-Netをトレーニングする。
その結果, osd-amodalデータセット上で評価した場合, sim-to-real転送の性能は著しく向上した。
私たちはこのツールを、ディープラーニングと合成データ生成の研究を進めるための、オープンソースで使いやすいフォトリアリスティックなデータセットジェネレータとして提供しています。
関連論文リスト
- MASSTAR: A Multi-Modal and Large-Scale Scene Dataset with a Versatile Toolchain for Surface Prediction and Completion [25.44529512862336]
MASSTARはマルチモーダルなlArgeスケールのシーンデータセットであり、サーフAce predictionと完了のためのVerSatile Toolchainを備えている。
環境から生の3Dデータを処理するための汎用的で効率的なツールチェーンを開発した。
実世界の部分的なデータを含む1000以上のシーンレベルのモデルからなるサンプルデータセットを生成する。
論文 参考訳（メタデータ） (2024-03-18T11:35:18Z) - View-Dependent Octree-based Mesh Extraction in Unbounded Scenes for
Procedural Synthetic Data [71.22495169640239]
手続き署名距離関数(SDF)は、大規模な詳細なシーンをモデル化するための強力なツールである。
OcMesherというメッシュ抽出アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-12-13T18:56:13Z) - UniG3D: A Unified 3D Object Generation Dataset [75.49544172927749]
UniG3Dは、ShapeNetデータセット上に普遍的なデータ変換パイプラインを用いて構築された、統一された3Dオブジェクト生成データセットである。
このパイプラインは、各生の3Dモデルを包括的なマルチモーダルデータ表現に変換する。
データセットのデータソースの選択は、そのスケールと品質に基づいています。
論文 参考訳（メタデータ） (2023-06-19T07:03:45Z) - TRoVE: Transforming Road Scene Datasets into Photorealistic Virtual
Environments [84.6017003787244]
本研究では、シミュレーションデータセットに存在する困難とドメインギャップに対処する合成データ生成パイプラインを提案する。
既存のデータセットからアノテーションや視覚的手がかりを利用すれば、自動マルチモーダルデータ生成が容易になることを示す。
論文 参考訳（メタデータ） (2022-08-16T20:46:08Z) - RTMV: A Ray-Traced Multi-View Synthetic Dataset for Novel View Synthesis [104.53930611219654]
約2000の複雑なシーンからレンダリングされた300k画像からなる,新しいビュー合成のための大規模合成データセットを提案する。
データセットは、新しいビュー合成のための既存の合成データセットよりも桁違いに大きい。
高品質な3Dメッシュの4つのソースを使用して、私たちのデータセットのシーンは、カメラビュー、照明、形状、材料、テクスチャの難しいバリエーションを示します。
論文 参考訳（メタデータ） (2022-05-14T13:15:32Z) - Omnidata: A Scalable Pipeline for Making Multi-Task Mid-Level Vision
Datasets from 3D Scans [103.92680099373567]
本稿では,実世界の包括的3Dスキャンからマルチタスク視覚データセットをパラメトリックサンプリングし,レンダリングするパイプラインを提案する。
サンプリングパラメータを変更することで、生成されたデータセットを“ステア”して、特定の情報を強調することが可能になる。
生成されたスタータデータセットでトレーニングされた共通アーキテクチャは、複数の共通ビジョンタスクとベンチマークで最先端のパフォーマンスに達した。
論文 参考訳（メタデータ） (2021-10-11T04:21:46Z) - SynPick: A Dataset for Dynamic Bin Picking Scene Understanding [25.706613724135046]
ビンピッキングシナリオにおける動的シーン理解のための合成データセットであるSynPickを提案する。
既存のデータセットとは対照的に、私たちのデータセットはどちらも現実的な産業アプリケーションドメイン内にあります。
データセットは人気のあるBOPデータセットフォーマットと互換性がある。
論文 参考訳（メタデータ） (2021-07-10T14:58:43Z) - Unity Perception: Generate Synthetic Data for Computer Vision [9.479256069071315]
本稿では,コンピュータビジョンタスクのための合成データセット生成プロセスの簡素化と高速化を目的としたUnity Perceptionパッケージを紹介する。
このオープンソースパッケージはUnity Editorとエンジンコンポーネントを拡張し、いくつかの一般的なコンピュータビジョンタスクの完全な注釈付き例を生成する。
提案するツールの概要と動作方法,および2次元オブジェクト検出モデルをトレーニングすることにより生成した合成データセットの価値を実証する。
論文 参考訳（メタデータ） (2021-07-09T07:09:00Z) - Meta-Sim2: Unsupervised Learning of Scene Structure for Synthetic Data
Generation [88.04759848307687]
Meta-Sim2では,パラメータに加えてシーン構造を学習することを目指している。
強化学習(Reinforcement Learning)を使用してモデルをトレーニングし、トレーニング成功の鍵となる合成画像とターゲット画像の間に特徴空間のばらつきを設計する。
また,この手法は,他のベースラインシミュレーション手法と対照的に,生成したデータセット上でトレーニングしたオブジェクト検出器の性能を下流で向上させることを示す。
論文 参考訳（メタデータ） (2020-08-20T17:28:45Z) - Detection and Segmentation of Custom Objects using High Distraction
Photorealistic Synthetic Data [0.5076419064097732]
合成データを用いてインスタンスセグメンテーションを行うための簡便で有用な手法を示す。
目標は、カスタムオブジェクトの実際のデータを手動で収集し、注釈付けすることで、高いパフォーマンスを達成することである。
このホワイトペーパーは、光実写シミュレーションデータが現実の応用に利用できるという強い証拠を提供する。
論文 参考訳（メタデータ） (2020-07-28T16:33:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。