論文の概要: SuperCaustics: Real-time, open-source simulation of transparent objects for deep learning applications

• arxiv url: http://arxiv.org/abs/2107.11008v1
• Date: Fri, 23 Jul 2021 03:11:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-26 21:06:14.424442
• Title: SuperCaustics: Real-time, open-source simulation of transparent objects for deep learning applications
• Title（参考訳）: supercaustics: ディープラーニングアプリケーションのための透明オブジェクトのリアルタイムオープンソースシミュレーション
• Authors: Mehdi Mousavi, Rolando Estrada
• Abstract要約: SuperCausticsは、ディープラーニングアプリケーション用に設計された透明なオブジェクトのリアルタイムかつオープンソースシミュレーションである。 私たちは、難しい照明シナリオで透明なオブジェクトをスクラッチからセグメント化するために、ディープニューラルネットワークをトレーニングしました。 私たちのニューラルネットワークは、トレーニングデータの10%しか使用せずに、実世界のデータセットにおける最先端のパフォーマンスを達成しました。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transparent objects are a very challenging problem in computer vision. They are hard to segment or classify due to their lack of precise boundaries, and there is limited data available for training deep neural networks. As such, current solutions for this problem employ rigid synthetic datasets, which lack flexibility and lead to severe performance degradation when deployed on real-world scenarios. In particular, these synthetic datasets omit features such as refraction, dispersion and caustics due to limitations in the rendering pipeline. To address this issue, we present SuperCaustics, a real-time, open-source simulation of transparent objects designed for deep learning applications. SuperCaustics features extensive modules for stochastic environment creation; uses hardware ray-tracing to support caustics, dispersion, and refraction; and enables generating massive datasets with multi-modal, pixel-perfect ground truth annotations. To validate our proposed system, we trained a deep neural network from scratch to segment transparent objects in difficult lighting scenarios. Our neural network achieved performance comparable to the state-of-the-art on a real-world dataset using only 10% of the training data and in a fraction of the training time. Further experiments show that a model trained with SuperCaustics can segment different types of caustics, even in images with multiple overlapping transparent objects. To the best of our knowledge, this is the first such result for a model trained on synthetic data. Both our open-source code and experimental data are freely available online.
• Abstract（参考訳）: 透明物体はコンピュータビジョンにおいて非常に難しい問題である。 正確な境界の欠如のため、セグメント化や分類が難しいため、ディープニューラルネットワークのトレーニングに利用可能なデータは限られている。 そのため、現在のソリューションでは、柔軟性に欠ける厳密な合成データセットが採用されており、現実のシナリオにデプロイするとパフォーマンスが大幅に低下する。 特に、これらの合成データセットは、レンダリングパイプラインの制限により、屈折、分散、因果といった特徴を省略する。 この問題に対処するため,我々は,ディープラーニングアプリケーション用に設計された透明オブジェクトのリアルタイムオープンソースシミュレーションであるsupercausticsを提案する。 SuperCausticsは確率的環境生成のための広範なモジュールを備え、ハードウェアレイトレーシングを使用して因果性、分散、屈折をサポートし、マルチモーダル、ピクセル完全基底真理アノテーションで巨大なデータセットを生成する。 提案システムを検証するため,難解な照明シナリオにおいて,スクラッチから透明物体をセグメント化するディープニューラルネットワークを訓練した。 私たちのニューラルネットワークは、トレーニングデータの10%とトレーニング時間のごく一部を使用して、実世界のデータセットにおける最先端のパフォーマンスを達成しました。 さらに実験により、複数の重なり合う透明物体を持つ画像においても、SuperCausticsでトレーニングされたモデルが異なる種類の因果関係を分割できることが示されている。 我々の知る限りでは、これは合成データに基づいて訓練されたモデルにとって初めての結果である。 オープンソースコードと実験データの両方がオンラインで無料で利用可能です。

関連論文リスト

• Closing the Visual Sim-to-Real Gap with Object-Composable NeRFs [59.12526668734703]
  本稿では,オブジェクト合成可能なNeRFモデルであるComposable Object Volume NeRF(COV-NeRF)を紹介する。 COV-NeRFは、実際の画像からオブジェクトを抽出し、それらを新しいシーンに合成し、フォトリアリスティックなレンダリングと多くのタイプの2Dおよび3D監視を生成する。
  論文  参考訳（メタデータ） (2024-03-07T00:00:02Z)
• Learning Defect Prediction from Unrealistic Data [57.53586547895278]
  事前訓練されたコードのモデルは、コード理解と生成タスクに人気がある。 このようなモデルは大きい傾向があり、訓練データの総量を必要とする。 人工的に注入されたバグのある関数など、はるかに大きくてもより現実的なデータセットを持つモデルをトレーニングすることが一般的になった。 このようなデータで訓練されたモデルは、実際のプログラムでは性能が劣りながら、同様のデータでのみうまく機能する傾向にある。
  論文  参考訳（メタデータ） (2023-11-02T01:51:43Z)
• The Devil in the Details: Simple and Effective Optical Flow Synthetic Data Generation [19.945859289278534]
  本稿では,光学フローデータセットの要求特性が比較的単純であり,簡易な合成データ生成法を提案する。 2次元動きに基づくデータセットでは、合成データセットを生成するための最も単純だが重要な要素を体系的に分析する。
  論文  参考訳（メタデータ） (2023-08-14T18:01:45Z)
• Deep Learning of Crystalline Defects from TEM images: A Solution for the Problem of "Never Enough Training Data" [0.0]
  In-situ TEM実験は、転位がどのように振る舞うか、動きについて重要な洞察を与えることができる。 個々のビデオフレームの分析は有用な洞察を提供するが、自動識別の能力によって制限される。 本研究では,転位セグメンテーションのための合成トレーニングデータを生成するパラメトリックモデルを開発した。
  論文  参考訳（メタデータ） (2023-07-12T17:37:46Z)
• A New Benchmark: On the Utility of Synthetic Data with Blender for Bare Supervised Learning and Downstream Domain Adaptation [42.2398858786125]
  コンピュータビジョンにおけるディープラーニングは、大規模ラベル付きトレーニングデータの価格で大きな成功を収めた。 制御不能なデータ収集プロセスは、望ましくない重複が存在する可能性のある非IIDトレーニングおよびテストデータを生成する。 これを回避するために、ドメインランダム化による3Dレンダリングによる合成データを生成する方法がある。
  論文  参考訳（メタデータ） (2023-03-16T09:03:52Z)
• Sim2real Transfer Learning for Point Cloud Segmentation: An Industrial Application Case on Autonomous Disassembly [55.41644538483948]
  我々は,点クラウドデータにsim2realTransfer Learningを用いた産業アプリケーションケースを提案する。 合成ポイントクラウドデータの生成と処理方法に関する洞察を提供する。 この問題に対処するために、パッチベースの新しいアテンションネットワークも提案されている。
  論文  参考訳（メタデータ） (2023-01-12T14:00:37Z)
• Learning to Simulate Realistic LiDARs [66.7519667383175]
  リアルLiDARセンサのデータ駆動シミュレーションのためのパイプラインを提案する。 本モデルでは, 透明表面上の落下点などの現実的な効果を符号化できることが示される。 我々は2つの異なるLiDARセンサのモデルを学習し、それに従ってシミュレーションされたLiDARデータを改善する。
  論文  参考訳（メタデータ） (2022-09-22T13:12:54Z)
• TRoVE: Transforming Road Scene Datasets into Photorealistic Virtual Environments [84.6017003787244]
  本研究では、シミュレーションデータセットに存在する困難とドメインギャップに対処する合成データ生成パイプラインを提案する。 既存のデータセットからアノテーションや視覚的手がかりを利用すれば、自動マルチモーダルデータ生成が容易になることを示す。
  論文  参考訳（メタデータ） (2022-08-16T20:46:08Z)
• Optical Flow Dataset Synthesis from Unpaired Images [36.158607790844705]
  本稿では,光の流れを教師付きで訓練するために使用できる擬似実画像の訓練セットを構築する新しい手法を提案する。 我々のデータセットは実データから2つの未ペアフレームを使用し、ランダムなワープをシミュレートしてフレームのペアを生成する。 そこで我々は,真理を正確に把握しながら,実データを直接訓練する利点を得る。
  論文  参考訳（メタデータ） (2021-04-02T22:19:47Z)
• STAN: Synthetic Network Traffic Generation with Generative Neural Models [10.54843182184416]
  本稿では,現実的な合成ネットワークトラフィックデータセットを生成するためのSTAN(Synthetic Network Traffic Generation with Autoregressive Neural Model)を提案する。 私たちの新しいニューラルアーキテクチャは、常に属性間の時間的依存関係と依存の両方をキャプチャします。 我々は、シミュレーションデータセットと実ネットワークトラフィックデータセットの両方で、STANの性能を、データの品質の観点から評価する。
  論文  参考訳（メタデータ） (2020-09-27T04:20:02Z)
• Object-based Illumination Estimation with Rendering-aware Neural Networks [56.01734918693844]
  個々の物体とその局所画像領域のRGBD外観から高速環境光推定手法を提案する。 推定照明により、仮想オブジェクトは実際のシーンと一貫性のあるシェーディングでARシナリオでレンダリングできる。
  論文  参考訳（メタデータ） (2020-08-06T08:23:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。