論文の概要: SAILenv: Learning in Virtual Visual Environments Made Simple

• arxiv url: http://arxiv.org/abs/2007.08224v2
• Date: Mon, 20 Jul 2020 15:42:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-09 23:25:58.460580
• Title: SAILenv: Learning in Virtual Visual Environments Made Simple
• Title（参考訳）: SAILenv: 仮想ビジュアル環境での学習はシンプルに
• Authors: Enrico Meloni, Luca Pasqualini, Matteo Tiezzi, Marco Gori, Stefano Melacci
• Abstract要約: 仮想3Dシーンで視覚認識を実験できる新しいプラットフォームを提案する。 すべてのアルゴリズムを仮想世界とインターフェースするためには数行のコードが必要であり、非3Dグラフィックの専門家は容易に3D環境自体をカスタマイズできる。 我々のフレームワークはピクセルレベルのセマンティクスとインスタンスのラベル付け、深さ、そして私たちの知る限り、それは3Dエンジンから直接受け継がれるモーション関連情報を提供する唯一のものである。
• 参考スコア（独自算出の注目度）: 16.979621213790015
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, researchers in Machine Learning algorithms, Computer Vision scientists, engineers and others, showed a growing interest in 3D simulators as a mean to artificially create experimental settings that are very close to those in the real world. However, most of the existing platforms to interface algorithms with 3D environments are often designed to setup navigation-related experiments, to study physical interactions, or to handle ad-hoc cases that are not thought to be customized, sometimes lacking a strong photorealistic appearance and an easy-to-use software interface. In this paper, we present a novel platform, SAILenv, that is specifically designed to be simple and customizable, and that allows researchers to experiment visual recognition in virtual 3D scenes. A few lines of code are needed to interface every algorithm with the virtual world, and non-3D-graphics experts can easily customize the 3D environment itself, exploiting a collection of photorealistic objects. Our framework yields pixel-level semantic and instance labeling, depth, and, to the best of our knowledge, it is the only one that provides motion-related information directly inherited from the 3D engine. The client-server communication operates at a low level, avoiding the overhead of HTTP-based data exchanges. We perform experiments using a state-of-the-art object detector trained on real-world images, showing that it is able to recognize the photorealistic 3D objects of our environment. The computational burden of the optical flow compares favourably with the estimation performed using modern GPU-based convolutional networks or more classic implementations. We believe that the scientific community will benefit from the easiness and high-quality of our framework to evaluate newly proposed algorithms in their own customized realistic conditions.
• Abstract（参考訳）: 近年、機械学習アルゴリズム、コンピュータビジョン科学者、エンジニアなどの研究者は、現実世界と非常に近い実験的な設定を人工的に作成する手段として、3dシミュレータへの関心が高まっていることを示した。 しかし、既存の3D環境とアルゴリズムをインターフェースするプラットフォームの多くは、ナビゲーション関連の実験をセットアップしたり、物理的相互作用を研究したり、カスタマイズされていないと思われるアドホックケースを扱うために設計されている。 本稿では,簡易かつカスタマイズ可能な新しいプラットフォームであるsailenvを提案する。これにより研究者は仮想3dシーンで視覚認識を実験できる。 すべてのアルゴリズムを仮想世界とインターフェースするためには数行のコードが必要であり、非3Dグラフィックの専門家は簡単に3D環境自体をカスタマイズでき、フォトリアリスティックなオブジェクトのコレクションを利用することができる。 我々のフレームワークはピクセルレベルのセマンティクスとインスタンスのラベル付け、深さ、そして私たちの知る限り、それは3Dエンジンから直接受け継がれるモーション関連情報を提供する唯一のものである。 クライアントサーバ間の通信は低レベルで動作し、HTTPベースのデータ交換のオーバーヘッドを回避する。 実世界の画像で訓練された最先端の物体検出器を用いて実験を行い、我々の環境の光実物的3dオブジェクトを認識できることを示した。 光フローの計算負荷は、現代のgpuベースの畳み込みネットワークやより古典的な実装を用いた推定と好適に比較できる。 私たちは、科学コミュニティが、新しく提案されたアルゴリズムを独自のリアルな条件で評価するための、フレームワークの容易さと高品質の恩恵を受けると信じています。

関連論文リスト

• OmniSCV: An Omnidirectional Synthetic Image Generator for Computer Vision [5.2178708158547025]
  本稿では,全方位画像のデータセットを意味情報と深度情報で生成するツールを提案する。 これらの画像は、Unreal Engine 4のリアルな仮想環境で取得された一連のキャプチャから合成される。 ツールには、非中央パノラマおよび非中央カタディオプトリシステムとして、フォトリアリスティックな非中央プロジェクションシステムが含まれています。
  論文  参考訳（メタデータ） (2024-01-30T14:40:19Z)
• NeurOCS: Neural NOCS Supervision for Monocular 3D Object Localization [80.3424839706698]
  入力として3Dボックスをインスタンスマスクとして使用するNeurOCSを提案する。 われわれのアプローチは、実際の運転シーンから直接カテゴリレベルの形状を学習する際の洞察に依存している。 我々は、オブジェクト中心の視点からオブジェクト座標をより効果的に学習するための重要な設計選択を行う。
  論文  参考訳（メタデータ） (2023-05-28T16:18:41Z)
• 3D-IntPhys: Towards More Generalized 3D-grounded Visual Intuitive Physics under Challenging Scenes [68.66237114509264]
  複雑なシーンと流体の映像から3次元的な視覚的直感的な物理モデルを学習できるフレームワークを提案する。 本モデルでは,生画像から学習し,明示的な3次元表現空間を用いないモデルよりもはるかに優れた将来予測が可能であることを示す。
  論文  参考訳（メタデータ） (2023-04-22T19:28:49Z)
• Object Scene Representation Transformer [56.40544849442227]
  オブジェクトシーン表現変換(OSRT: Object Scene Representation Transformer)は、新しいビュー合成を通じて、個々のオブジェクト表現が自然に現れる3D中心のモデルである。 OSRTは、既存のメソッドよりもオブジェクトとバックグラウンドの多様性が大きい、はるかに複雑なシーンにスケールする。 光電場パラメトリゼーションと新しいSlot Mixerデコーダのおかげで、合成レンダリングでは桁違いに高速である。
  論文  参考訳（メタデータ） (2022-06-14T15:40:47Z)
• De-rendering 3D Objects in the Wild [21.16153549406485]
  物体の1つの像を1つの形状に分解できる弱教師付き手法を提案する。 トレーニングでは、学習プロセスをブートストラップするために、トレーニング対象の粗い初期形状の推定にのみ依存する。 本実験では,2次元画像を3次元表現にデレンダリングし,未知のオブジェクトカテゴリに一般化できることを示す。
  論文  参考訳（メタデータ） (2022-01-06T23:50:09Z)
• Messing Up 3D Virtual Environments: Transferable Adversarial 3D Objects [21.86544028303682]
  本研究では, 容易にアクセス可能な要素からなるツールチェーンを用いて, テクスチャを変更することで, 対向3Dオブジェクトの製作方法について検討する。 既成の制限されたサロゲートを用いて、対向オブジェクトを作成することは可能であり、実際に簡単であることを示す。 そこで本研究では, 2種類の対角線を交差させて, ターゲットエンジンに有効と推定されるテクスチャ要素に変化を集中させるサリエンシ攻撃を提案する。
  論文  参考訳（メタデータ） (2021-09-17T11:06:23Z)
• Evaluating Continual Learning Algorithms by Generating 3D Virtual Environments [66.83839051693695]
  連続学習とは、人間や動物が特定の環境で徐々に学習する能力である。 本稿では3次元仮想環境の最近の進歩を活用して,フォトリアリスティックな外観を持つ潜在的に長寿命な動的シーンの自動生成にアプローチすることを提案する。 本論文の新たな要素は、シーンがパラメトリックな方法で記述され、エージェントが知覚する入力ストリームの視覚的複雑さを完全に制御できることである。
  論文  参考訳（メタデータ） (2021-09-16T10:37:21Z)
• Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
  1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。 既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。 本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:29:03Z)
• Interactive Annotation of 3D Object Geometry using 2D Scribbles [84.51514043814066]
  本稿では,ポイントクラウドデータとRGB画像から3次元オブジェクト形状をアノテートする対話型フレームワークを提案する。 当社のフレームワークは,芸術的,グラフィック的専門知識のないナイーブユーザを対象としている。
  論文  参考訳（メタデータ） (2020-08-24T21:51:29Z)
• Learning Neural Light Transport [28.9247002210861]
  ニューラルネットワークを用いた静的・動的3次元シーンにおける光輸送の学習手法を提案する。 我々のモデルは静的および動的シーンのフォトリアリスティックなレンダリングを生成することができる。
  論文  参考訳（メタデータ） (2020-06-05T13:26:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。