論文の概要: De-rendering 3D Objects in the Wild

• arxiv url: http://arxiv.org/abs/2201.02279v1
• Date: Thu, 6 Jan 2022 23:50:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-10 14:48:16.976235
• Title: De-rendering 3D Objects in the Wild
• Title（参考訳）: 野生の3dオブジェクトのデレンダリング
• Authors: Felix Wimbauer, Shangzhe Wu, Christian Rupprecht
• Abstract要約: 物体の1つの像を1つの形状に分解できる弱教師付き手法を提案する。 トレーニングでは、学習プロセスをブートストラップするために、トレーニング対象の粗い初期形状の推定にのみ依存する。 本実験では,2次元画像を3次元表現にデレンダリングし,未知のオブジェクトカテゴリに一般化できることを示す。
• 参考スコア（独自算出の注目度）: 21.16153549406485
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With increasing focus on augmented and virtual reality applications (XR) comes the demand for algorithms that can lift objects from images and videos into representations that are suitable for a wide variety of related 3D tasks. Large-scale deployment of XR devices and applications means that we cannot solely rely on supervised learning, as collecting and annotating data for the unlimited variety of objects in the real world is infeasible. We present a weakly supervised method that is able to decompose a single image of an object into shape (depth and normals), material (albedo, reflectivity and shininess) and global lighting parameters. For training, the method only relies on a rough initial shape estimate of the training objects to bootstrap the learning process. This shape supervision can come for example from a pretrained depth network or - more generically - from a traditional structure-from-motion pipeline. In our experiments, we show that the method can successfully de-render 2D images into a decomposed 3D representation and generalizes to unseen object categories. Since in-the-wild evaluation is difficult due to the lack of ground truth data, we also introduce a photo-realistic synthetic test set that allows for quantitative evaluation.
• Abstract（参考訳）: 拡張現実および仮想現実アプリケーション(XR)への注目が高まるにつれ、画像やビデオからさまざまな3Dタスクに適した表現にオブジェクトを持ち上げるアルゴリズムの需要が高まっている。 XRデバイスとアプリケーションの大規模展開は、現実世界の無限のオブジェクトのデータの収集と注釈付けが不可能であるため、教師付き学習のみに頼ることはできないことを意味します。 本稿では,物体の1つの像を形状(深度と正規度),材料(アルベド,反射率,光度),大域照明パラメータに分解できる弱教師付き手法を提案する。 トレーニングでは、学習プロセスをブートストラップするために、トレーニング対象の粗い初期形状の推定にのみ依存する。 この形状の監視は、例えば、事前訓練された深度ネットワークから、あるいは、より汎用的に、従来の構造から移動パイプラインから得ることができる。 本実験では,2次元画像を分解して3次元表現に分解し,未知の対象カテゴリに一般化できることを示す。 また, 実測データがないため, 実測評価が困難であるため, 定量的評価を可能にするフォトリアリスティック合成テストセットも導入する。

関連論文リスト

• Unsupervised Discovery of Object-Centric Neural Fields [21.223170092979498]
  1つの画像から3次元オブジェクト中心のシーン表現を推定する。 我々は、対象中心神経場(uOCF)の教師なし発見を提案する。
  論文  参考訳（メタデータ） (2024-02-12T02:16:59Z)
• Farm3D: Learning Articulated 3D Animals by Distilling 2D Diffusion [67.71624118802411]
  本稿では,カテゴリー固有の3D再構成器の学習方法であるFarm3Dについて述べる。 本稿では,Stable Diffusion などの画像生成装置を用いて,合成学習データを生成するフレームワークを提案する。 我々のネットワークは、単分子再構成や合成などの分析に利用でき、ビデオゲームのようなリアルタイムアプリケーションのための音響資産を生成することができる。
  論文  参考訳（メタデータ） (2023-04-20T17:59:34Z)
• Unsupervised Learning of Efficient Geometry-Aware Neural Articulated Representations [89.1388369229542]
  本稿では,3次元幾何認識による音声オブジェクトの表現学習のための教師なし手法を提案する。 私たちは、GANトレーニングで表現を学ぶことで、このニーズを回避します。 実験は,本手法の有効性を実証し,GANに基づくトレーニングにより,制御可能な3次元表現を,監督なしで学習できることを示す。
  論文  参考訳（メタデータ） (2022-04-19T12:10:18Z)
• Neural Articulated Radiance Field [90.91714894044253]
  本稿では,画像から学習した明瞭な物体に対する新しい変形可能な3次元表現であるニューラルArticulated Radiance Field(NARF)を提案する。 実験の結果,提案手法は効率的であり,新しいポーズにうまく一般化できることがわかった。
  論文  参考訳（メタデータ） (2021-04-07T13:23:14Z)
• Supervised Training of Dense Object Nets using Optimal Descriptors for Industrial Robotic Applications [57.87136703404356]
  Florence、Manuelli、TedrakeによるDense Object Nets(DON)は、ロボットコミュニティのための新しいビジュアルオブジェクト表現として高密度オブジェクト記述子を導入した。 本稿では, 物体の3次元モデルを考えると, 記述子空間画像を生成することができ, DON の教師付きトレーニングが可能であることを示す。 産業用物体の6次元グリップ生成のためのトレーニング手法を比較し,新しい教師付きトレーニング手法により,産業関連タスクのピック・アンド・プレイス性能が向上することを示す。
  論文  参考訳（メタデータ） (2021-02-16T11:40:12Z)
• Weakly Supervised Learning of Multi-Object 3D Scene Decompositions Using Deep Shape Priors [69.02332607843569]
  PriSMONetは、単一画像から多目的3Dシーンの分解と表現を学習するための新しいアプローチである。 リカレントエンコーダは、入力されたRGB画像から、各オブジェクトの3D形状、ポーズ、テクスチャの潜時表現を回帰する。 我々は,3次元シーンレイアウトの推測におけるモデルの精度を評価し,その生成能力を実証し,実画像への一般化を評価し,学習した表現の利点を指摘する。
  論文  参考訳（メタデータ） (2020-10-08T14:49:23Z)
• Single View Metrology in the Wild [94.7005246862618]
  本研究では,物体の3次元の高さや地上のカメラの高さで表現されるシーンの絶対的なスケールを再現する,単一ビューメロジに対する新しいアプローチを提案する。 本手法は,被写体の高さなどの3Dエンティティによる未知のカメラとの相互作用から,弱い教師付き制約を抑えるために設計されたディープネットワークによって学習されたデータ駆動の先行情報に依存する。 いくつかのデータセットと仮想オブジェクト挿入を含むアプリケーションに対して、最先端の定性的かつ定量的な結果を示す。
  論文  参考訳（メタデータ） (2020-07-18T22:31:33Z)
• 3D Reconstruction of Novel Object Shapes from Single Images [23.016517962380323]
  提案するSDFNetは,目に見える形状と見えない形状の最先端性能を実現する。 本研究は, 画像形状再構成の大規模評価を行った最初の試みである。
  論文  参考訳（メタデータ） (2020-06-14T00:34:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。