論文の概要: Unsupervised Discovery of Object-Centric Neural Fields

• arxiv url: http://arxiv.org/abs/2402.07376v1
• Date: Mon, 12 Feb 2024 02:16:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-13 15:57:03.149437
• Title: Unsupervised Discovery of Object-Centric Neural Fields
• Title（参考訳）: 物体中心ニューラルフィールドの教師なし発見
• Authors: Rundong Luo, Hong-Xing Yu, Jiajun Wu
• Abstract要約: 1つの画像から3次元オブジェクト中心のシーン表現を推定する。 我々は、対象中心神経場(uOCF)の教師なし発見を提案する。
• 参考スコア（独自算出の注目度）: 21.223170092979498
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study inferring 3D object-centric scene representations from a single image. While recent methods have shown potential in unsupervised 3D object discovery from simple synthetic images, they fail to generalize to real-world scenes with visually rich and diverse objects. This limitation stems from their object representations, which entangle objects' intrinsic attributes like shape and appearance with extrinsic, viewer-centric properties such as their 3D location. To address this bottleneck, we propose Unsupervised discovery of Object-Centric neural Fields (uOCF). uOCF focuses on learning the intrinsics of objects and models the extrinsics separately. Our approach significantly improves systematic generalization, thus enabling unsupervised learning of high-fidelity object-centric scene representations from sparse real-world images. To evaluate our approach, we collect three new datasets, including two real kitchen environments. Extensive experiments show that uOCF enables unsupervised discovery of visually rich objects from a single real image, allowing applications such as 3D object segmentation and scene manipulation. Notably, uOCF demonstrates zero-shot generalization to unseen objects from a single real image. Project page: https://red-fairy.github.io/uOCF/
• Abstract（参考訳）: 一つの画像から3次元オブジェクト中心のシーン表現を推定する。 最近の手法では、単純な合成画像から教師なしの3dオブジェクト発見の可能性を示したが、視覚的にリッチで多様なオブジェクトで現実世界のシーンに一般化できなかった。 この制限は、形状や外観といったオブジェクト固有の属性と、その3d位置のような外部的でビューア中心のプロパティを絡むオブジェクト表現に起因している。 このボトルネックに対処するため,我々は,オブジェクト中心のニューラルフィールド(uocf)の教師なし発見を提案する。 uocfはオブジェクトの本質を学習することに集中し、extrinsicsを別々にモデル化する。 提案手法は体系的な一般化を著しく改善し,スパース現実画像からの高忠実度オブジェクト中心シーン表現の教師なし学習を可能にする。 このアプローチを評価するために、2つの実際のキッチン環境を含む3つの新しいデータセットを収集しました。 広範な実験により、uocfは単一の実画像から視覚的にリッチなオブジェクトを教師なしで発見でき、3dオブジェクトのセグメンテーションやシーン操作のようなアプリケーションを可能にする。 特に、uOCFは1つの実画像から見えない物体にゼロショットの一般化を示す。 プロジェクトページ: https://red-fairy.github.io/uOCF/

関連論文リスト

• Variational Inference for Scalable 3D Object-centric Learning [19.445804699433353]
  我々は3Dシーンにおける拡張性のないオブジェクト中心表現学習の課題に取り組む。 オブジェクト中心表現学習への既存のアプローチは、より大きなシーンに一般化する際の限界を示している。 局所オブジェクト座標系におけるビュー不変3次元オブジェクト表現の学習を提案する。
  論文  参考訳（メタデータ） (2023-09-25T10:23:40Z)
• NeurOCS: Neural NOCS Supervision for Monocular 3D Object Localization [80.3424839706698]
  入力として3Dボックスをインスタンスマスクとして使用するNeurOCSを提案する。 われわれのアプローチは、実際の運転シーンから直接カテゴリレベルの形状を学習する際の洞察に依存している。 我々は、オブジェクト中心の視点からオブジェクト座標をより効果的に学習するための重要な設計選択を行う。
  論文  参考訳（メタデータ） (2023-05-28T16:18:41Z)
• Anything-3D: Towards Single-view Anything Reconstruction in the Wild [61.090129285205805]
  本稿では,一連の視覚言語モデルとSegment-Anythingオブジェクトセグメンテーションモデルを組み合わせた方法論的フレームワークであるAnything-3Dを紹介する。 提案手法では、BLIPモデルを用いてテキスト記述を生成し、Segment-Anythingモデルを用いて関心対象を効果的に抽出し、テキスト・画像拡散モデルを用いて物体を神経放射場へ持ち上げる。
  論文  参考訳（メタデータ） (2023-04-19T16:39:51Z)
• Neural Groundplans: Persistent Neural Scene Representations from a Single Image [90.04272671464238]
  本稿では,シーンの2次元画像観察を永続的な3次元シーン表現にマッピングする手法を提案する。 本稿では,永続的でメモリ効率のよいシーン表現として,条件付きニューラルグラウンドプランを提案する。
  論文  参考訳（メタデータ） (2022-07-22T17:41:24Z)
• LaTeRF: Label and Text Driven Object Radiance Fields [8.191404990730236]
  シーン全体と既知のカメラポーズの2次元画像から興味の対象を抽出するLaTeRFを提案する。 シーンからオブジェクトを忠実に抽出するために、LaTeRFはNeRFの定式化を3Dポイントごとに追加のオブジェクト性確率で拡張する。 合成データと実データの両方で高忠実度オブジェクト抽出を実証する。
  論文  参考訳（メタデータ） (2022-07-04T17:07:57Z)
• Object Scene Representation Transformer [56.40544849442227]
  オブジェクトシーン表現変換(OSRT: Object Scene Representation Transformer)は、新しいビュー合成を通じて、個々のオブジェクト表現が自然に現れる3D中心のモデルである。 OSRTは、既存のメソッドよりもオブジェクトとバックグラウンドの多様性が大きい、はるかに複雑なシーンにスケールする。 光電場パラメトリゼーションと新しいSlot Mixerデコーダのおかげで、合成レンダリングでは桁違いに高速である。
  論文  参考訳（メタデータ） (2022-06-14T15:40:47Z)
• Discovering Objects that Can Move [55.743225595012966]
  手動ラベルなしでオブジェクトを背景から分離する、オブジェクト発見の問題について検討する。 既存のアプローチでは、色、テクスチャ、位置などの外観の手がかりを使用して、ピクセルをオブジェクトのような領域に分類する。 私たちは、動的オブジェクト -- 世界で独立して動くエンティティ -- にフォーカスすることを選びます。
  論文  参考訳（メタデータ） (2022-03-18T21:13:56Z)
• De-rendering 3D Objects in the Wild [21.16153549406485]
  物体の1つの像を1つの形状に分解できる弱教師付き手法を提案する。 トレーニングでは、学習プロセスをブートストラップするために、トレーニング対象の粗い初期形状の推定にのみ依存する。 本実験では,2次元画像を3次元表現にデレンダリングし,未知のオブジェクトカテゴリに一般化できることを示す。
  論文  参考訳（メタデータ） (2022-01-06T23:50:09Z)
• Single View Metrology in the Wild [94.7005246862618]
  本研究では,物体の3次元の高さや地上のカメラの高さで表現されるシーンの絶対的なスケールを再現する,単一ビューメロジに対する新しいアプローチを提案する。 本手法は,被写体の高さなどの3Dエンティティによる未知のカメラとの相互作用から,弱い教師付き制約を抑えるために設計されたディープネットワークによって学習されたデータ駆動の先行情報に依存する。 いくつかのデータセットと仮想オブジェクト挿入を含むアプリケーションに対して、最先端の定性的かつ定量的な結果を示す。
  論文  参考訳（メタデータ） (2020-07-18T22:31:33Z)
• ROOTS: Object-Centric Representation and Rendering of 3D Scenes [28.24758046060324]
  人間の知能の重要な能力は、部分的なシーンの観察から個々の3Dオブジェクトのモデルを構築することである。 最近の研究は、オブジェクト中心の生成を実現するが、表現を推測する能力がない。 本稿では,モジュール型および構成型3Dオブジェクトモデル構築学習のための確率論的生成モデルを提案する。
  論文  参考訳（メタデータ） (2020-06-11T00:42:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。