論文の概要: EFEM: Equivariant Neural Field Expectation Maximization for 3D Object
Segmentation Without Scene Supervision
- arxiv url: http://arxiv.org/abs/2303.15440v1
- Date: Mon, 27 Mar 2023 17:59:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-28 13:59:23.463189
- Title: EFEM: Equivariant Neural Field Expectation Maximization for 3D Object
Segmentation Without Scene Supervision
- Title（参考訳）: EFEM:Scene Supervisionのない3次元物体分割のための等価ニューラルネットワーク期待値の最大化
- Authors: Jiahui Lei and Congyue Deng and Karl Schmeckpeper and Leonidas Guibas
and Kostas Daniilidis
- Abstract要約: 本研究では,3次元シーンのオブジェクトをアノテーションやトレーニングなしでセグメント化するために,EFEM(Equivariant Neural Field expectation Maximization)を導入する。
まず、この問題に同変形状表現を導入し、オブジェクト構成の変化によって引き起こされる複雑さを解消する。
第2に,前述した同変形状を用いて分割マスクを反復的に洗練する新しいEMアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 35.232051353760035
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce Equivariant Neural Field Expectation Maximization (EFEM), a
simple, effective, and robust geometric algorithm that can segment objects in
3D scenes without annotations or training on scenes. We achieve such
unsupervised segmentation by exploiting single object shape priors. We make two
novel steps in that direction. First, we introduce equivariant shape
representations to this problem to eliminate the complexity induced by the
variation in object configuration. Second, we propose a novel EM algorithm that
can iteratively refine segmentation masks using the equivariant shape prior. We
collect a novel real dataset Chairs and Mugs that contains various object
configurations and novel scenes in order to verify the effectiveness and
robustness of our method. Experimental results demonstrate that our method
achieves consistent and robust performance across different scenes where the
(weakly) supervised methods may fail. Code and data available at
https://www.cis.upenn.edu/~leijh/projects/efem
- Abstract（参考訳）: Equivariant Neural Field expectation Maximization (EFEM) は、シンプルな、効果的で、ロバストな幾何学的アルゴリズムで、アノテーションやシーンでのトレーニングなしに3Dシーンにオブジェクトを分割できる。
このような教師なしセグメンテーションは,単一のオブジェクト形状プリエントを活用して達成する。
私たちはその方向に2つの新しいステップを踏む。
まず,この問題に対して同変形状表現を導入し,オブジェクト構成の変化によって引き起こされる複雑性を解消する。
次に,同変形状を用いて分割マスクを反復的に洗練する新しいEMアルゴリズムを提案する。
提案手法の有効性とロバスト性を検証するため,様々なオブジェクト構成や新しいシーンを含む新しいデータセット・チェアとマグカップを収集する。
実験結果から,本手法は,(弱々しい)教師付き手法が失敗する場面にまたがって,一貫した,堅牢な性能を実現することが示された。
https://www.cis.upenn.edu/~leijh/projects/efemで利用可能なコードとデータ
関連論文リスト
- ObjectCarver: Semi-automatic segmentation, reconstruction and separation of 3D objects [44.38881095466177]
複数の画像から3次元表面を再構成する際、暗黙の神経磁場は顕著な進歩を遂げた。
これまでの研究は、署名された距離フィールドを個別に訓練するフレームワークを導入して、この問題に対処しようと試みてきた。
一つのビューで単に入力をクリックすることからオブジェクト分離の問題に取り組むために、ObjectCarverというメソッドを導入します。
論文 参考訳（メタデータ） (2024-07-26T22:13:20Z) - Object Segmentation from Open-Vocabulary Manipulation Instructions Based on Optimal Transport Polygon Matching with Multimodal Foundation Models [0.8749675983608172]
対象オブジェクトに対するセグメンテーションマスクをオブジェクト操作命令から生成するタスクについて検討する。
本研究では,オープンな語彙命令からセグメンテーションマスクを生成する手法を提案する。
論文 参考訳（メタデータ） (2024-07-01T05:48:48Z) - Multi-body SE(3) Equivariance for Unsupervised Rigid Segmentation and
Motion Estimation [49.56131393810713]
本稿では、SE(3)同変アーキテクチャと、この課題に教師なしで取り組むためのトレーニング戦略を提案する。
本手法は,0.25Mパラメータと0.92G FLOPを用いて,モデル性能と計算効率を両立させる。
論文 参考訳（メタデータ） (2023-06-08T22:55:32Z) - Contrastive Lift: 3D Object Instance Segmentation by Slow-Fast
Contrastive Fusion [110.84357383258818]
本稿では,2次元セグメントを3次元に上げ,ニューラルネットワーク表現を用いて融合させる新しい手法を提案する。
このアプローチの中核は、高速なクラスタリング目的関数であり、多数のオブジェクトを持つシーンにスケーラブルで適しています。
我々のアプローチは、ScanNet、Hypersim、Replicaのデータセットからの挑戦的なシーンにおいて、最先端の状況よりも優れています。
論文 参考訳（メタデータ） (2023-06-07T17:57:45Z) - Image to Sphere: Learning Equivariant Features for Efficient Pose
Prediction [3.823356975862006]
単一点推定を予測する方法は、対称性を持つ物体のポーズをうまく予測せず、不確実性を表現できない。
画像領域から3次元回転多様体への特徴量の新しいマッピングを提案する。
本稿では,オブジェクト指向予測における本手法の有効性を実証し,PASCAL3D+データセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2023-02-27T16:23:19Z) - Unsupervised Multi-View Object Segmentation Using Radiance Field
Propagation [55.9577535403381]
本稿では,未ラベルのシーンの多視点画像のみを考慮し,再構成中の3次元オブジェクトのセグメント化に新たなアプローチを提案する。
提案手法の核となるのは,2方向光度損失を持つ個々の物体の放射界に対する新しい伝搬戦略である。
我々の知る限り、RFPはニューラルレイディアンスフィールド(NeRF)のための3次元シーンオブジェクトセグメンテーションに取り組むための最初の教師なしアプローチである。
論文 参考訳（メタデータ） (2022-10-02T11:14:23Z) - Objects are Different: Flexible Monocular 3D Object Detection [87.82253067302561]
そこで本研究では,乱れたオブジェクトを明示的に分離し,オブジェクト深度推定のための複数のアプローチを適応的に組み合わせたモノクル3次元オブジェクト検出のためのフレキシブルなフレームワークを提案する。
実験の結果,本手法はkittiベンチマークテストセットにおいて,中等度レベルが27%,硬度が30%と,最先端法を27%上回った。
論文 参考訳（メタデータ） (2021-04-06T07:01:28Z) - SIMstack: A Generative Shape and Instance Model for Unordered Object
Stacks [38.042876641457255]
物理シミュレーションにより積み上げられた物体のデータセットに訓練された深度条件付き可変オートエンコーダ(VAE)を提案する。
インスタンスセグメンテーションは、クラスに依存しない検出を可能にし、シーン内のオブジェクトの最大数を設定する必要がないセンター投票タスクとして定式化します。
本手法は,ロボットに部分的に観察されたシーンを素早く直感的に推論する能力を与えるための実用的応用である。
論文 参考訳（メタデータ） (2021-03-30T15:42:43Z) - Learning to Segment Rigid Motions from Two Frames [72.14906744113125]
本研究では, 運動場から独立物体の動きを復元する幾何学的解析により, モジュラーネットワークを提案する。
2つの連続フレームを入力とし、背景のセグメンテーションマスクと複数の剛体移動オブジェクトを予測し、3次元の剛体変換によってパラメータ化する。
本手法はkittiおよびsintelにおける剛体運動セグメンテーションの最先端性能を実現する。
論文 参考訳（メタデータ） (2021-01-11T04:20:30Z) - Reinforced Axial Refinement Network for Monocular 3D Object Detection [160.34246529816085]
モノクロ3次元物体検出は、2次元入力画像から物体の位置と特性を抽出することを目的としている。
従来のアプローチでは、空間から3D境界ボックスをサンプリングし、対象オブジェクトと各オブジェクトの関係を推定するが、有効サンプルの確率は3D空間で比較的小さい。
我々は,まず最初の予測から始めて,各ステップで1つの3dパラメータだけを変えて,基礎的真理に向けて徐々に洗練することを提案する。
これは、いくつかのステップの後に報酬を得るポリシーを設計する必要があるため、最適化するために強化学習を採用します。
論文 参考訳（メタデータ） (2020-08-31T17:10:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。