論文の概要: Point-Cloud Completion with Pretrained Text-to-image Diffusion Models
- arxiv url: http://arxiv.org/abs/2306.10533v1
- Date: Sun, 18 Jun 2023 11:51:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-21 20:03:52.711167
- Title: Point-Cloud Completion with Pretrained Text-to-image Diffusion Models
- Title(参考訳): 事前学習したテキストから画像への拡散モデルによるポイントクラウド補完
- Authors: Yoni Kasten, Ohad Rahamim, Gal Chechik
- Abstract要約: 現実世界のアプリケーションで収集されたポイントクラウドデータは、しばしば不完全である。
本稿では,事前学習したテキスト・画像拡散モデルを用いたSDS-Completeという手法について述べる。
一般的なデータセットにないオブジェクトを効果的に再構築する。
- 参考スコア(独自算出の注目度): 33.41278923611429
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Point-cloud data collected in real-world applications are often incomplete.
Data is typically missing due to objects being observed from partial
viewpoints, which only capture a specific perspective or angle. Additionally,
data can be incomplete due to occlusion and low-resolution sampling. Existing
completion approaches rely on datasets of predefined objects to guide the
completion of noisy and incomplete, point clouds. However, these approaches
perform poorly when tested on Out-Of-Distribution (OOD) objects, that are
poorly represented in the training dataset. Here we leverage recent advances in
text-guided image generation, which lead to major breakthroughs in text-guided
shape generation. We describe an approach called SDS-Complete that uses a
pre-trained text-to-image diffusion model and leverages the text semantics of a
given incomplete point cloud of an object, to obtain a complete surface
representation. SDS-Complete can complete a variety of objects using test-time
optimization without expensive collection of 3D information. We evaluate SDS
Complete on incomplete scanned objects, captured by real-world depth sensors
and LiDAR scanners. We find that it effectively reconstructs objects that are
absent from common datasets, reducing Chamfer loss by 50% on average compared
with current methods. Project page: https://sds-complete.github.io/
- Abstract(参考訳): 実世界のアプリケーションで収集されるポイントクラウドデータは、しばしば不完全である。
データは一般的に、特定の視点や角度しか捉えない部分的な視点から観察されるオブジェクトのために欠落している。
さらに、オクルージョンと低解像度サンプリングのため、データは不完全である。
既存の補完アプローチは、ノイズと不完全な点雲の完成を導くために、事前に定義されたオブジェクトのデータセットに依存している。
しかし、これらのアプローチは、トレーニングデータセットでは不十分なOOD(Out-Of-Distribution)オブジェクトでテストすると、パフォーマンスが悪くなります。
ここでは,近年のテキストガイド画像生成の進歩を活かし,テキストガイド形状生成の大きなブレークスルーを導いた。
本稿では,事前学習したテキストから画像への拡散モデルを用いて,与えられた不完全点クラウドのテキストセマンティクスを活用し,完全な表面表現を得るsds完全というアプローチについて述べる。
SDS-Completeは、高価な3D情報を集めることなく、テスト時間最適化を用いて様々なオブジェクトを補完することができる。
実世界の深度センサとLiDARスキャナーで捉えた不完全なスキャン対象に対するSDS完全性を評価する。
一般的なデータセットから欠落したオブジェクトを効果的に再構築し、現在の手法と比較して、Chamferの損失を平均50%削減する。
プロジェクトページ: https://sds-complete.github.io/
関連論文リスト
- Generalizing Single-View 3D Shape Retrieval to Occlusions and Unseen
Objects [32.32128461720876]
シングルビュー3D形状検索は、利用可能な3Dデータの増大に伴ってますます重要になる課題である。
我々は,3つの異なる軸に沿って一視点の3次元形状検索を体系的に評価し,物体の閉塞や切り離しの存在,見えない3次元形状データへの一般化,入力画像における見えない物体への一般化について検討した。
論文 参考訳(メタデータ) (2023-12-31T05:39:38Z) - 3DSGrasp: 3D Shape-Completion for Robotic Grasp [81.1638620745356]
オブジェクトの完全な3Dポイントクラウドデータ(PCD)が利用可能であれば、現実のロボットの把握は堅牢に行うことができる。
実際に、PCDは、握る動作の前に、オブジェクトがほとんど見ていない、そしてまばらな視点から見られているとき、しばしば不完全である。
そこで我々は3DSGraspという新しい把握戦略を提案する。これは部分的なPCDから欠落した幾何を予測し、信頼性の高い把握ポーズを生成する。
論文 参考訳(メタデータ) (2023-01-02T20:23:05Z) - Self-supervised Point Cloud Completion on Real Traffic Scenes via
Scene-concerned Bottom-up Mechanism [14.255659581428333]
ポイントクラウド補完は、オブジェクトの不完全な3Dスキャンのための完全な形状を参照することを目的としている。
現在のディープラーニングベースのアプローチは、トレーニングプロセスにおける大規模な完全な形状に依存しています。
本研究では,交通現場の車両に対して,完全なデータを持たない自己監視点クラウド補完手法(TraPCC)を提案する。
論文 参考訳(メタデータ) (2022-03-20T14:42:37Z) - Towards realistic symmetry-based completion of previously unseen point
clouds [0.43496401697112697]
対称オブジェクトに対してよく機能する新しいフレームワークを提案する。
学習ベースのアプローチとは異なり、提案するフレームワークはトレーニングデータを必要としない。
提案するフレームワークは,実世界の顧客スキャンのポイントクラウド完了において,最先端の効率性を実現することを実証する。
論文 参考訳(メタデータ) (2022-01-05T23:05:13Z) - Self-Supervised Point Cloud Completion via Inpainting [13.068234143496333]
この研究は、部分的な点雲を完成させることを学び、部分的な観測のみを使用して物体の幾何学を完全に理解することを目的としている。
我々は,完全かつ地味なアノテーションへのアクセスを前提とせず,部分的なスキャンでのみトレーニングを行う,自己教師付きポイントクラウド補完アルゴリズムであるPointPnCNetを提案する。
提案手法は,合成データセットであるShapeNetと実世界のLiDARデータセットであるSemantic KITTIの双方において,従来の教師なしおよび弱教師付き手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-11-21T00:03:11Z) - RandomRooms: Unsupervised Pre-training from Synthetic Shapes and
Randomized Layouts for 3D Object Detection [138.2892824662943]
有望な解決策は、CADオブジェクトモデルで構成される合成データセットをよりよく利用して、実際のデータセットでの学習を促進することである。
最近の3次元事前学習の研究は、合成物体から他の実世界の応用へ学習した伝達特性が失敗することを示している。
本研究では,この目的を達成するためにRandomRoomsという新しい手法を提案する。
論文 参考訳(メタデータ) (2021-08-17T17:56:12Z) - Salient Objects in Clutter [130.63976772770368]
本稿では,既存の正当性オブジェクト検出(SOD)データセットの重大な設計バイアスを特定し,対処する。
この設計バイアスは、既存のデータセットで評価した場合、最先端のSODモデルのパフォーマンスの飽和につながった。
我々は,新しい高品質データセットを提案し,前回のsaliencyベンチマークを更新する。
論文 参考訳(メタデータ) (2021-05-07T03:49:26Z) - REGRAD: A Large-Scale Relational Grasp Dataset for Safe and
Object-Specific Robotic Grasping in Clutter [52.117388513480435]
本稿では,オブジェクト間の関係のモデル化を継続するregradという新しいデータセットを提案する。
データセットは2D画像と3Dポイントクラウドの両方で収集されます。
ユーザは、好きなだけ多くのデータを生成するために、自由に独自のオブジェクトモデルをインポートできる。
論文 参考訳(メタデータ) (2021-04-29T05:31:21Z) - DOPS: Learning to Detect 3D Objects and Predict their 3D Shapes [54.239416488865565]
LIDARデータに対する高速な1段3次元物体検出法を提案する。
我々の手法の中核となる新規性は高速かつシングルパスアーキテクチャであり、どちらも3次元の物体を検出し、それらの形状を推定する。
提案手法は,ScanNetシーンのオブジェクト検出で5%,オープンデータセットでは3.4%の精度で結果が得られた。
論文 参考訳(メタデータ) (2020-04-02T17:48:50Z) - SESS: Self-Ensembling Semi-Supervised 3D Object Detection [138.80825169240302]
具体的には、ラベルのない新しい未知のデータに基づくネットワークの一般化を促進するための、徹底的な摂動スキームを設計する。
我々のSESSは、50%のラベル付きデータを用いて、最先端の完全教師付き手法と比較して、競争性能を達成している。
論文 参考訳(メタデータ) (2019-12-26T08:48:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。