論文の概要: Point-Cloud Completion with Pretrained Text-to-image Diffusion Models
- arxiv url: http://arxiv.org/abs/2306.10533v1
- Date: Sun, 18 Jun 2023 11:51:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-21 20:03:52.711167
- Title: Point-Cloud Completion with Pretrained Text-to-image Diffusion Models
- Title（参考訳）: 事前学習したテキストから画像への拡散モデルによるポイントクラウド補完
- Authors: Yoni Kasten, Ohad Rahamim, Gal Chechik
- Abstract要約: 現実世界のアプリケーションで収集されたポイントクラウドデータは、しばしば不完全である。
本稿では,事前学習したテキスト・画像拡散モデルを用いたSDS-Completeという手法について述べる。
一般的なデータセットにないオブジェクトを効果的に再構築する。
- 参考スコア（独自算出の注目度）: 33.41278923611429
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Point-cloud data collected in real-world applications are often incomplete.
Data is typically missing due to objects being observed from partial
viewpoints, which only capture a specific perspective or angle. Additionally,
data can be incomplete due to occlusion and low-resolution sampling. Existing
completion approaches rely on datasets of predefined objects to guide the
completion of noisy and incomplete, point clouds. However, these approaches
perform poorly when tested on Out-Of-Distribution (OOD) objects, that are
poorly represented in the training dataset. Here we leverage recent advances in
text-guided image generation, which lead to major breakthroughs in text-guided
shape generation. We describe an approach called SDS-Complete that uses a
pre-trained text-to-image diffusion model and leverages the text semantics of a
given incomplete point cloud of an object, to obtain a complete surface
representation. SDS-Complete can complete a variety of objects using test-time
optimization without expensive collection of 3D information. We evaluate SDS
Complete on incomplete scanned objects, captured by real-world depth sensors
and LiDAR scanners. We find that it effectively reconstructs objects that are
absent from common datasets, reducing Chamfer loss by 50% on average compared
with current methods. Project page: https://sds-complete.github.io/
- Abstract（参考訳）: 実世界のアプリケーションで収集されるポイントクラウドデータは、しばしば不完全である。
データは一般的に、特定の視点や角度しか捉えない部分的な視点から観察されるオブジェクトのために欠落している。
さらに、オクルージョンと低解像度サンプリングのため、データは不完全である。
既存の補完アプローチは、ノイズと不完全な点雲の完成を導くために、事前に定義されたオブジェクトのデータセットに依存している。
しかし、これらのアプローチは、トレーニングデータセットでは不十分なOOD(Out-Of-Distribution)オブジェクトでテストすると、パフォーマンスが悪くなります。
ここでは,近年のテキストガイド画像生成の進歩を活かし,テキストガイド形状生成の大きなブレークスルーを導いた。
本稿では,事前学習したテキストから画像への拡散モデルを用いて,与えられた不完全点クラウドのテキストセマンティクスを活用し,完全な表面表現を得るsds完全というアプローチについて述べる。
SDS-Completeは、高価な3D情報を集めることなく、テスト時間最適化を用いて様々なオブジェクトを補完することができる。
実世界の深度センサとLiDARスキャナーで捉えた不完全なスキャン対象に対するSDS完全性を評価する。
一般的なデータセットから欠落したオブジェクトを効果的に再構築し、現在の手法と比較して、Chamferの損失を平均50%削減する。
プロジェクトページ: https://sds-complete.github.io/
関連論文リスト
- Self-supervised 3D Point Cloud Completion via Multi-view Adversarial Learning [61.14132533712537]
我々は、オブジェクトレベルとカテゴリ固有の幾何学的類似性の両方を効果的に活用するフレームワークであるMAL-SPCを提案する。
私たちのMAL-SPCは3Dの完全な監視を一切必要とせず、各オブジェクトに1つの部分点クラウドを必要とするだけです。
論文 参考訳（メタデータ） (2024-07-13T06:53:39Z) - MegaScenes: Scene-Level View Synthesis at Scale [69.21293001231993]
NVS (Scene-level novel view synthesis) は多くの視覚やグラフィックスの応用に基礎を置いている。
MegaScenesと呼ばれるインターネット写真コレクションから大規模なシーンレベルのデータセットを作成し、世界中の動き(SfM)から100K以上の構造を復元する。
我々は、最先端NVS手法の故障事例を分析し、生成一貫性を大幅に改善する。
論文 参考訳（メタデータ） (2024-06-17T17:55:55Z) - Inverse Neural Rendering for Explainable Multi-Object Tracking [35.072142773300655]
我々はRGBカメラから3Dマルチオブジェクト追跡をEmphInverse Rendering (IR)問題として再放送した。
我々は、本質的に形状と外観特性を歪ませる生成潜在空間上の画像損失を最適化する。
本手法の一般化とスケーリング能力は,合成データのみから生成前を学習することで検証する。
論文 参考訳（メタデータ） (2024-04-18T17:37:53Z) - 3DSGrasp: 3D Shape-Completion for Robotic Grasp [81.1638620745356]
オブジェクトの完全な3Dポイントクラウドデータ(PCD)が利用可能であれば、現実のロボットの把握は堅牢に行うことができる。
実際に、PCDは、握る動作の前に、オブジェクトがほとんど見ていない、そしてまばらな視点から見られているとき、しばしば不完全である。
そこで我々は3DSGraspという新しい把握戦略を提案する。これは部分的なPCDから欠落した幾何を予測し、信頼性の高い把握ポーズを生成する。
論文 参考訳（メタデータ） (2023-01-02T20:23:05Z) - Self-supervised Point Cloud Completion on Real Traffic Scenes via
Scene-concerned Bottom-up Mechanism [14.255659581428333]
ポイントクラウド補完は、オブジェクトの不完全な3Dスキャンのための完全な形状を参照することを目的としている。
現在のディープラーニングベースのアプローチは、トレーニングプロセスにおける大規模な完全な形状に依存しています。
本研究では,交通現場の車両に対して,完全なデータを持たない自己監視点クラウド補完手法(TraPCC)を提案する。
論文 参考訳（メタデータ） (2022-03-20T14:42:37Z) - Towards realistic symmetry-based completion of previously unseen point
clouds [0.43496401697112697]
対称オブジェクトに対してよく機能する新しいフレームワークを提案する。
学習ベースのアプローチとは異なり、提案するフレームワークはトレーニングデータを必要としない。
提案するフレームワークは,実世界の顧客スキャンのポイントクラウド完了において,最先端の効率性を実現することを実証する。
論文 参考訳（メタデータ） (2022-01-05T23:05:13Z) - Self-Supervised Point Cloud Completion via Inpainting [13.068234143496333]
この研究は、部分的な点雲を完成させることを学び、部分的な観測のみを使用して物体の幾何学を完全に理解することを目的としている。
我々は,完全かつ地味なアノテーションへのアクセスを前提とせず,部分的なスキャンでのみトレーニングを行う,自己教師付きポイントクラウド補完アルゴリズムであるPointPnCNetを提案する。
提案手法は,合成データセットであるShapeNetと実世界のLiDARデータセットであるSemantic KITTIの双方において,従来の教師なしおよび弱教師付き手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-11-21T00:03:11Z) - Salient Objects in Clutter [130.63976772770368]
本稿では,既存の正当性オブジェクト検出(SOD)データセットの重大な設計バイアスを特定し,対処する。
この設計バイアスは、既存のデータセットで評価した場合、最先端のSODモデルのパフォーマンスの飽和につながった。
我々は,新しい高品質データセットを提案し,前回のsaliencyベンチマークを更新する。
論文 参考訳（メタデータ） (2021-05-07T03:49:26Z) - REGRAD: A Large-Scale Relational Grasp Dataset for Safe and
Object-Specific Robotic Grasping in Clutter [52.117388513480435]
本稿では,オブジェクト間の関係のモデル化を継続するregradという新しいデータセットを提案する。
データセットは2D画像と3Dポイントクラウドの両方で収集されます。
ユーザは、好きなだけ多くのデータを生成するために、自由に独自のオブジェクトモデルをインポートできる。
論文 参考訳（メタデータ） (2021-04-29T05:31:21Z) - SESS: Self-Ensembling Semi-Supervised 3D Object Detection [138.80825169240302]
具体的には、ラベルのない新しい未知のデータに基づくネットワークの一般化を促進するための、徹底的な摂動スキームを設計する。
我々のSESSは、50%のラベル付きデータを用いて、最先端の完全教師付き手法と比較して、競争性能を達成している。
論文 参考訳（メタデータ） (2019-12-26T08:48:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。