論文の概要: Cross-modal Learning for Image-Guided Point Cloud Shape Completion
- arxiv url: http://arxiv.org/abs/2209.09552v1
- Date: Tue, 20 Sep 2022 08:37:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-21 19:22:11.346758
- Title: Cross-modal Learning for Image-Guided Point Cloud Shape Completion
- Title（参考訳）: 画像誘導点雲形状完了のためのクロスモーダル学習
- Authors: Emanuele Aiello, Diego Valsesia, Enrico Magli
- Abstract要約: 局所化潜在空間における2つのモダリティからの情報をどのように組み合わせることができるかを示す。
また、補助画像が監視信号を提供するような、弱い教師付き設定についても検討する。
実験は、一様および多様の完成のための最先端の教師付き手法よりも大幅に改善された。
- 参考スコア（独自算出の注目度）: 23.779985842891705
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper we explore the recent topic of point cloud completion, guided
by an auxiliary image. We show how it is possible to effectively combine the
information from the two modalities in a localized latent space, thus avoiding
the need for complex point cloud reconstruction methods from single views used
by the state-of-the-art. We also investigate a novel weakly-supervised setting
where the auxiliary image provides a supervisory signal to the training process
by using a differentiable renderer on the completed point cloud to measure
fidelity in the image space. Experiments show significant improvements over
state-of-the-art supervised methods for both unimodal and multimodal
completion. We also show the effectiveness of the weakly-supervised approach
which outperforms a number of supervised methods and is competitive with the
latest supervised models only exploiting point cloud information.
- Abstract（参考訳）: 本稿では,補助画像によるポイントクラウドの完成に関する最近の話題について考察する。
本稿では,局所化された潜在空間における2つのモダリティからの情報を効果的に結合できることを示す。
また,画像空間の忠実度を測定するために,完成点雲上の微分可能レンダラを用いて,補助画像が学習プロセスに監視信号を提供する,新たな弱教師付き設定について検討する。
実験は、一様および多様の完成のための最先端の教師付き手法よりも大幅に改善された。
また,複数の教師付き手法を上回り,ポイントクラウド情報のみを利用する最新の教師付きモデルと競合する弱い教師付きアプローチの有効性を示す。
関連論文リスト
- HVDistill: Transferring Knowledge from Images to Point Clouds via Unsupervised Hybrid-View Distillation [106.09886920774002]
本稿では,HVDistillと呼ばれるハイブリッドビューに基づく知識蒸留フレームワークを提案する。
提案手法は,スクラッチからトレーニングしたベースラインに対して一貫した改善を実現し,既存のスキームを大幅に上回っている。
論文 参考訳（メタデータ） (2024-03-18T14:18:08Z) - Cross-Modal Information-Guided Network using Contrastive Learning for
Point Cloud Registration [17.420425069785946]
本稿では,ポイントクラウド登録のための新しいCross-Modal Information-Guided Network(CMIGNet)を提案する。
まず,点雲から投影された画像を取り込んで,アテンション機構を用いてモーダルな特徴を融合する。
コントラスト学習戦略は2つあり、すなわち、コントラスト学習とクロスモーダルコントラスト学習が重なり合う。
論文 参考訳（メタデータ） (2023-11-02T12:56:47Z) - Point Contrastive Prediction with Semantic Clustering for
Self-Supervised Learning on Point Cloud Videos [71.20376514273367]
本稿では,オブジェクト中心およびシーン中心のデータを対象とした一元的クラウドビデオ自己教師型学習フレームワークを提案する。
本手法は、広範囲の下流タスクにおいて教師付きタスクよりも優れる。
論文 参考訳（メタデータ） (2023-08-18T02:17:47Z) - Few-Shot Point Cloud Semantic Segmentation via Contrastive
Self-Supervision and Multi-Resolution Attention [6.350163959194903]
数発の学習事前学習のための対照的な自己超越フレームワークを提案する。
具体的には、3Dポイントクラウドのための学習可能な拡張子を用いて、新しいコントラスト学習アプローチを実装した。
最接近点と最遠点の両方を用いて多分解能アテンションモジュールを開発し,局所点と大域点の情報をより効率的に抽出する。
論文 参考訳（メタデータ） (2023-02-21T07:59:31Z) - Single Stage Virtual Try-on via Deformable Attention Flows [51.70606454288168]
仮想試行は、ショップ内服と基準人物画像が与えられた写真リアルなフィッティング結果を生成することを目的としている。
マルチフロー推定に変形性アテンションスキームを適用した,変形性アテンションフロー(DAFlow)を新たに開発した。
提案手法は,定性的かつ定量的に最先端の性能を実現する。
論文 参考訳（メタデータ） (2022-07-19T10:01:31Z) - Self-Supervised Arbitrary-Scale Point Clouds Upsampling via Implicit
Neural Representation [79.60988242843437]
そこで本研究では,自己監督型および倍率フレキシブルな点雲を同時にアップサンプリングする手法を提案する。
実験結果から, 自己教師あり学習に基づく手法は, 教師あり学習に基づく手法よりも, 競争力や性能が向上することが示された。
論文 参考訳（メタデータ） (2022-04-18T07:18:25Z) - Self-Supervised Feature Learning from Partial Point Clouds via Pose
Disentanglement [35.404285596482175]
部分点雲から情報表現を学習するための,新たな自己教師型フレームワークを提案する。
コンテンツとポーズ属性の両方を含むLiDARでスキャンされた部分点雲を利用する。
提案手法は,既存の自己教師付き手法に勝るだけでなく,合成および実世界のデータセット間でのより優れた一般化性を示す。
論文 参考訳（メタデータ） (2022-01-09T14:12:50Z) - Towards Unsupervised Sketch-based Image Retrieval [126.77787336692802]
本稿では,教師なし表現学習とスケッチ写真領域アライメントを同時に行う新しいフレームワークを提案する。
このフレームワークは,新しい教師なし設定では優れた性能を達成し,ゼロショット設定では最先端以上の性能を発揮する。
論文 参考訳（メタデータ） (2021-05-18T02:38:22Z) - View-Guided Point Cloud Completion [43.139758470826806]
ViPC(ビューガイドポイントクラウド補完)は、欠落している重要なグローバル構造情報を追加のシングルビュー画像から取得します。
提案手法は,新しい大規模データセットにおいて,既存ソリューションよりも優れた結果が得られる。
論文 参考訳（メタデータ） (2021-04-12T17:35:45Z) - MAF: Multimodal Alignment Framework for Weakly-Supervised Phrase
Grounding [74.33171794972688]
本稿では,詳細な視覚表現と視覚認識言語表現を活用することで,句オブジェクトの関連性をモデル化するアルゴリズムを提案する。
広く採用されているFlickr30kデータセットで実施された実験は、既存の弱教師付き手法よりも大幅に改善されている。
論文 参考訳（メタデータ） (2020-10-12T00:43:52Z) - Single Image Cloud Detection via Multi-Image Fusion [23.641624507709274]
アルゴリズム開発における主な課題は、注釈付きトレーニングデータを集めるコストである。
マルチイメージフュージョンの最近の進歩が、シングルイメージクラウド検出のブートストラップにどのように活用できるかを実証する。
我々は、ランドカバー用のピクセルごとのセマンティックラベリングとともに、Sentinel-2画像の大規模なデータセットを収集した。
論文 参考訳（メタデータ） (2020-07-29T22:52:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。