論文の概要: MVTN: Learning Multi-View Transformations for 3D Understanding

• arxiv url: http://arxiv.org/abs/2212.13462v2
• Date: Thu, 6 Jun 2024 15:12:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-08 01:19:21.641014
• Title: MVTN: Learning Multi-View Transformations for 3D Understanding
• Title（参考訳）: MVTN:3D理解のためのマルチビュー変換学習
• Authors: Abdullah Hamdi, Faisal AlZahrani, Silvio Giancola, Bernard Ghanem,
• Abstract要約: 本稿では,3次元形状認識のための最適視点を決定するために,可変レンダリングを用いたマルチビュー変換ネットワーク(MVTN)を提案する。 MVTNは3次元形状認識のためのマルチビューネットワークでエンドツーエンドに訓練することができる。 提案手法は,複数のベンチマークによる3次元分類と形状検索における最先端性能を示す。
• 参考スコア（独自算出の注目度）: 60.15214023270087
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-view projection techniques have shown themselves to be highly effective in achieving top-performing results in the recognition of 3D shapes. These methods involve learning how to combine information from multiple view-points. However, the camera view-points from which these views are obtained are often fixed for all shapes. To overcome the static nature of current multi-view techniques, we propose learning these view-points. Specifically, we introduce the Multi-View Transformation Network (MVTN), which uses differentiable rendering to determine optimal view-points for 3D shape recognition. As a result, MVTN can be trained end-to-end with any multi-view network for 3D shape classification. We integrate MVTN into a novel adaptive multi-view pipeline that is capable of rendering both 3D meshes and point clouds. Our approach demonstrates state-of-the-art performance in 3D classification and shape retrieval on several benchmarks (ModelNet40, ScanObjectNN, ShapeNet Core55). Further analysis indicates that our approach exhibits improved robustness to occlusion compared to other methods. We also investigate additional aspects of MVTN, such as 2D pretraining and its use for segmentation. To support further research in this area, we have released MVTorch, a PyTorch library for 3D understanding and generation using multi-view projections.
• Abstract（参考訳）: マルチビュー投影技術は, 3次元形状の認識において, 最高性能の達成に極めて有効であることが示されている。 これらの方法は、複数の視点から情報を組み合わせる方法を学ぶことを含む。 しかし、これらのビューが得られたカメラビューポイントは、全ての形状に対して固定されることが多い。 現状のマルチビュー技術の静的性を克服するために,これらの視点の学習を提案する。 具体的には、3次元形状認識のための最適な視点を決定するために、微分レンダリングを用いたマルチビュー変換ネットワーク(MVTN)を導入する。 その結果、MVTNは3次元形状分類のためのマルチビューネットワークでエンドツーエンドに訓練することができる。 MVTNを3Dメッシュとポイントクラウドの両方をレンダリングできる新しい適応型マルチビューパイプラインに統合する。 提案手法は,複数のベンチマーク(ModelNet40,ScanObjectNN,ShapeNet Core55)上での3次元分類と形状検索における最先端性能を示す。 以上の結果から, 本手法は他の方法と比較して, 閉塞に対する堅牢性の向上が示唆された。 また,2次元プレトレーニングやセグメンテーションなど,MVTNのさらなる側面についても検討した。 この領域のさらなる研究を支援するために、多視点投影を用いた3次元理解および生成のためのPyTorchライブラリであるMVTorchをリリースした。

関連論文リスト

• Viewpoint Equivariance for Multi-View 3D Object Detection [35.4090127133834]
  最先端の手法は多視点カメラ入力からのオブジェクト境界ボックスの推論と復号化に重点を置いている。 本稿では,3次元多視点幾何を利用した新しい3次元オブジェクト検出フレームワークであるVEDetを紹介する。
  論文  参考訳（メタデータ） (2023-03-25T19:56:41Z)
• MvDeCor: Multi-view Dense Correspondence Learning for Fine-grained 3D Segmentation [91.6658845016214]
  そこで本研究では,2次元領域における自己教師型手法を,微細な3次元形状分割作業に活用することを提案する。 複数のビューから3次元形状を描画し、コントラスト学習フレームワーク内に密接な対応学習タスクを設置する。 その結果、学習された2次元表現はビュー不変であり、幾何学的に一貫性がある。
  論文  参考訳（メタデータ） (2022-08-18T00:48:15Z)
• PointMCD: Boosting Deep Point Cloud Encoders via Multi-view Cross-modal Distillation for 3D Shape Recognition [55.38462937452363]
  本稿では,教師として事前訓練されたディープイメージエンコーダ,学生としてディープポイントエンコーダを含む多視点クロスモーダル蒸留アーキテクチャを提案する。 複数ビューの視覚的および幾何学的記述子をペアワイズにアライメントすることで、より強力なディープポイントエンコーダを、疲労や複雑なネットワーク修正を伴わずに得ることができる。
  論文  参考訳（メタデータ） (2022-07-07T07:23:20Z)
• Voint Cloud: Multi-View Point Cloud Representation for 3D Understanding [80.04281842702294]
  本稿では,複数の視点から抽出した特徴の集合として,各3次元点を表す多視点クラウド(Voint Cloud)の概念を紹介する。 この新しい3次元Vointクラウド表現は、3Dポイントクラウド表現のコンパクト性と、マルチビュー表現の自然なビュー認識性を組み合わせたものである。 理論的に確立された機能を持つVointニューラルネットワーク(VointNet)をデプロイし,Voint空間の表現を学習する。
  論文  参考訳（メタデータ） (2021-11-30T13:08:19Z)
• Self-Supervised Multi-View Learning via Auto-Encoding 3D Transformations [61.870882736758624]
  MV-TER (Multi-View Transformation Equivariant Representations) を学習するための新しい自己監督型パラダイムを提案する。 具体的には、3Dオブジェクト上で3D変換を行い、投影による変換前後の複数のビューを取得する。 次に、変換前後の複数のビューの融合特徴表現から3d変換パラメータをデコードすることにより、内在的な3dオブジェクト表現をキャプチャする表現を自己学習する。
  論文  参考訳（メタデータ） (2021-03-01T06:24:17Z)
• MVTN: Multi-View Transformation Network for 3D Shape Recognition [80.34385402179852]
  本稿では,3次元形状認識のための最適視点を回帰するマルチビュー変換ネットワーク(MVTN)を提案する。 MVTNは3次元形状分類のためのマルチビューネットワークと共に、エンドツーエンドで訓練することができる。 MVTNは3次元形状分類と3次元形状検索のタスクにおいて、余分な訓練監督を必要とせず、明らかな性能向上を示す。
  論文  参考訳（メタデータ） (2020-11-26T11:33:53Z)
• Virtual Multi-view Fusion for 3D Semantic Segmentation [11.259694096475766]
  仮想ビューにより,従来のマルチビュー手法よりも2次元セマンティックセグメンテーションネットワークを効果的に学習できることを示す。 画素ごとの2次元予測を3次元面に集約すると,仮想多視点融合法により,より優れた3次元セマンティックセマンティックセマンティクス結果が得られる。
  論文  参考訳（メタデータ） (2020-07-26T14:46:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。