論文の概要: PartDistill: 3D Shape Part Segmentation by Vision-Language Model Distillation

• arxiv url: http://arxiv.org/abs/2312.04016v2
• Date: Tue, 16 Apr 2024 12:04:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-17 23:45:27.857252
• Title: PartDistill: 3D Shape Part Segmentation by Vision-Language Model Distillation
• Title（参考訳）: Part Distill: 3D Shape Part Segmentation by Vision-Language Model Distillation
• Authors: Ardian Umam, Cheng-Kun Yang, Min-Hung Chen, Jen-Hui Chuang, Yen-Yu Lin,
• Abstract要約: PartDistillは、視覚言語モデルから2Dの知識を伝達し、3D形状部分のセグメンテーションを促進することを目的としている。 PartDistillは、VLMを使って2D予測を行う教師ネットワークと、2D予測から学習する学生ネットワークで構成されている。 前者フォワードが学生ネットワークに2次元予測を蒸留するフレームワーク内で双方向蒸留を行う。
• 参考スコア（独自算出の注目度）: 20.62672097850052
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes a cross-modal distillation framework, PartDistill, which transfers 2D knowledge from vision-language models (VLMs) to facilitate 3D shape part segmentation. PartDistill addresses three major challenges in this task: the lack of 3D segmentation in invisible or undetected regions in the 2D projections, inconsistent 2D predictions by VLMs, and the lack of knowledge accumulation across different 3D shapes. PartDistill consists of a teacher network that uses a VLM to make 2D predictions and a student network that learns from the 2D predictions while extracting geometrical features from multiple 3D shapes to carry out 3D part segmentation. A bi-directional distillation, including forward and backward distillations, is carried out within the framework, where the former forward distills the 2D predictions to the student network, and the latter improves the quality of the 2D predictions, which subsequently enhances the final 3D segmentation. Moreover, PartDistill can exploit generative models that facilitate effortless 3D shape creation for generating knowledge sources to be distilled. Through extensive experiments, PartDistill boosts the existing methods with substantial margins on widely used ShapeNetPart and PartNetE datasets, by more than 15% and 12% higher mIoU scores, respectively. The code for this work is available at https://github.com/ardianumam/PartDistill.
• Abstract（参考訳）: 本稿では、視覚言語モデル(VLM)から2次元知識を伝達し、3次元形状分割を容易にするクロスモーダル蒸留フレームワークPartDistillを提案する。 PartDistillは2次元投影における見えない領域や検出されていない領域における3Dセグメンテーションの欠如、VLMによる矛盾した2D予測、異なる3次元形状にまたがる知識の欠如、という3つの課題に対処する。 PartDistillは、VLMを用いて2次元予測を行う教師ネットワークと、複数の3次元形状から幾何学的特徴を抽出して3次元分割を行う学生ネットワークで構成されている。 前者の前方が学生ネットワークに2D予測を蒸留し、後者が2D予測の品質を改善し、最終の3Dセグメンテーションを強化する。 さらに、PartDistillは、蒸留する知識ソースを生成するために、無駄な3D形状の作成を容易にする生成モデルを利用することができる。 広範な実験を通じて、PartDistillは、広く使用されているShapeNetPartとPartNetEデータセットに対して、それぞれ15%以上のmIoUスコアと12%以上のマージンを持つ既存の方法を強化した。 この作業のコードはhttps://github.com/ardianumam/PartDistill.comで公開されている。

関連論文リスト

• Open Vocabulary 3D Scene Understanding via Geometry Guided Self-Distillation [67.36775428466045]
  2次元事前学習モデルから優れた3次元表現を学習するための幾何学ガイド自己蒸留(GGSD)を提案する。 3D表現の利点により、蒸留した3D学生モデルの性能は2D教師モデルよりも大幅に上回ることができる。
  論文  参考訳（メタデータ） (2024-07-18T10:13:56Z)
• Multi-View Representation is What You Need for Point-Cloud Pre-Training [22.55455166875263]
  本稿では,事前学習した2次元ネットワークを利用して3次元表現を学習するポイントクラウド事前学習手法を提案する。 我々は,新しい2次元知識伝達損失の助けを借りて,3次元特徴抽出ネットワークを訓練する。 実験結果から,事前学習したモデルを様々な下流タスクに転送できることが判明した。
  論文  参考訳（メタデータ） (2023-06-05T03:14:54Z)
• PartSLIP: Low-Shot Part Segmentation for 3D Point Clouds via Pretrained Image-Language Models [56.324516906160234]
  一般化可能な3D部分分割は重要だが、ビジョンとロボティクスでは難しい。 本稿では,事前学習した画像言語モデルGLIPを利用して,3次元点雲の低ショット部分分割法を提案する。 我々は2Dから3Dへの豊富な知識を、ポイントクラウドレンダリングにおけるGLIPに基づく部分検出と新しい2D-to-3Dラベルリフトアルゴリズムにより転送する。
  論文  参考訳（メタデータ） (2022-12-03T06:59:01Z)
• MvDeCor: Multi-view Dense Correspondence Learning for Fine-grained 3D Segmentation [91.6658845016214]
  そこで本研究では,2次元領域における自己教師型手法を,微細な3次元形状分割作業に活用することを提案する。 複数のビューから3次元形状を描画し、コントラスト学習フレームワーク内に密接な対応学習タスクを設置する。 その結果、学習された2次元表現はビュー不変であり、幾何学的に一貫性がある。
  論文  参考訳（メタデータ） (2022-08-18T00:48:15Z)
• Cylindrical and Asymmetrical 3D Convolution Networks for LiDAR-based Perception [122.53774221136193]
  運転時のLiDARに基づく認識のための最先端の手法は、しばしば点雲を2D空間に投影し、2D畳み込みによって処理する。 自然な対策として、3Dボクセル化と3D畳み込みネットワークを利用する方法がある。 本研究では,3次元幾何学的パターンを探索するために,円筒状分割と非対称な3次元畳み込みネットワークを設計する,屋外LiDARセグメンテーションのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-12T06:25:11Z)
• Multi-Modality Task Cascade for 3D Object Detection [22.131228757850373]
  多くの手法は2つのモデルを個別に訓練し、単純な特徴結合を用いて3Dセンサーデータを表現している。 本稿では,3次元ボックスの提案を利用して2次元セグメンテーション予測を改善する新しいマルチモードタスクカスケードネットワーク(MTC-RCNN)を提案する。 2段階の3次元モジュール間の2次元ネットワークを組み込むことで,2次元および3次元のタスク性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2021-07-08T17:55:01Z)
• 3D-to-2D Distillation for Indoor Scene Parsing [78.36781565047656]
  大規模3次元データリポジトリから抽出した3次元特徴を有効活用し,RGB画像から抽出した2次元特徴を向上する手法を提案する。 まず,事前学習した3Dネットワークから3D知識を抽出して2Dネットワークを監督し,トレーニング中の2D特徴からシミュレーションされた3D特徴を学習する。 次に,2次元の正規化方式を設計し,2次元特徴と3次元特徴のキャリブレーションを行った。 第3に,非ペアの3dデータを用いたトレーニングのフレームワークを拡張するために,意味を意識した対向的トレーニングモデルを設計した。
  論文  参考訳（メタデータ） (2021-04-06T02:22:24Z)
• Cylinder3D: An Effective 3D Framework for Driving-scene LiDAR Semantic Segmentation [87.54570024320354]
  大規模運転シーンのLiDARセマンティックセマンティックセグメンテーションのための最先端の手法は、しばしば2D空間の点雲を投影して処理する。 3D-to-2Dプロジェクションの問題に取り組むための簡単な解決策は、3D表現を保ち、3D空間の点を処理することである。 我々は3次元シリンダー分割と3次元シリンダー畳み込みに基づくフレームワークをCylinder3Dとして開発し,3次元トポロジの関係と運転シーンの点雲の構造を利用する。
  論文  参考訳（メタデータ） (2020-08-04T13:56:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。