論文の概要: Pointly-supervised 3D Scene Parsing with Viewpoint Bottleneck

• arxiv url: http://arxiv.org/abs/2109.08553v1
• Date: Fri, 17 Sep 2021 13:54:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-20 14:38:03.612340
• Title: Pointly-supervised 3D Scene Parsing with Viewpoint Bottleneck
• Title（参考訳）: 視点ボトルネックを用いた3次元立体解析
• Authors: Liyi Luo, Beiwen Tian, Hao Zhao and Guyue Zhou
• Abstract要約: 本稿では,ポイントワイズ・セマンティック・アノテーションが高価であることを考えると,極端にスパースなラベルを持つモデルを学ぶことの難しさに対処する。 本稿では,視点ボトルネックという自己監督型3次元表現学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 3.2790748006553643
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Semantic understanding of 3D point clouds is important for various robotics applications. Given that point-wise semantic annotation is expensive, in this paper, we address the challenge of learning models with extremely sparse labels. The core problem is how to leverage numerous unlabeled points. To this end, we propose a self-supervised 3D representation learning framework named viewpoint bottleneck. It optimizes a mutual-information based objective, which is applied on point clouds under different viewpoints. A principled analysis shows that viewpoint bottleneck leads to an elegant surrogate loss function that is suitable for large-scale point cloud data. Compared with former arts based upon contrastive learning, viewpoint bottleneck operates on the feature dimension instead of the sample dimension. This paradigm shift has several advantages: It is easy to implement and tune, does not need negative samples and performs better on our goal down-streaming task. We evaluate our method on the public benchmark ScanNet, under the pointly-supervised setting. We achieve the best quantitative results among comparable solutions. Meanwhile we provide an extensive qualitative inspection on various challenging scenes. They demonstrate that our models can produce fairly good scene parsing results for robotics applications. Our code, data and models will be made public.
• Abstract（参考訳）: 3Dポイントクラウドのセマンティック理解は、様々なロボティクス応用において重要である。 本稿では,ポイントワイズ・セマンティック・アノテーションが高価であることを考えると,非常に少ないラベルを持つモデル学習の課題に対処する。 主な問題は、多くの未ラベルのポイントをどのように活用するかである。 そこで本研究では,視点ボトルネックと呼ばれる自己教師型3次元表現学習フレームワークを提案する。 異なる視点の下で点雲に適用される相互情報に基づく目的を最適化する。 原則分析により,視点ボトルネックは大規模ポイントクラウドデータに適したエレガントなサーロゲート損失関数をもたらすことが示された。 対照的な学習に基づく以前の芸術と比較すると、視点のボトルネックはサンプル次元ではなく特徴次元に作用する。 このパラダイムシフトには、実装やチューニングが容易で、ネガティブなサンプルは必要とせず、目標のダウンストリームタスクでパフォーマンスが向上する、といういくつかのメリットがあります。 提案手法は,ScanNetの公開ベンチマーク上で,ポイント教師付き設定で評価する。 我々は同等の解の中で最良の量的結果を得る。 一方,様々な難易度場面の質的検証を行った。 彼らは、我々のモデルがロボティクスのアプリケーションにかなり良いシーン解析結果をもたらすことを実証した。 私たちのコード、データ、モデルは公開されます。

関連論文リスト

• Distilling Coarse-to-Fine Semantic Matching Knowledge for Weakly Supervised 3D Visual Grounding [58.924180772480504]
  3Dビジュアルグラウンドリングは、所定の文クエリに対応する3Dシーンでターゲットオブジェクトを見つけることを含む。 弱教師付きアノテーションを利用して3次元視覚的接地モデルを学ぶことを提案する。 オブジェクトの提案と文のセマンティックな類似性を粗大な方法で解析する新しいセマンティックマッチングモデルを設計する。
  論文  参考訳（メタデータ） (2023-07-18T13:49:49Z)
• ALSO: Automotive Lidar Self-supervision by Occupancy estimation [70.70557577874155]
  本稿では,ポイントクラウド上で動作している深層知覚モデルのバックボーンを事前学習するための自己教師型手法を提案する。 中心となる考え方は、3Dポイントがサンプリングされる表面の再構成であるプリテキストタスクでモデルをトレーニングすることである。 直感的には、もしネットワークがわずかな入力ポイントのみを考慮し、シーン表面を再構築できるなら、おそらく意味情報の断片をキャプチャする。
  論文  参考訳（メタデータ） (2022-12-12T13:10:19Z)
• VIBUS: Data-efficient 3D Scene Parsing with VIewpoint Bottleneck and Uncertainty-Spectrum Modeling [2.0624279915507047]
  3Dシーン解析モデルの訓練は、興味深い代替手段だ。 このタスクをデータ効率のよい3Dシーン解析と呼ぶ。 そこで本研究では,VIBUSという2段階の有効なフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-20T17:59:57Z)
• Let Images Give You More:Point Cloud Cross-Modal Training for Shape Analysis [43.13887916301742]
  本稿では、ポイントクラウド分析を促進するために、シンプルだが効果的なポイントクラウドクロスモダリティトレーニング(PointCMT)戦略を導入する。 ビューイメージから補助的知識を効果的に獲得するために,教師学生のための枠組みを開発し,知識蒸留問題としてクロスモーダル学習を定式化する。 我々は、魅力的なバックボーン、すなわちPointCMT、PointNet++、PointMLPを備えた様々なデータセットにおいて、大きな利益を検証した。
  論文  参考訳（メタデータ） (2022-10-09T09:35:22Z)
• Data Augmentation-free Unsupervised Learning for 3D Point Cloud Understanding [61.30276576646909]
  ソフトクラスタリング(SoftClu)と呼ばれる,移動可能な点レベルの特徴を学習するための,ポイントクラウドに対する拡張不要な教師なしアプローチを提案する。 我々は,クラスタに対するポイントのアフィリエイトをプロキシとして利用し,擬似ラベル予測タスクを通じて自己学習を可能にする。
  論文  参考訳（メタデータ） (2022-10-06T10:18:16Z)
• Unsupervised Representation Learning for 3D Point Cloud Data [66.92077180228634]
  我々は、教師なしのポイントクラウド学習に対して、シンプルで効果的なアプローチを提案する。 特に、原点雲の優れたコントラストバージョンを生成する非常に有用な変換を同定する。 本研究では,3次元オブジェクト分類,形状部分分割,シーン分割の3つの下流タスクについて実験を行った。
  論文  参考訳（メタデータ） (2021-10-13T10:52:45Z)
• Semi-supervised 3D Object Detection via Adaptive Pseudo-Labeling [18.209409027211404]
  3次元物体検出はコンピュータビジョンにおいて重要な課題である。 既存のほとんどのメソッドでは、多くの高品質な3Dアノテーションが必要です。 本研究では,屋外3次元物体検出タスクのための擬似ラベルに基づく新しい半教師付きフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-15T02:58:43Z)
• Point Discriminative Learning for Unsupervised Representation Learning on 3D Point Clouds [54.31515001741987]
  3次元点雲上での教師なし表現学習のための点識別学習法を提案する。 我々は、中間レベルとグローバルレベルの特徴に新しい点識別損失を課すことにより、これを達成した。 提案手法は強力な表現を学習し,新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-08-04T15:11:48Z)
• PointContrast: Unsupervised Pre-training for 3D Point Cloud Understanding [107.02479689909164]
  本研究では,3次元表現学習の研究を支援することを目的とする。 教師なし事前学習が3Dシーンの大規模なソースセットに与える影響を計測する。
  論文  参考訳（メタデータ） (2020-07-21T17:59:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。