論文の概要: Generalized 3D Self-supervised Learning Framework via Prompted Foreground-Aware Feature Contrast

• arxiv url: http://arxiv.org/abs/2303.06388v4
• Date: Fri, 1 Dec 2023 15:52:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-04 18:53:12.136532
• Title: Generalized 3D Self-supervised Learning Framework via Prompted Foreground-Aware Feature Contrast
• Title（参考訳）: プロンプテッドフォアグラウンド・アウェア特徴コントラストを用いた汎用3次元自己教師型学習フレームワーク
• Authors: Kangcheng Liu, Xinhu Zheng, Chaoqun Wang, Kai Tang, Ming Liu, Baoquan Chen
• Abstract要約: 本研究では,事前学習において,より効率的なポイントクラウド表現を学習するための,FAC++フレームワークの汎用的フォアグラウンド対応機能コントラストを提案する。 我々は,3次元セグメント/オブジェクト間の過度な識別を防止し,前景と背景の区別を促進する。 コントラストペアは,事前訓練中に前景領域間の明瞭な対応を捉える。
• 参考スコア（独自算出の注目度）: 38.34558139249363
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Contrastive learning has recently demonstrated great potential for unsupervised pre-training in 3D scene understanding tasks. However, most existing work randomly selects point features as anchors while building contrast, leading to a clear bias toward background points that often dominate in 3D scenes. Also, object awareness and foreground-to-background discrimination are neglected, making contrastive learning less effective. To tackle these issues, we propose a general foreground-aware feature contrast FAC++ framework to learn more effective point cloud representations in pre-training. FAC++ consists of two novel contrast designs to construct more effective and informative contrast pairs. The first is building positive pairs within the same foreground segment where points tend to have the same semantics. The second is that we prevent over-discrimination between 3D segments/objects and encourage grouped foreground-to-background distinctions at the segment level with adaptive feature learning in a Siamese correspondence network, which adaptively learns feature correlations within and across point cloud views effectively. Moreover, we have designed the foreground-prompted regional sampling to enhance more balanced foreground-aware learning, which is termed FAC++. Visualization with point activation maps shows that our contrast pairs capture clear correspondences among foreground regions during pre-training. Quantitative experiments also show that FAC++ achieves superior knowledge transfer and data efficiency in various downstream 3D semantic segmentation, instance segmentation as well as object detection tasks. All codes, data, and models are available at: https://github.com/KangchengLiu/FAC_Foreground_Aware_Contrast
• Abstract（参考訳）: コントラスト学習は3次元シーン理解タスクにおける教師なし事前学習に大きな可能性を示した。 しかし、既存のほとんどの作業は、コントラストを構築しながらアンカーとしてポイントの特徴をランダムに選び、しばしば3Dシーンで支配される背景点に対して明確なバイアスをもたらす。 また、物体認識と前景間識別は無視され、対照的な学習がより効果的になる。 これらの課題に対処するために,事前学習においてより効果的なポイントクラウド表現を学習するためのFAC++フレームワークを提案する。 FAC++は2つの新しいコントラスト設計で構成され、より効果的で情報的なコントラストペアを構築する。 1つは、ポイントが同じ意味を持つ傾向にある同じ前景セグメント内で正のペアを構築することである。 2つめは、3dセグメント/オブジェクト間の過度な区別を防止し、ポイントクラウドビュー内とポイントクラウドビュー間の特徴相関を効果的に学習するsiamese対応ネットワークにおける適応的特徴学習により、セグメントレベルでの前景-後景の区別をグループ化する。 さらに,FAC++と呼ばれる,よりバランスの取れたフォアグラウンド認識学習を強化するために,フォアグラウンド型地域サンプリングを設計した。 点アクティベーションマップを用いた可視化により, コントラストペアが事前学習中に前景領域間の明確な対応を捉えることを示す。 定量的実験により、FAC++は様々な下流3次元セマンティックセグメンテーション、インスタンスセグメンテーション、およびオブジェクト検出タスクにおいて、優れた知識伝達とデータ効率を達成することが示された。 すべてのコード、データ、およびモデルは、https://github.com/kangchengliu/fac_foreground_aware_contrastで利用可能である。

関連論文リスト

• Self-supervised Learning of LiDAR 3D Point Clouds via 2D-3D Neural Calibration [99.44264155894376]
  本稿では,自律走行シーンにおける3次元知覚を高めるための,新しい自己教師型学習フレームワークを提案する。 本稿では,画像とポイントクラウドデータの領域ギャップを埋めるために,学習可能な変換アライメントを提案する。 我々は剛性変換を推定するために密度の高い2D-3D対応を確立する。
  論文  参考訳（メタデータ） (2024-01-23T02:41:06Z)
• Cross-Modal Information-Guided Network using Contrastive Learning for Point Cloud Registration [17.420425069785946]
  本稿では,ポイントクラウド登録のための新しいCross-Modal Information-Guided Network(CMIGNet)を提案する。 まず,点雲から投影された画像を取り込んで,アテンション機構を用いてモーダルな特徴を融合する。 コントラスト学習戦略は2つあり、すなわち、コントラスト学習とクロスモーダルコントラスト学習が重なり合う。
  論文  参考訳（メタデータ） (2023-11-02T12:56:47Z)
• Point-GCC: Universal Self-supervised 3D Scene Pre-training via Geometry-Color Contrast [9.14535402695962]
  点雲によって提供される幾何学と色情報は、3Dシーンの理解に不可欠である。 我々はGeometry-Color Contrast (Point-GCC) を用いたユニバーサル3次元シーン事前学習フレームワークを提案する。 ポイントGCCは、シムズネットワークを用いて幾何学と色情報を整列する。
  論文  参考訳（メタデータ） (2023-05-31T07:44:03Z)
• Masked Scene Contrast: A Scalable Framework for Unsupervised 3D Representation Learning [37.155772047656114]
  Masked Scene Contrast (MSC)フレームワークは、より効率的かつ効果的に包括的な3D表現を抽出することができる。 MSCはまた、複数のデータセットにわたる大規模な3D事前トレーニングを可能にする。
  論文  参考訳（メタデータ） (2023-03-24T17:59:58Z)
• CLIP2Scene: Towards Label-efficient 3D Scene Understanding by CLIP [55.864132158596206]
  Contrastive Language-Image Pre-Training (CLIP) は、2次元ゼロショットおよび少数ショット学習において有望な結果をもたらす。 私たちは,CLIP知識が3Dシーン理解にどう役立つか,最初の試みを行う。 筆者らは,CLIPの知識を2次元画像テキスト事前学習モデルから3次元ポイント・クラウド・ネットワークに転送するフレームワークであるCLIP2Sceneを提案する。
  論文  参考訳（メタデータ） (2023-01-12T10:42:39Z)
• CrossPoint: Self-Supervised Cross-Modal Contrastive Learning for 3D Point Cloud Understanding [2.8661021832561757]
  CrossPointは、転送可能な3Dポイントクラウド表現を学習するための、単純なクロスモーダルコントラスト学習アプローチである。 提案手法は,従来の教師なし学習手法よりも,3次元オブジェクト分類やセグメンテーションなど,さまざまな下流タスクにおいて優れていた。
  論文  参考訳（メタデータ） (2022-03-01T18:59:01Z)
• Unsupervised Representation Learning for 3D Point Cloud Data [66.92077180228634]
  我々は、教師なしのポイントクラウド学習に対して、シンプルで効果的なアプローチを提案する。 特に、原点雲の優れたコントラストバージョンを生成する非常に有用な変換を同定する。 本研究では,3次元オブジェクト分類,形状部分分割,シーン分割の3つの下流タスクについて実験を行った。
  論文  参考訳（メタデータ） (2021-10-13T10:52:45Z)
• Object-aware Contrastive Learning for Debiased Scene Representation [74.30741492814327]
  オブジェクトを自己教師型でローカライズする,オブジェクト認識型コントラスト学習フレームワークを開発した。 また、コントラCAM、オブジェクト認識型乱作、背景混合に基づく2つのデータ拡張を導入し、コントラスト型自己教師型学習における文脈バイアスと背景バイアスを低減した。
  論文  参考訳（メタデータ） (2021-07-30T19:24:07Z)
• PointContrast: Unsupervised Pre-training for 3D Point Cloud Understanding [107.02479689909164]
  本研究では,3次元表現学習の研究を支援することを目的とする。 教師なし事前学習が3Dシーンの大規模なソースセットに与える影響を計測する。
  論文  参考訳（メタデータ） (2020-07-21T17:59:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。