論文の概要: 2D Feature Distillation for Weakly- and Semi-Supervised 3D Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2311.15605v1
• Date: Mon, 27 Nov 2023 07:57:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-28 16:39:47.172481
• Title: 2D Feature Distillation for Weakly- and Semi-Supervised 3D Semantic Segmentation
• Title（参考訳）: 3次元セマンティックセマンティックセグメンテーションにおける2次元機能蒸留
• Authors: Ozan Unal, Dengxin Dai, Lukas Hoyer, Yigit Baran Can, Luc Van Gool
• Abstract要約: 合成訓練された2Dセマンティックセマンティックセグメンテーションネットワークから高レベル特徴情報を蒸留するアイデアに基づく画像誘導ネットワーク(IGNet)を提案する。 IGNetは、ScribbleKITTI上の弱い教師付きLiDARセマンティックセマンティックセグメンテーションの最先端の結果を達成し、8%のラベル付きポイントしか持たない完全な教師付きトレーニングに対して最大98%のパフォーマンスを誇っている。
• 参考スコア（独自算出の注目度）: 92.17700318483745
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As 3D perception problems grow in popularity and the need for large-scale labeled datasets for LiDAR semantic segmentation increase, new methods arise that aim to reduce the necessity for dense annotations by employing weakly-supervised training. However these methods continue to show weak boundary estimation and high false negative rates for small objects and distant sparse regions. We argue that such weaknesses can be compensated by using RGB images which provide a denser representation of the scene. We propose an image-guidance network (IGNet) which builds upon the idea of distilling high level feature information from a domain adapted synthetically trained 2D semantic segmentation network. We further utilize a one-way contrastive learning scheme alongside a novel mixing strategy called FOVMix, to combat the horizontal field-of-view mismatch between the two sensors and enhance the effects of image guidance. IGNet achieves state-of-the-art results for weakly-supervised LiDAR semantic segmentation on ScribbleKITTI, boasting up to 98% relative performance to fully supervised training with only 8% labeled points, while introducing no additional annotation burden or computational/memory cost during inference. Furthermore, we show that our contributions also prove effective for semi-supervised training, where IGNet claims state-of-the-art results on both ScribbleKITTI and SemanticKITTI.
• Abstract（参考訳）: 3D知覚問題の人気が高まり、LiDARセマンティックセグメンテーションのための大規模ラベル付きデータセットの必要性が高まるにつれて、弱い教師付きトレーニングを用いることで、高密度アノテーションの必要性を減らすことを目的とした新たな手法が出現する。 しかし、これらの手法は小さい物体と離れた領域に対して弱い境界推定と高い偽陰性率を示し続けている。 このような弱点は、シーンのより密な表現を提供するrgbイメージを使用することで補うことができると主張する。 本稿では,合成学習された2次元意味セグメンテーションネットワークを用いた領域から高レベル特徴情報を蒸留するアイデアに基づくイメージガイドネットワーク(ignet)を提案する。 さらに,両センサ間の水平視野ミスマッチに対処し,画像誘導の効果を高めるために,FOVMixと呼ばれる新しい混合戦略とともに一方通行のコントラスト学習手法を利用する。 IGNetは、ScribbleKITTI上での弱い教師付きLiDARセマンティックセマンティックセグメンテーションの最先端の結果を達成し、8%のラベル付きポイントで完全に教師付きトレーニングに最大98%の性能を誇った。 さらに,本研究は,ScribbleKITTIとSemanticKITTIの双方に対してIGNetが最先端の成果を主張する半教師付きトレーニングにも有効であることを示す。

関連論文リスト

• Weakly Supervised LiDAR Semantic Segmentation via Scatter Image Annotation [38.715754110667916]
  画像アノテーションを用いたLiDARセマンティックセマンティックセマンティックセマンティクスを実装した。 また、パフォーマンスギャップを減らすための3つの重要な戦略を含むネットワークであるScatterNetを提案する。 本手法は,完全教師付き手法の95%以上の性能を達成するために,ラベル付き点の0.02%未満を必要とする。
  論文  参考訳（メタデータ） (2024-04-19T13:01:30Z)
• 3D Medical Image Segmentation with Sparse Annotation via Cross-Teaching between 3D and 2D Networks [26.29122638813974]
  本稿では,3次元ネットワークと2次元ネットワークの相互学習を用いて,スパースアノテーションから頑健に学習できるフレームワークを提案する。 MMWHSデータセットに対する実験結果から,本手法は最先端(SOTA)半教師付きセグメンテーション法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-07-30T15:26:17Z)
• On Triangulation as a Form of Self-Supervision for 3D Human Pose Estimation [57.766049538913926]
  ラベル付きデータが豊富である場合, 単一画像からの3次元ポーズ推定に対する改良されたアプローチは, 極めて効果的である。 最近の注目の多くは、セミと(あるいは)弱い教師付き学習に移行している。 本稿では,多視点の幾何学的制約を,識別可能な三角測量を用いて課し,ラベルがない場合の自己監督の形式として用いることを提案する。
  論文  参考訳（メタデータ） (2022-03-29T19:11:54Z)
• Activation to Saliency: Forming High-Quality Labels for Unsupervised Salient Object Detection [54.92703325989853]
  本稿では,高品質なサリエンシキューを効果的に生成する2段階アクティベーション・ツー・サリエンシ(A2S)フレームワークを提案する。 トレーニングプロセス全体において、私たちのフレームワークにヒューマンアノテーションは関与していません。 本フレームワークは,既存のUSOD法と比較して高い性能を示した。
  論文  参考訳（メタデータ） (2021-12-07T11:54:06Z)
• Guided Point Contrastive Learning for Semi-supervised Point Cloud Semantic Segmentation [90.2445084743881]
  そこで本研究では,モデル性能を向上させるために,未ラベルの点群をトレーニングに採用するための半教師付き点群セマンティックセマンティックセマンティックセマンティクスを提案する。 近年の自己監督型タスクのコントラスト損失に触発されて,特徴表現とモデル一般化能力を高めるためのガイド付きポイントコントラスト損失を提案する。
  論文  参考訳（メタデータ） (2021-10-15T16:38:54Z)
• Unsupervised Scale-consistent Depth Learning from Video [131.3074342883371]
  本研究では,単眼深度推定器SC-Depthを提案する。 スケール一貫性予測の能力により,我々の単分子学習深層ネットワークは簡単にORB-SLAM2システムに統合可能であることを示す。 提案したハイブリッドPseudo-RGBD SLAMは、KITTIにおいて魅力的な結果を示し、追加のトレーニングなしでKAISTデータセットにうまく一般化する。
  論文  参考訳（メタデータ） (2021-05-25T02:17:56Z)
• Semi-supervised Left Atrium Segmentation with Mutual Consistency Training [60.59108570938163]
  3次元MR画像からの半教師付き左房分割のための新しいMultual Consistency Network(MC-Net)を提案する。 我々のMC-Netは1つのエンコーダと2つのわずかに異なるデコーダから構成されており、2つのデコーダの予測誤差は教師なしの損失として変換される。 我々は,公開左心房(la)データベース上でmc-netを評価し,ラベルなしデータを効果的に活用することで印象的な性能向上を実現する。
  論文  参考訳（メタデータ） (2021-03-04T09:34:32Z)
• Semantics-Driven Unsupervised Learning for Monocular Depth and Ego-Motion Estimation [33.83396613039467]
  ビデオからの単眼深度と自我運動推定のためのセマンティクス駆動型教師なし学習手法を提案する。 近年の教師なし学習法では, 合成ビューと実画像の光度誤差を指導信号として用いている。
  論文  参考訳（メタデータ） (2020-06-08T05:55:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。