論文の概要: Three Ways to Improve Semantic Segmentation with Self-Supervised Depth Estimation

• arxiv url: http://arxiv.org/abs/2012.10782v2
• Date: Mon, 5 Apr 2021 09:46:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-01 11:10:24.758981
• Title: Three Ways to Improve Semantic Segmentation with Self-Supervised Depth Estimation
• Title（参考訳）: 自己監督深度推定によるセマンティックセグメンテーションを改善する3つの方法
• Authors: Lukas Hoyer, Dengxin Dai, Yuhua Chen, Adrian K\"oring, Suman Saha, Luc Van Gool
• Abstract要約: ラベルなし画像列からの自己教師付き単眼深度推定により強化された半教師付きセマンティックセマンティックセマンティックセマンティクスのフレームワークを提案する。 提案されたモデルをCityscapesデータセット上で検証する。
• 参考スコア（独自算出の注目度）: 90.87105131054419
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training deep networks for semantic segmentation requires large amounts of labeled training data, which presents a major challenge in practice, as labeling segmentation masks is a highly labor-intensive process. To address this issue, we present a framework for semi-supervised semantic segmentation, which is enhanced by self-supervised monocular depth estimation from unlabeled image sequences. In particular, we propose three key contributions: (1) We transfer knowledge from features learned during self-supervised depth estimation to semantic segmentation, (2) we implement a strong data augmentation by blending images and labels using the geometry of the scene, and (3) we utilize the depth feature diversity as well as the level of difficulty of learning depth in a student-teacher framework to select the most useful samples to be annotated for semantic segmentation. We validate the proposed model on the Cityscapes dataset, where all three modules demonstrate significant performance gains, and we achieve state-of-the-art results for semi-supervised semantic segmentation. The implementation is available at https://github.com/lhoyer/improving_segmentation_with_selfsupervised_depth.
• Abstract（参考訳）: セマンティックセグメンテーションのためのディープネットワークのトレーニングには、大量のラベル付きトレーニングデータが必要であり、セグメンテーションマスクのラベル付けは極めて労働集約的なプロセスであるため、実際には大きな課題となっている。 この問題に対処するために,ラベルなし画像列からの自己教師付き単眼深度推定により拡張された半教師付き意味セグメンテーションの枠組みを提案する。 特に,(1)自己教師付き奥行き推定から意味セグメンテーションへ知識を伝達する,(2)シーンの幾何学を用いて画像とラベルをブレンドして強固なデータ拡張を実現する,(3)奥行き特徴の多様性と学習深みの難易度を活用することで,意味セグメンテーションに注釈を付ける最も有用なサンプルを選択する,という3つの重要な貢献を提案する。 提案モデルをcityscapesデータセット上で検証し,これら3つのモジュールが有意な性能向上を示し,半教師ありセマンティクスセグメンテーションのための最先端の結果を得た。 実装はhttps://github.com/lhoyer/improving_segmentation_with_selfsupervised_depthで利用可能である。

関連論文リスト

• S3PT: Scene Semantics and Structure Guided Clustering to Boost Self-Supervised Pre-Training for Autonomous Driving [12.406655155106424]
  そこで本稿では,S3PTによるシーンセマンティクスと構造案内クラスタリングを提案する。 まず、セマンティックな分布一貫したクラスタリングを取り入れて、オートバイや動物のような稀なクラスをよりよく表現できるようにします。 第2に,広い背景領域から歩行者や交通標識などの小さな物体まで,不均衡で多様な物体の大きさを扱うために,一貫した空間クラスタリングを導入する。 第3に,シーンの幾何学的情報に基づいて学習を規則化するための深度誘導空間クラスタリングを提案する。
  論文  参考訳（メタデータ） (2024-10-30T15:00:06Z)
• Bayesian Self-Training for Semi-Supervised 3D Segmentation [59.544558398992386]
  3Dセグメンテーションはコンピュータビジョンの中核的な問題である。 完全に教師されたトレーニングを採用するために、3Dポイントクラウドを密にラベル付けすることは、労働集約的で高価です。 半教師付きトレーニングは、ラベル付きデータの小さなセットのみを付与し、より大きなラベル付きデータセットを伴って、より実用的な代替手段を提供する。
  論文  参考訳（メタデータ） (2024-09-12T14:54:31Z)
• Unsupervised Semantic Segmentation Through Depth-Guided Feature Correlation and Sampling [14.88236554564287]
  本研究では,シーンの構造に関する情報を学習プロセスに組み込むことにより,教師なし学習の進歩を構築する。 本研究では,(1)特徴マップと深度マップを空間的に相関させて深度-特徴相関を学習し,シーンの構造に関する知識を誘導する。 次に,シーンの深度情報に対する3次元サンプリング技術を利用して,より効果的に特徴を抽出するために,最遠点サンプリングを実装した。
  論文  参考訳（メタデータ） (2023-09-21T11:47:01Z)
• Open-world Semantic Segmentation via Contrasting and Clustering Vision-Language Embedding [95.78002228538841]
  本研究では,様々なオープンワールドカテゴリのセマンティックオブジェクトを高密度アノテーションを使わずにセマンティックオブジェクトのセマンティックオブジェクトのセマンティック化を学習するための,新しいオープンワールドセマンティックセマンティックセマンティックセマンティクスパイプラインを提案する。 提案手法は任意のカテゴリのオブジェクトを直接分割し、3つのベンチマークデータセット上でデータラベリングを必要とするゼロショットセグメンテーション法より優れている。
  論文  参考訳（メタデータ） (2022-07-18T09:20:04Z)
• Semantics-Depth-Symbiosis: Deeply Coupled Semi-Supervised Learning of Semantics and Depth [83.94528876742096]
  我々は,意味的セグメンテーションと深さ推定という2つの密なタスクのMTL問題に取り組み,クロスチャネル注意モジュール(CCAM)と呼ばれる新しいアテンションモジュールを提案する。 次に,AffineMixと呼ばれる予測深度を用いた意味分節タスクのための新しいデータ拡張と,ColorAugと呼ばれる予測セマンティクスを用いた単純な深度増分を定式化する。 最後に,提案手法の性能向上をCityscapesデータセットで検証し,深度と意味に基づく半教師付きジョイントモデルにおける最先端結果の実現を支援する。
  論文  参考訳（メタデータ） (2022-06-21T17:40:55Z)
• X-Distill: Improving Self-Supervised Monocular Depth via Cross-Task Distillation [69.9604394044652]
  そこで本研究では,クロスタスク知識蒸留による単眼深度の自己指導的訓練を改善する手法を提案する。 トレーニングでは,事前訓練されたセマンティックセグメンテーション教師ネットワークを使用し,そのセマンティック知識を深度ネットワークに転送する。 提案手法の有効性をKITTIベンチマークで評価し,最新技術と比較した。
  論文  参考訳（メタデータ） (2021-10-24T19:47:14Z)
• Improving Semi-Supervised and Domain-Adaptive Semantic Segmentation with Self-Supervised Depth Estimation [94.16816278191477]
  本稿では,セミアダプティブなセマンティックセマンティックセマンティックセグメンテーションのためのフレームワークを提案する。 ラベルのない画像シーケンスでのみ訓練された自己教師付き単眼深度推定によって強化される。 提案したモデルをCityscapesデータセット上で検証する。
  論文  参考訳（メタデータ） (2021-08-28T01:33:38Z)
• Point-supervised Segmentation of Microscopy Images and Volumes via Objectness Regularization [2.243486411968779]
  この作業により、イメージ上のセマンティックセグメンテーションネットワークのトレーニングが、1インスタンスあたりのトレーニングのための単一のポイントで可能になる。 デジタル病理学における挑戦的なデータセットにおけるポイント・スーパーバイザーのセマンティクス・セグメンテーションの最先端に対する競争結果を達成します。
  論文  参考訳（メタデータ） (2021-03-09T18:40:00Z)
• A Three-Stage Self-Training Framework for Semi-Supervised Semantic Segmentation [0.9786690381850356]
  本稿では,セマンティックセグメンテーションのための3段階の自己学習フレームワークとして,包括的解を提案する。 本手法の鍵となる考え方は擬似マスク統計情報の抽出である。 次に、一貫性を強制するマルチタスクモデルを用いて擬似マスクの不確実性を減少させる。
  論文  参考訳（メタデータ） (2020-12-01T21:00:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。