論文の概要: Unsupervised Semantic Segmentation Through Depth-Guided Feature Correlation and Sampling

• arxiv url: http://arxiv.org/abs/2309.12378v2
• Date: Tue, 26 Mar 2024 09:31:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-28 01:10:34.093198
• Title: Unsupervised Semantic Segmentation Through Depth-Guided Feature Correlation and Sampling
• Title（参考訳）: 深さ誘導型特徴相関とサンプリングによる教師なしセマンティックセマンティックセマンティックセグメンテーション
• Authors: Leon Sick, Dominik Engel, Pedro Hermosilla, Timo Ropinski,
• Abstract要約: 本研究では,シーンの構造に関する情報を学習プロセスに組み込むことにより,教師なし学習の進歩を構築する。 本研究では,(1)特徴マップと深度マップを空間的に相関させて深度-特徴相関を学習し,シーンの構造に関する知識を誘導する。 次に,シーンの深度情報に対する3次元サンプリング技術を利用して,より効果的に特徴を抽出するために,最遠点サンプリングを実装した。
• 参考スコア（独自算出の注目度）: 14.88236554564287
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Traditionally, training neural networks to perform semantic segmentation required expensive human-made annotations. But more recently, advances in the field of unsupervised learning have made significant progress on this issue and towards closing the gap to supervised algorithms. To achieve this, semantic knowledge is distilled by learning to correlate randomly sampled features from images across an entire dataset. In this work, we build upon these advances by incorporating information about the structure of the scene into the training process through the use of depth information. We achieve this by (1) learning depth-feature correlation by spatially correlate the feature maps with the depth maps to induce knowledge about the structure of the scene and (2) implementing farthest-point sampling to more effectively select relevant features by utilizing 3D sampling techniques on depth information of the scene. Finally, we demonstrate the effectiveness of our technical contributions through extensive experimentation and present significant improvements in performance across multiple benchmark datasets.
• Abstract（参考訳）: 伝統的に、セマンティックセグメンテーションを実行するためにニューラルネットワークを訓練するには、高価な人造アノテーションが必要だった。 しかし最近では、教師なし学習の分野での進歩は、この問題と教師付きアルゴリズムとのギャップを埋めるために大きな進歩を遂げている。 これを実現するために、データセット全体にわたる画像からランダムにサンプリングされた特徴を相関づけることを学ぶことで意味知識を蒸留する。 本研究では、深度情報を用いて、シーンの構造に関する情報をトレーニングプロセスに組み込むことにより、これらの進歩の上に構築する。 本研究では,(1)特徴マップと深度マップを空間的に相関させて深度相関を学習してシーンの構造に関する知識を誘導し,(2)最遠点サンプリングを実装し,シーンの深度情報に対する3次元サンプリング技術を利用して,より効果的に関連性のある特徴を抽出する。 最後に、広範囲な実験を通じて、技術的貢献の有効性を実証し、複数のベンチマークデータセットのパフォーマンスを大幅に改善することを示す。

関連論文リスト

• Enhancing Generalizability of Representation Learning for Data-Efficient 3D Scene Understanding [50.448520056844885]
  本研究では,実世界のパターンを持つ多様な合成シーンを生成可能なベイズネットワークを提案する。 一連の実験は、既存の最先端の事前学習手法に比べて、我々の手法が一貫した優位性を示す。
  論文  参考訳（メタデータ） (2024-06-17T07:43:53Z)
• Semantics-Depth-Symbiosis: Deeply Coupled Semi-Supervised Learning of Semantics and Depth [83.94528876742096]
  我々は,意味的セグメンテーションと深さ推定という2つの密なタスクのMTL問題に取り組み,クロスチャネル注意モジュール(CCAM)と呼ばれる新しいアテンションモジュールを提案する。 次に,AffineMixと呼ばれる予測深度を用いた意味分節タスクのための新しいデータ拡張と,ColorAugと呼ばれる予測セマンティクスを用いた単純な深度増分を定式化する。 最後に,提案手法の性能向上をCityscapesデータセットで検証し,深度と意味に基づく半教師付きジョイントモデルにおける最先端結果の実現を支援する。
  論文  参考訳（メタデータ） (2022-06-21T17:40:55Z)
• Improving Lidar-Based Semantic Segmentation of Top-View Grid Maps by Learning Features in Complementary Representations [3.0413873719021995]
  我々は、自律運転の文脈において、スパースで単発のLiDAR測定から意味情報を予測するための新しい方法を提案する。 このアプローチは、トップビューグリッドマップのセマンティックセグメンテーションを改善することを目的としている。 各表現に対して、セマンティック情報を効果的に抽出するために、調整されたディープラーニングアーキテクチャが開発された。
  論文  参考訳（メタデータ） (2022-03-02T14:49:51Z)
• 360 Depth Estimation in the Wild -- The Depth360 Dataset and the SegFuse Network [35.03201732370496]
  全方位画像からの一視点深度推定は、自律運転やシーン再構築といった幅広い応用で人気を博している。 本研究ではまず,トレーニングデータ問題に対処するため,Depth360と呼ばれるさまざまな設定の大規模データセットを構築した。 次に、人間の眼を模倣してデータセットから効果的に学習する、エンドツーエンドのマルチタスク学習ネットワークであるSegFuseを提案する。
  論文  参考訳（メタデータ） (2022-02-16T11:56:31Z)
• X-Distill: Improving Self-Supervised Monocular Depth via Cross-Task Distillation [69.9604394044652]
  そこで本研究では,クロスタスク知識蒸留による単眼深度の自己指導的訓練を改善する手法を提案する。 トレーニングでは,事前訓練されたセマンティックセグメンテーション教師ネットワークを使用し,そのセマンティック知識を深度ネットワークに転送する。 提案手法の有効性をKITTIベンチマークで評価し,最新技術と比較した。
  論文  参考訳（メタデータ） (2021-10-24T19:47:14Z)
• Clustering augmented Self-Supervised Learning: Anapplication to Land Cover Mapping [10.720852987343896]
  本稿では,自己教師型学習のためのクラスタリングに基づくプレテキストタスクを用いて,土地被覆マッピングの新しい手法を提案する。 社会的に関係のある2つのアプリケーションに対して,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2021-08-16T19:35:43Z)
• Variational Structured Attention Networks for Deep Visual Representation Learning [49.80498066480928]
  空間的注意マップとチャネル的注意の両方を原則的に共同学習するための統合的深層フレームワークを提案する。 具体的には,確率的表現学習フレームワークに注目度の推定と相互作用を統合する。 ニューラルネットワーク内で推論ルールを実装し,確率パラメータとcnnフロントエンドパラメータのエンドツーエンド学習を可能にする。
  論文  参考訳（メタデータ） (2021-03-05T07:37:24Z)
• Three Ways to Improve Semantic Segmentation with Self-Supervised Depth Estimation [90.87105131054419]
  ラベルなし画像列からの自己教師付き単眼深度推定により強化された半教師付きセマンティックセマンティックセマンティックセマンティクスのフレームワークを提案する。 提案されたモデルをCityscapesデータセット上で検証する。
  論文  参考訳（メタデータ） (2020-12-19T21:18:03Z)
• PointContrast: Unsupervised Pre-training for 3D Point Cloud Understanding [107.02479689909164]
  本研究では,3次元表現学習の研究を支援することを目的とする。 教師なし事前学習が3Dシーンの大規模なソースセットに与える影響を計測する。
  論文  参考訳（メタデータ） (2020-07-21T17:59:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。