論文の概要: X-Distill: Improving Self-Supervised Monocular Depth via Cross-Task Distillation

• arxiv url: http://arxiv.org/abs/2110.12516v1
• Date: Sun, 24 Oct 2021 19:47:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-27 09:44:03.180257
• Title: X-Distill: Improving Self-Supervised Monocular Depth via Cross-Task Distillation
• Title（参考訳）: X-Distill:クロスタスク蒸留による自己監督単分子深さの改善
• Authors: Hong Cai, Janarbek Matai, Shubhankar Borse, Yizhe Zhang, Amin Ansari, Fatih Porikli
• Abstract要約: そこで本研究では,クロスタスク知識蒸留による単眼深度の自己指導的訓練を改善する手法を提案する。 トレーニングでは,事前訓練されたセマンティックセグメンテーション教師ネットワークを使用し,そのセマンティック知識を深度ネットワークに転送する。 提案手法の有効性をKITTIベンチマークで評価し,最新技術と比較した。
• 参考スコア（独自算出の注目度）: 69.9604394044652
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we propose a novel method, X-Distill, to improve the self-supervised training of monocular depth via cross-task knowledge distillation from semantic segmentation to depth estimation. More specifically, during training, we utilize a pretrained semantic segmentation teacher network and transfer its semantic knowledge to the depth network. In order to enable such knowledge distillation across two different visual tasks, we introduce a small, trainable network that translates the predicted depth map to a semantic segmentation map, which can then be supervised by the teacher network. In this way, this small network enables the backpropagation from the semantic segmentation teacher's supervision to the depth network during training. In addition, since the commonly used object classes in semantic segmentation are not directly transferable to depth, we study the visual and geometric characteristics of the objects and design a new way of grouping them that can be shared by both tasks. It is noteworthy that our approach only modifies the training process and does not incur additional computation during inference. We extensively evaluate the efficacy of our proposed approach on the standard KITTI benchmark and compare it with the latest state of the art. We further test the generalizability of our approach on Make3D. Overall, the results show that our approach significantly improves the depth estimation accuracy and outperforms the state of the art.
• Abstract（参考訳）: 本稿では, セマンティックセグメンテーションから深度推定まで, クロスタスク知識蒸留による単眼深度の自己指導訓練を改善するための新しい手法であるX-Distillを提案する。 具体的には、事前訓練されたセマンティックセグメンテーションの教師ネットワークを利用し、そのセマンティック知識を深度ネットワークに転送する。 このような知識蒸留を2つの視覚的タスクにまたがって実現するために,予測深度マップをセマンティックセグメンテーションマップに変換し,教師ネットワークで教師することのできる,小型で訓練可能なネットワークを導入する。 このようにして、この小さなネットワークは、セマンティックセグメンテーションの教師の指導からトレーニング中の奥行きネットワークへのバックプロパゲーションを可能にする。 また,意味的セグメンテーションにおける一般的なオブジェクトクラスは直接的に深度に転送できないため,オブジェクトの視覚的特徴や幾何学的特徴について検討し,両タスクで共有できる新しいグループ化手法を設計する。 提案手法はトレーニングプロセスのみを修正し,推論中に追加計算を発生させない点が注目に値する。 我々は,提案手法の標準KITTIベンチマークの有効性を広く評価し,最新の技術と比較した。 我々は、Make3Dに対する我々のアプローチの一般化可能性をさらに検証する。 総じて,本手法は深さ推定精度を大幅に向上させ,その性能を大きく上回ることを示した。

関連論文リスト

• Unsupervised Semantic Segmentation Through Depth-Guided Feature Correlation and Sampling [14.88236554564287]
  本研究では,シーンの構造に関する情報を学習プロセスに組み込むことにより,教師なし学習の進歩を構築する。 本研究では,(1)特徴マップと深度マップを空間的に相関させて深度-特徴相関を学習し,シーンの構造に関する知識を誘導する。 次に,シーンの深度情報に対する3次元サンプリング技術を利用して,より効果的に特徴を抽出するために,最遠点サンプリングを実装した。
  論文  参考訳（メタデータ） (2023-09-21T11:47:01Z)
• Towards Deeply Unified Depth-aware Panoptic Segmentation with Bi-directional Guidance Learning [63.63516124646916]
  深度認識型パノプティックセグメンテーションのためのフレームワークを提案する。 本稿では,クロスタスク機能学習を容易にする双方向指導学習手法を提案する。 本手法は,Cityscapes-DVPS と SemKITTI-DVPS の両データセットを用いた深度認識型パノプティックセグメンテーションのための新しい手法である。
  論文  参考訳（メタデータ） (2023-07-27T11:28:33Z)
• Self-Supervised Monocular Depth Estimation with Internal Feature Fusion [12.874712571149725]
  深度推定のための自己教師付き学習は、画像列の幾何学を用いて監督する。 そこで本研究では,ダウンおよびアップサンプリングの手順で意味情報を利用することのできる,新しい深度推定ネットワークDIFFNetを提案する。
  論文  参考訳（メタデータ） (2021-10-18T17:31:11Z)
• Learning to Relate Depth and Semantics for Unsupervised Domain Adaptation [87.1188556802942]
  教師なしドメイン適応(UDA)設定において,視覚的タスク関係を符号化してモデル性能を向上させる手法を提案する。 本稿では,意味的および深さ的予測のタスク依存性を符号化する新しいクロスタスク関係層(ctrl)を提案する。 さらに、セマンティック擬似ラベルを利用してターゲットドメインを監督する反復自己学習(ISL)トレーニングスキームを提案する。
  論文  参考訳（メタデータ） (2021-05-17T13:42:09Z)
• Domain Adaptive Semantic Segmentation with Self-Supervised Depth Estimation [84.34227665232281]
  セマンティックセグメンテーションのためのドメイン適応は、ソースとターゲットドメイン間の分散シフトの存在下でモデルのパフォーマンスを向上させることを目的とする。 ドメイン間のギャップを埋めるために、両ドメインで利用可能な自己教師付き深さ推定からのガイダンスを活用します。 提案手法のベンチマークタスクSYNTHIA-to-CityscapesとGTA-to-Cityscapesの有効性を実証する。
  論文  参考訳（メタデータ） (2021-04-28T07:47:36Z)
• MaAST: Map Attention with Semantic Transformersfor Efficient Visual Navigation [4.127128889779478]
  この作業は、自律エージェントの視覚ナビゲーションのための既存の学習ベースのソリューションよりも良く、または匹敵するパフォーマンスに重点を置いています。 本稿では,重要シーンのセマンティクスを意味的に理解し,トップダウンのエゴセントリックな地図表現にエンコードする手法を提案する。 本研究では,3次元再構成した屋内ポイントゴーア視覚ナビゲーション実験を行い,その効果を実証する。
  論文  参考訳（メタデータ） (2021-03-21T12:01:23Z)
• SOSD-Net: Joint Semantic Object Segmentation and Depth Estimation from Monocular images [94.36401543589523]
  これら2つのタスクの幾何学的関係を利用するための意味的対象性の概念を紹介します。 次に, 対象性仮定に基づくセマンティックオブジェクト・深さ推定ネットワーク(SOSD-Net)を提案する。 私たちの知識を最大限に活用するために、SOSD-Netは同時単眼深度推定とセマンティックセグメンテーションのためのジオメトリ制約を利用する最初のネットワークです。
  論文  参考訳（メタデータ） (2021-01-19T02:41:03Z)
• Three Ways to Improve Semantic Segmentation with Self-Supervised Depth Estimation [90.87105131054419]
  ラベルなし画像列からの自己教師付き単眼深度推定により強化された半教師付きセマンティックセマンティックセマンティックセマンティクスのフレームワークを提案する。 提案されたモデルをCityscapesデータセット上で検証する。
  論文  参考訳（メタデータ） (2020-12-19T21:18:03Z)
• Semantics-Driven Unsupervised Learning for Monocular Depth and Ego-Motion Estimation [33.83396613039467]
  ビデオからの単眼深度と自我運動推定のためのセマンティクス駆動型教師なし学習手法を提案する。 近年の教師なし学習法では, 合成ビューと実画像の光度誤差を指導信号として用いている。
  論文  参考訳（メタデータ） (2020-06-08T05:55:07Z)
• Semantically-Guided Representation Learning for Self-Supervised Monocular Depth [40.49380547487908]
  本稿では,自己教師付き表現学習を指導するために,事前訓練型セマンティックセマンティック・セマンティクス・ネットワークを利用した新しいアーキテクチャを提案する。 本手法は,全画素,細粒度細部,意味カテゴリーごとの自己教師型単眼深度予測のための技術の現状を改善した。
  論文  参考訳（メタデータ） (2020-02-27T18:40:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。