論文の概要: Semantically-Guided Representation Learning for Self-Supervised Monocular Depth

• arxiv url: http://arxiv.org/abs/2002.12319v1
• Date: Thu, 27 Feb 2020 18:40:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 07:55:29.836859
• Title: Semantically-Guided Representation Learning for Self-Supervised Monocular Depth
• Title（参考訳）: 自己教師付き単眼深度に対する意味指導型表現学習
• Authors: Vitor Guizilini, Rui Hou, Jie Li, Rares Ambrus, Adrien Gaidon
• Abstract要約: 本稿では,自己教師付き表現学習を指導するために,事前訓練型セマンティックセマンティック・セマンティクス・ネットワークを利用した新しいアーキテクチャを提案する。 本手法は,全画素,細粒度細部,意味カテゴリーごとの自己教師型単眼深度予測のための技術の現状を改善した。
• 参考スコア（独自算出の注目度）: 40.49380547487908
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning is showing great promise for monocular depth estimation, using geometry as the only source of supervision. Depth networks are indeed capable of learning representations that relate visual appearance to 3D properties by implicitly leveraging category-level patterns. In this work we investigate how to leverage more directly this semantic structure to guide geometric representation learning, while remaining in the self-supervised regime. Instead of using semantic labels and proxy losses in a multi-task approach, we propose a new architecture leveraging fixed pretrained semantic segmentation networks to guide self-supervised representation learning via pixel-adaptive convolutions. Furthermore, we propose a two-stage training process to overcome a common semantic bias on dynamic objects via resampling. Our method improves upon the state of the art for self-supervised monocular depth prediction over all pixels, fine-grained details, and per semantic categories.
• Abstract（参考訳）: 自己教師付き学習は、幾何学を唯一の監督源として用いて、単眼深度推定に非常に有望である。 深度ネットワークは、カテゴリーレベルのパターンを暗黙的に活用することで、視覚的な外観と3D特性を関連付ける表現を学習することができる。 本研究では,この意味構造をより直接的に活用して幾何学的表現学習を指導する方法を検討する。 マルチタスクアプローチでは,セマンティックラベルやプロキシ損失を代用する代わりに,予め訓練されたセマンティックセグメンテーションネットワークを利用して,画素適応畳み込みによる自己教師付き表現学習を誘導するアーキテクチャを提案する。 さらに,リサンプリングにより動的オブジェクトに対する共通意味バイアスを克服する2段階のトレーニングプロセスを提案する。 本手法は,全画素,細粒度細部,意味カテゴリーごとの自己教師型単眼深度予測のための技術の現状を改善した。

関連論文リスト

• S3PT: Scene Semantics and Structure Guided Clustering to Boost Self-Supervised Pre-Training for Autonomous Driving [12.406655155106424]
  そこで本稿では,S3PTによるシーンセマンティクスと構造案内クラスタリングを提案する。 まず、セマンティックな分布一貫したクラスタリングを取り入れて、オートバイや動物のような稀なクラスをよりよく表現できるようにします。 第2に,広い背景領域から歩行者や交通標識などの小さな物体まで,不均衡で多様な物体の大きさを扱うために,一貫した空間クラスタリングを導入する。 第3に,シーンの幾何学的情報に基づいて学習を規則化するための深度誘導空間クラスタリングを提案する。
  論文  参考訳（メタデータ） (2024-10-30T15:00:06Z)
• ALSO: Automotive Lidar Self-supervision by Occupancy estimation [70.70557577874155]
  本稿では,ポイントクラウド上で動作している深層知覚モデルのバックボーンを事前学習するための自己教師型手法を提案する。 中心となる考え方は、3Dポイントがサンプリングされる表面の再構成であるプリテキストタスクでモデルをトレーニングすることである。 直感的には、もしネットワークがわずかな入力ポイントのみを考慮し、シーン表面を再構築できるなら、おそらく意味情報の断片をキャプチャする。
  論文  参考訳（メタデータ） (2022-12-12T13:10:19Z)
• Learning Invariant World State Representations with Predictive Coding [1.8963850600275547]
  我々は,新しい予測型コーディングベースアーキテクチャと,完全教師付き・自己教師型学習手法を開発した。 我々は,新しい合成データセットを用いて,モデルのロバスト性を評価する。
  論文  参考訳（メタデータ） (2022-07-06T21:08:30Z)
• SelfTune: Metrically Scaled Monocular Depth Estimation through Self-Supervised Learning [53.78813049373321]
  本稿では,事前学習した教師付き単分子深度ネットワークに対する自己教師付き学習手法を提案する。 本手法は移動ロボットナビゲーションなどの様々な応用に有用であり,多様な環境に適用可能である。
  論文  参考訳（メタデータ） (2022-03-10T12:28:42Z)
• X-Distill: Improving Self-Supervised Monocular Depth via Cross-Task Distillation [69.9604394044652]
  そこで本研究では,クロスタスク知識蒸留による単眼深度の自己指導的訓練を改善する手法を提案する。 トレーニングでは,事前訓練されたセマンティックセグメンテーション教師ネットワークを使用し,そのセマンティック知識を深度ネットワークに転送する。 提案手法の有効性をKITTIベンチマークで評価し,最新技術と比較した。
  論文  参考訳（メタデータ） (2021-10-24T19:47:14Z)
• Fine-grained Semantics-aware Representation Enhancement for Self-supervised Monocular Depth Estimation [16.092527463250708]
  自己教師付き単分子深度推定を改善するための新しいアイデアを提案する。 我々は、幾何学的表現強化に暗黙的な意味知識を取り入れることに注力する。 提案手法をKITTIデータセット上で評価し,提案手法が最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-08-19T17:50:51Z)
• S2R-DepthNet: Learning a Generalizable Depth-specific Structural Representation [63.58891781246175]
  人間はリアルなイメージではなくスケッチからシーンの3次元幾何学を推測することができ、空間構造がシーンの深さを理解する上で基本的な役割を果たすことを示す。 我々は,深度推定に不可欠な特徴を捉え,無関係なスタイル情報を無視する,深度特異的な構造表現の学習を初めて行う。 当社のS2R-DepthNetは、合成データでのみ訓練されているにもかかわらず、目に見えない実際のデータに直接一般化できます。
  論文  参考訳（メタデータ） (2021-04-02T03:55:41Z)
• Three Ways to Improve Semantic Segmentation with Self-Supervised Depth Estimation [90.87105131054419]
  ラベルなし画像列からの自己教師付き単眼深度推定により強化された半教師付きセマンティックセマンティックセマンティックセマンティクスのフレームワークを提案する。 提案されたモデルをCityscapesデータセット上で検証する。
  論文  参考訳（メタデータ） (2020-12-19T21:18:03Z)
• Semantics-Driven Unsupervised Learning for Monocular Depth and Ego-Motion Estimation [33.83396613039467]
  ビデオからの単眼深度と自我運動推定のためのセマンティクス駆動型教師なし学習手法を提案する。 近年の教師なし学習法では, 合成ビューと実画像の光度誤差を指導信号として用いている。
  論文  参考訳（メタデータ） (2020-06-08T05:55:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。