論文の概要: On the Viability of Monocular Depth Pre-training for Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2203.13987v4
• Date: Mon, 6 Nov 2023 04:41:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-08 02:09:41.172156
• Title: On the Viability of Monocular Depth Pre-training for Semantic Segmentation
• Title（参考訳）: セマンティクスセグメンテーションのための単眼深度事前学習の有効性について
• Authors: Dong Lao, Alex Wong, Samuel Lu and Stefano Soatto
• Abstract要約: 本研究では,1つの画像から深度を推定するための事前学習モデルと,意味的タスクのための事前学習モデルとの比較について検討する。 深度事前トレーニングは、平均5.8% mIoU と5.2% の精度で ImageNet の事前トレーニングと比較して性能を上回ることがわかった。
• 参考スコア（独自算出の注目度）: 53.41879334938541
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We explore how pre-training a model to infer depth from a single image compares to pre-training the model for a semantic task, e.g. ImageNet classification, for the purpose of downstream transfer to semantic segmentation. The question of whether pre-training on geometric tasks is viable for downstream transfer to semantic tasks is important for two reasons, one practical and the other scientific. In practice, if it were viable, one could reduce pre-training costs and bias due to human annotation at scale. If, however, it were not, then that would affirm human annotation as an inductive vehicle so powerful to justify the annotation effort. Yet the bootstrapping question would still be unanswered: How did the ability to assign labels to semantically coherent regions emerge? If pre-training on a geometric task was sufficient to prime a notion of 'object', leveraging the regularities of the environment (what Gibson called 'detached objects'), that would reduce the gap to semantic inference as a matter of aligning labels, which could be done with few examples. To test these hypotheses, we have designed multiple controlled experiments that require minimal fine-tuning, using common benchmarks such as KITTI, Cityscapes, and NYU-V2: We explore different forms of supervision for depth estimation, training pipelines, and data resolutions for semantic fine-tuning. We find that depth pre-training exceeds performance relative to ImageNet pre-training on average by 5.8% mIoU and 5.2% pixel accuracy. Surprisingly, we find that optical flow estimation, which is a closely related task to depth estimation as it optimizes the same photometric reprojection error, is considerably less effective.
• Abstract（参考訳）: 本研究では,1つの画像から深度を推定するための事前学習と,下流からセマンティックセグメンテーションへの変換を目的としたイメージネット分類などのセマンティックタスクのためのモデルの事前学習との比較について検討する。 幾何学的タスクの事前学習が意味的タスクへの下流移動に有効かどうかという問題は2つの理由において重要である。 実際には、もしそれが実現可能ならば、大規模な人間のアノテーションによる事前訓練コストとバイアスを削減できる。 しかし、もしそうでなければ、人間によるアノテーションは、そのアノテーションの努力を正当化するほど強力な帰納的手段であると断言するでしょう。 意味的に一貫性のある領域にラベルを割り当てる能力は、どのように出現したのでしょうか? 幾何学的タスクの事前学習が、環境の規則性(ギブソンが「切り離された物体」と呼んだもの)を活用する「対象」という概念を創り出すのに十分であれば、ラベルを整列する問題として意味推論のギャップを減らせることになる。 これらの仮説をテストするために、我々はkitti、cityscapes、nyu-v2のような一般的なベンチマークを使用して、最小の微調整を必要とする複数の制御された実験を設計した。 深度事前トレーニングは、平均5.8% mIoU と5.2% の精度で ImageNet の事前トレーニングと比較して性能を上回ることがわかった。 驚くべきことに、同じ測光再投射誤差を最適化する際の奥行き推定に密接に関連する光学的フロー推定は、かなり効果が低いことが判明した。

関連論文リスト

• Improving Semantic Correspondence with Viewpoint-Guided Spherical Maps [39.00415825387414]
  そこで本研究では, 識別的特徴を3次元的理解で補う意味対応推定手法を提案する。 より複雑な3Dパイプラインと比較して、我々のモデルは弱い視点情報しか必要とせず、球面表現の単純さにより、トレーニング中に情報的幾何学的先行情報をモデルに注入することができる。 本研究では,SPair-71kデータセットを用いて,複数のオブジェクトカテゴリにまたがる対称なビューと繰り返し部分の区別が可能であることを実証した。
  論文  参考訳（メタデータ） (2023-12-20T17:35:24Z)
• Inverse Dynamics Pretraining Learns Good Representations for Multitask Imitation [66.86987509942607]
  このようなパラダイムを模倣学習でどのように行うべきかを評価する。 本稿では,事前学習コーパスがマルチタスクのデモンストレーションから成り立つ環境について考察する。 逆動力学モデリングはこの設定に適していると主張する。
  論文  参考訳（メタデータ） (2023-05-26T14:40:46Z)
• Self-Supervised Learning via Maximum Entropy Coding [57.56570417545023]
  本稿では,表現の構造を明示的に最適化する原理的目的として,最大エントロピー符号化(MEC)を提案する。 MECは、特定のプリテキストタスクに基づいて、以前のメソッドよりもより一般化可能な表現を学ぶ。 ImageNetリニアプローブだけでなく、半教師付き分類、オブジェクト検出、インスタンスセグメンテーション、オブジェクトトラッキングなど、さまざまなダウンストリームタスクに対して一貫して最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-10-20T17:58:30Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• Masked prediction tasks: a parameter identifiability view [49.533046139235466]
  マスク付きトークンの予測に広く用いられている自己教師型学習手法に着目する。 いくつかの予測タスクは識別可能性をもたらすが、他のタスクはそうではない。
  論文  参考訳（メタデータ） (2022-02-18T17:09:32Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)
• Semantically-Guided Representation Learning for Self-Supervised Monocular Depth [40.49380547487908]
  本稿では,自己教師付き表現学習を指導するために,事前訓練型セマンティックセマンティック・セマンティクス・ネットワークを利用した新しいアーキテクチャを提案する。 本手法は,全画素,細粒度細部,意味カテゴリーごとの自己教師型単眼深度予測のための技術の現状を改善した。
  論文  参考訳（メタデータ） (2020-02-27T18:40:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。