論文の概要: Self-Supervised Depth Estimation with Isometric-Self-Sample-Based Learning

• arxiv url: http://arxiv.org/abs/2205.10006v1
• Date: Fri, 20 May 2022 07:44:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-23 13:15:25.609940
• Title: Self-Supervised Depth Estimation with Isometric-Self-Sample-Based Learning
• Title（参考訳）: 等尺自己サンプル学習を用いた自己監督深度推定
• Authors: Geonho Cha, Ho-Deok Jang, Dongyoon Wee
• Abstract要約: そこで本研究では,Isometric self-sample-based learning (ISSL)法を提案する。 ISSLモジュールをいくつかの既存モデルにプラグインすることで、パフォーマンスが大幅に向上することを示す。
• 参考スコア（独自算出の注目度）: 6.870353976043257
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Managing the dynamic regions in the photometric loss formulation has been a main issue for handling the self-supervised depth estimation problem. Most previous methods have alleviated this issue by removing the dynamic regions in the photometric loss formulation based on the masks estimated from another module, making it difficult to fully utilize the training images. In this paper, to handle this problem, we propose an isometric self-sample-based learning (ISSL) method to fully utilize the training images in a simple yet effective way. The proposed method provides additional supervision during training using self-generated images that comply with pure static scene assumption. Specifically, the isometric self-sample generator synthesizes self-samples for each training image by applying random rigid transformations on the estimated depth. Thus both the generated self-samples and the corresponding training image always follow the static scene assumption. We show that plugging our ISSL module into several existing models consistently improves the performance by a large margin. In addition, it also boosts the depth accuracy over different types of scene, i.e., outdoor scenes (KITTI and Make3D) and indoor scene (NYUv2), validating its high effectiveness.
• Abstract（参考訳）: 測光損失定式化における動的領域の管理は, 自己教師付き深さ推定問題を扱う上で重要な課題となっている。 以前のほとんどの方法は、他のモジュールから推定されるマスクに基づいて、測光損失定式化の動的領域を取り除き、トレーニングイメージを十分に活用することの困難さを緩和した。 本稿では,この問題に対処するために,簡易かつ効果的な方法でトレーニング画像を完全に活用するための等尺自己サンプルベース学習(issl)手法を提案する。 提案手法は,純粋な静的シーン仮定に従う自己生成画像を用いて,トレーニング中に追加の監視を行う。 具体的には、推定深度にランダムな剛性変換を施し、トレーニング画像毎に自己サンプルを合成する。 したがって、生成された自己サンプルと対応するトレーニング画像とは常に静的シーン仮定に従う。 ISSLモジュールをいくつかの既存モデルにプラグインすることで、パフォーマンスが大幅に向上することを示す。 さらに、屋外シーン(KITTIとMake3D)や屋内シーン(NYUv2)など、様々なタイプのシーンに対する深度精度を高め、高い有効性を示す。

関連論文リスト

• One Diffusion to Generate Them All [54.82732533013014]
  OneDiffusionは双方向画像合成と理解をサポートする汎用的で大規模な拡散モデルである。 テキスト、深さ、ポーズ、レイアウト、セマンティックマップなどの入力から条件生成を可能にする。 OneDiffusionは、シーケンシャルな画像入力を使用して、マルチビュー生成、カメラポーズ推定、即時パーソナライズを可能にする。
  論文  参考訳（メタデータ） (2024-11-25T12:11:05Z)
• Masked Image Training for Generalizable Deep Image Denoising [53.03126421917465]
  本稿では,デノナイジングネットワークの一般化性能を高めるための新しい手法を提案する。 提案手法では,入力画像のランダムなピクセルをマスキングし,学習中に欠落した情報を再構成する。 提案手法は,他のディープラーニングモデルよりも優れた一般化能力を示し,実世界のシナリオに直接適用可能である。
  論文  参考訳（メタデータ） (2023-03-23T09:33:44Z)
• Improving Masked Autoencoders by Learning Where to Mask [65.89510231743692]
  マスケ画像モデリングは視覚データに対する有望な自己教師型学習手法である。 本稿では,Gumbel-Softmax を用いて,対向学習マスク生成装置とマスク誘導画像モデリングプロセスとを相互接続するフレームワーク AutoMAE を提案する。 実験の結果,AutoMAEは,標準の自己監督型ベンチマークや下流タスクに対して,効果的な事前学習モデルを提供することがわかった。
  論文  参考訳（メタデータ） (2023-03-12T05:28:55Z)
• Single-photon Image Super-resolution via Self-supervised Learning [6.218646347012887]
  SPISR(Single-Photon Image Super-Resolution)は、高分解能の光子計数キューブを、高分解能の低分解能キューブから計算画像アルゴリズムによって回収することを目的としている。 EI(Equivariant Imaging)を単一光子データに拡張することにより、SPISRタスクのための自己教師付き学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-03T15:52:01Z)
• SC-DepthV3: Robust Self-supervised Monocular Depth Estimation for Dynamic Scenes [58.89295356901823]
  自己監督型単眼深度推定は静的な場面で顕著な結果を示した。 トレーニングネットワークのマルチビュー整合性の仮定に依存するが、動的オブジェクト領域に違反する。 単一画像の深度を事前に生成するための,外部トレーニング付き単眼深度推定モデルを提案する。 我々のモデルは、高度にダイナミックなシーンのモノクロビデオからトレーニングしても、シャープで正確な深度マップを予測できる。
  論文  参考訳（メタデータ） (2022-11-07T16:17:47Z)
• Dense Depth Distillation with Out-of-Distribution Simulated Images [30.79756881887895]
  単分子深度推定(MDE)のためのデータフリー知識蒸留(KD)について検討する。 KDは、訓練された教師モデルからそれを圧縮し、対象領域でのトレーニングデータを欠くことにより、現実世界の深度知覚タスクの軽量モデルを学ぶ。 提案手法は, トレーニング画像の1/6に留まらず, ベースラインKDのマージンが良好であり, 性能も若干向上していることを示す。
  論文  参考訳（メタデータ） (2022-08-26T07:10:01Z)
• An Adaptive Framework for Learning Unsupervised Depth Completion [59.17364202590475]
  カラー画像から高密度深度マップとそれに伴うスパース深度測定を推定する手法を提案する。 正規化とコビジュアライゼーションは、モデルの適合度とデータによって関連付けられており、単一のフレームワークに統合可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T02:27:55Z)
• Self-Supervised Monocular Depth Estimation: Solving the Dynamic Object Problem by Semantic Guidance [36.73303869405764]
  自己監督型単眼深度推定は, 単一カメラ画像から3次元シーン情報を得る強力な方法を示す。 本稿では,移動型動的クラス(DC)オブジェクトを扱うための自己教師付き意味誘導深度推定(SGDepth)手法を提案する。
  論文  参考訳（メタデータ） (2020-07-14T09:47:27Z)
• Auto-Rectify Network for Unsupervised Indoor Depth Estimation [119.82412041164372]
  ハンドヘルド環境に現れる複雑な自我運動が,学習深度にとって重要な障害であることが確認された。 本稿では,相対回転を除去してトレーニング画像の修正を効果的に行うデータ前処理手法を提案する。 その結果、従来の教師なしSOTA法よりも、難易度の高いNYUv2データセットよりも優れていた。
  論文  参考訳（メタデータ） (2020-06-04T08:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。