論文の概要: Self-Supervised Human Depth Estimation from Monocular Videos

• arxiv url: http://arxiv.org/abs/2005.03358v1
• Date: Thu, 7 May 2020 09:45:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-05 23:32:22.711416
• Title: Self-Supervised Human Depth Estimation from Monocular Videos
• Title（参考訳）: 単眼映像からの自己監督型深度推定
• Authors: Feitong Tan, Hao Zhu, Zhaopeng Cui, Siyu Zhu, Marc Pollefeys, Ping Tan
• Abstract要約: 人間の深度を推定する従来の方法は、しばしば地上の真実の深度データを用いた教師あり訓練を必要とする。 本稿では,YouTubeビデオの奥行きを知ることなく,自己指導型手法を提案する。 実験により,本手法はより一般化され,野生のデータに対してより優れた性能を発揮することが示された。
• 参考スコア（独自算出の注目度）: 99.39414134919117
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Previous methods on estimating detailed human depth often require supervised training with `ground truth' depth data. This paper presents a self-supervised method that can be trained on YouTube videos without known depth, which makes training data collection simple and improves the generalization of the learned network. The self-supervised learning is achieved by minimizing a photo-consistency loss, which is evaluated between a video frame and its neighboring frames warped according to the estimated depth and the 3D non-rigid motion of the human body. To solve this non-rigid motion, we first estimate a rough SMPL model at each video frame and compute the non-rigid body motion accordingly, which enables self-supervised learning on estimating the shape details. Experiments demonstrate that our method enjoys better generalization and performs much better on data in the wild.
• Abstract（参考訳）: 人間の深度を推定する従来の方法は、しばしば「地下真実」深度データを用いた教師あり訓練を必要とする。 本稿では,学習データ収集をシンプルにし,学習ネットワークの一般化を改良した,youtubeビデオで学習できる自己教師あり手法を提案する。 この自己教師付き学習は、推定深度及び人体の3次元非剛性運動に応じて歪んだビデオフレームとその隣り合うフレーム間で評価されるフォトコンシスタンスロスを最小にすることで達成される。 この非剛性動作を解決するために,まず各映像フレームの粗いsmplモデルを推定し,それに従って非剛性体の動きを計算し,形状の詳細を推定して自己教師付き学習を可能にする。 実験により,本手法はより一般化され,野生のデータに対してより優れた性能を発揮することが示された。

関連論文リスト

• MultiPly: Reconstruction of Multiple People from Monocular Video in the Wild [32.6521941706907]
  モノクラーインザワイルドビデオから3Dで複数の人物を再構成する新しいフレームワークであるMultiPlyを提案する。 まず、シーン全体の階層化されたニューラル表現を定義し、個々の人間と背景モデルで合成する。 階層化可能なボリュームレンダリングを通じて,ビデオから階層化ニューラル表現を学習する。
  論文  参考訳（メタデータ） (2024-06-03T17:59:57Z)
• DO3D: Self-supervised Learning of Decomposed Object-aware 3D Motion and Depth from Monocular Videos [76.01906393673897]
  本研究では,モノクラービデオから3次元運動と深度を協調的に学習する自己教師手法を提案する。 本システムでは,深度を推定する深度推定モジュールと,エゴモーションと3次元物体の動きを推定する新しい分解対象3次元運動推定モジュールを備える。 我々のモデルは評価されたすべての設定において優れたパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-03-09T12:22:46Z)
• Motion Degeneracy in Self-supervised Learning of Elevation Angle Estimation for 2D Forward-Looking Sonar [4.683630397028384]
  本研究は, 合成画像を用いた事前学習を行なわずに, 高度角推定の安定な自己教師付き学習を実現することを目的とする。 まず,主監督信号に関連する2次元前方ソナーの運動場を解析する。
  論文  参考訳（メタデータ） (2023-07-30T08:06:11Z)
• SC-DepthV3: Robust Self-supervised Monocular Depth Estimation for Dynamic Scenes [58.89295356901823]
  自己監督型単眼深度推定は静的な場面で顕著な結果を示した。 トレーニングネットワークのマルチビュー整合性の仮定に依存するが、動的オブジェクト領域に違反する。 単一画像の深度を事前に生成するための,外部トレーニング付き単眼深度推定モデルを提案する。 我々のモデルは、高度にダイナミックなシーンのモノクロビデオからトレーニングしても、シャープで正確な深度マップを予測できる。
  論文  参考訳（メタデータ） (2022-11-07T16:17:47Z)
• Towards Accurate Reconstruction of 3D Scene Shape from A Single Monocular Image [91.71077190961688]
  まず、未知のスケールまで深さを予測し、単一の単眼画像からシフトする2段階のフレームワークを提案する。 次に、3Dポイントの雲のデータを利用して、奥行きの変化とカメラの焦点距離を予測し、3Dシーンの形状を復元します。 我々は9つの未知のデータセットで深度モデルを検証し、ゼロショット評価で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-08-28T16:20:14Z)
• Self-Supervised 3D Human Pose Estimation with Multiple-View Geometry [2.7541825072548805]
  本稿では,複数視点カメラシステムに基づく1人の人物の3次元ポーズ推定のための自己教師付き学習アルゴリズムを提案する。 そこで本研究では,2次元・3次元の立体ポーズが不要な4自由度関数学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:31:24Z)
• A Plug-and-play Scheme to Adapt Image Saliency Deep Model for Video Data [54.198279280967185]
  本稿では,ビデオデータに対して予め訓練された画像の鮮度深度モデルを弱めに再学習する新しいプラグイン・アンド・プレイ方式を提案する。 本手法は,既訓練画像の深度モデルに適応して高品質な映像の鮮度検出を実現するのに有効である。
  論文  参考訳（メタデータ） (2020-08-02T13:23:14Z)
• Auto-Rectify Network for Unsupervised Indoor Depth Estimation [119.82412041164372]
  ハンドヘルド環境に現れる複雑な自我運動が,学習深度にとって重要な障害であることが確認された。 本稿では,相対回転を除去してトレーニング画像の修正を効果的に行うデータ前処理手法を提案する。 その結果、従来の教師なしSOTA法よりも、難易度の高いNYUv2データセットよりも優れていた。
  論文  参考訳（メタデータ） (2020-06-04T08:59:17Z)
• Weakly Supervised 3D Human Pose and Shape Reconstruction with Normalizing Flows [43.89097619822221]
  実世界の画像やビデオのトレーニングと優れた一般化を支援する半教師付き自己教師型モデルを提案する。 我々の定式化は、運動論的潜在正規化フロー表現と力学、および微分可能セマンティックボディ部分アライメント損失関数に基づく。 CMU,Human3.6M,3DPW,AMASSといった3Dモーションキャプチャーデータセットを用いた大規模な実験では,提案手法が最先端の手法であることを示す。
  論文  参考訳（メタデータ） (2020-03-23T16:11:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。