論文の概要: NeRF-Supervised Deep Stereo
- arxiv url: http://arxiv.org/abs/2303.17603v1
- Date: Thu, 30 Mar 2023 17:59:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-31 12:14:24.966445
- Title: NeRF-Supervised Deep Stereo
- Title(参考訳): nerf教師付き深層ステレオ
- Authors: Fabio Tosi, Alessio Tonioni, Daniele De Gregorio, Matteo Poggi
- Abstract要約: 本稿では,深層ステレオネットワークのトレーニングを,地平を伴わずに行う新しいフレームワークについて紹介する。
最先端のニューラルネットワークレンダリングソリューションを活用することで、単一のハンドヘルドカメラで収集した画像シーケンスからステレオトレーニングデータを生成する。
それらの上,NeRFを教師とするトレーニングを行ない,立体三重項をレンダリングしてオクルージョンと深度マップを代用ラベルとして補償する。
- 参考スコア(独自算出の注目度): 33.54504171850584
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a novel framework for training deep stereo networks effortlessly
and without any ground-truth. By leveraging state-of-the-art neural rendering
solutions, we generate stereo training data from image sequences collected with
a single handheld camera. On top of them, a NeRF-supervised training procedure
is carried out, from which we exploit rendered stereo triplets to compensate
for occlusions and depth maps as proxy labels. This results in stereo networks
capable of predicting sharp and detailed disparity maps. Experimental results
show that models trained under this regime yield a 30-40% improvement over
existing self-supervised methods on the challenging Middlebury dataset, filling
the gap to supervised models and, most times, outperforming them at zero-shot
generalization.
- Abstract(参考訳): 我々は,深層ステレオネットワークを無力かつ地味に訓練するための新しい枠組みを提案する。
最先端のニューラルレンダリングソリューションを利用することで、単一のハンドヘルドカメラで収集した画像列からステレオトレーニングデータを生成する。
それらの上,NeRFを教師とするトレーニングを行ない,立体三重項をレンダリングしてオクルージョンと深度マップを代用ラベルとして補償する。
この結果、ステレオネットワークはシャープで詳細な不一致マップを予測できる。
実験の結果、この方法で訓練されたモデルは、挑戦的なミドルベリーデータセット上の既存の自己教師あり手法よりも30-40%改善され、教師付きモデルへのギャップを埋め、ほとんどの場合、ゼロショット一般化でそれを上回っていた。
関連論文リスト
- Stereo Matching by Self-supervision of Multiscopic Vision [65.38359887232025]
カメラ位置の整列で撮影した複数の画像を利用したステレオマッチングのための新しい自己監視フレームワークを提案する。
ネットワークを最適化するために、クロスフォトメトリックロス、不確実性を認識した相互監督損失、および新しい平滑性損失が導入されます。
我々のモデルは、KITTIデータセット上の以前の教師なし手法よりも、より良い不均一性マップを得る。
論文 参考訳(メタデータ) (2021-04-09T02:58:59Z) - SMD-Nets: Stereo Mixture Density Networks [68.56947049719936]
SMD-Nets(Stereo Mixture Density Networks)は、幅広い2Dおよび3Dアーキテクチャに対応したシンプルで効果的な学習フレームワークです。
具体的には,バイモーダル混合密度を出力表現として活用し,不連続近傍の鋭く正確な不一致推定を可能にすることを示す。
我々は8Mpx解像度のステレオペアと現実世界のステレオデータセットからなる、新しい高解像度でリアルな合成ステレオデータセットに関する包括的な実験を行う。
論文 参考訳(メタデータ) (2021-04-08T16:15:46Z) - Self-supervised Learning of Depth Inference for Multi-view Stereo [36.320984882009775]
マルチビューステレオネットワークのための自己監視型学習フレームワークを提案する。
まず、教師なし学習フレームワークの下で、深度マップを初期擬似ラベルとして見積もることから始める。
我々は注意深く設計されたパイプラインを用いて初期擬似ラベルを洗練する。
論文 参考訳(メタデータ) (2021-04-07T07:45:02Z) - Unsupervised Monocular Depth Learning with Integrated Intrinsics and
Spatio-Temporal Constraints [61.46323213702369]
本研究は,大規模深度マップとエゴモーションを予測可能な教師なし学習フレームワークを提案する。
本結果は,KITTI運転データセットの複数シーケンスにおける現在の最先端技術と比較して,高い性能を示す。
論文 参考訳(メタデータ) (2020-11-02T22:26:58Z) - Reversing the cycle: self-supervised deep stereo through enhanced
monocular distillation [51.714092199995044]
多くの分野において、自己教師付き学習ソリューションは急速に進化し、教師付きアプローチでギャップを埋めている。
本稿では,両者の相互関係を逆転する自己教師型パラダイムを提案する。
深層ステレオネットワークを訓練するために,単分子完備ネットワークを通じて知識を抽出する。
論文 参考訳(メタデータ) (2020-08-17T07:40:22Z) - Learning Stereo from Single Images [41.32821954097483]
教師付きディープネットワークはステレオ画像対の対応を見つける最良の方法の一つである。
地上の真理深度やそれに対応するステレオペアに高い依存度を持つことは不要である。
単眼深度推定の最近の進歩に触発されて、単眼画像から可塑性不均一マップを生成し、その欠陥不均一マップを慎重に設計したパイプラインに使用し、ステレオトレーニングペアを生成する。
論文 参考訳(メタデータ) (2020-08-04T12:22:21Z) - Auto-Rectify Network for Unsupervised Indoor Depth Estimation [119.82412041164372]
ハンドヘルド環境に現れる複雑な自我運動が,学習深度にとって重要な障害であることが確認された。
本稿では,相対回転を除去してトレーニング画像の修正を効果的に行うデータ前処理手法を提案する。
その結果、従来の教師なしSOTA法よりも、難易度の高いNYUv2データセットよりも優れていた。
論文 参考訳(メタデータ) (2020-06-04T08:59:17Z) - Identity Enhanced Residual Image Denoising [61.75610647978973]
我々は、アイデンティティマッピングモジュールのチェーンと、画像の復号化のための残像アーキテクチャの残像からなる、完全な畳み込みネットワークモデルを学ぶ。
提案するネットワークは,従来の最先端・CNNアルゴリズムよりも極めて高い数値精度と画像品質を実現している。
論文 参考訳(メタデータ) (2020-04-26T04:52:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。