論文の概要: NeRF-Supervised Deep Stereo

• arxiv url: http://arxiv.org/abs/2303.17603v1
• Date: Thu, 30 Mar 2023 17:59:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-31 12:14:24.966445
• Title: NeRF-Supervised Deep Stereo
• Title（参考訳）: nerf教師付き深層ステレオ
• Authors: Fabio Tosi, Alessio Tonioni, Daniele De Gregorio, Matteo Poggi
• Abstract要約: 本稿では,深層ステレオネットワークのトレーニングを,地平を伴わずに行う新しいフレームワークについて紹介する。 最先端のニューラルネットワークレンダリングソリューションを活用することで、単一のハンドヘルドカメラで収集した画像シーケンスからステレオトレーニングデータを生成する。 それらの上,NeRFを教師とするトレーニングを行ない,立体三重項をレンダリングしてオクルージョンと深度マップを代用ラベルとして補償する。
• 参考スコア（独自算出の注目度）: 33.54504171850584
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a novel framework for training deep stereo networks effortlessly and without any ground-truth. By leveraging state-of-the-art neural rendering solutions, we generate stereo training data from image sequences collected with a single handheld camera. On top of them, a NeRF-supervised training procedure is carried out, from which we exploit rendered stereo triplets to compensate for occlusions and depth maps as proxy labels. This results in stereo networks capable of predicting sharp and detailed disparity maps. Experimental results show that models trained under this regime yield a 30-40% improvement over existing self-supervised methods on the challenging Middlebury dataset, filling the gap to supervised models and, most times, outperforming them at zero-shot generalization.
• Abstract（参考訳）: 我々は,深層ステレオネットワークを無力かつ地味に訓練するための新しい枠組みを提案する。 最先端のニューラルレンダリングソリューションを利用することで、単一のハンドヘルドカメラで収集した画像列からステレオトレーニングデータを生成する。 それらの上,NeRFを教師とするトレーニングを行ない,立体三重項をレンダリングしてオクルージョンと深度マップを代用ラベルとして補償する。 この結果、ステレオネットワークはシャープで詳細な不一致マップを予測できる。 実験の結果、この方法で訓練されたモデルは、挑戦的なミドルベリーデータセット上の既存の自己教師あり手法よりも30-40%改善され、教師付きモデルへのギャップを埋め、ほとんどの場合、ゼロショット一般化でそれを上回っていた。

関連論文リスト

• Self-Assessed Generation: Trustworthy Label Generation for Optical Flow and Stereo Matching in Real-world [24.251352190100135]
  本稿では、光学フローとステレオタスクのための統合された自己教師付き一般化フレームワークである自己評価生成(SAG)を提案する。 従来の自己教師型手法とは異なり、SAGはデータ駆動であり、高度な再構成技術を用いてRGB画像から再構成フィールドを構築し、それに基づいてデータセットを生成する。
  論文  参考訳（メタデータ） (2024-10-14T12:46:17Z)
• MaDis-Stereo: Enhanced Stereo Matching via Distilled Masked Image Modeling [18.02254687807291]
  近年、トランスフォーマーベースのステレオモデルが研究されており、ステレオマッチングタスクに固有のデータ不足が原因で、CNNベースのステレオモデルよりも性能が遅れている。 本研究では,Masked Image Modeling Distilled Stereo matching model(MaDis-Stereo)を提案する。
  論文  参考訳（メタデータ） (2024-09-04T16:17:45Z)
• Deceptive-NeRF/3DGS: Diffusion-Generated Pseudo-Observations for High-Quality Sparse-View Reconstruction [60.52716381465063]
  我々は,限られた入力画像のみを用いて,スパースビュー再構成を改善するために,Deceptive-NeRF/3DGSを導入した。 具体的には,少数視点再構成によるノイズ画像から高品質な擬似観測へ変換する,偽拡散モデルを提案する。 本システムでは,拡散生成擬似観測をトレーニング画像集合に徐々に組み込んで,スパース入力観測を5倍から10倍に高めている。
  論文  参考訳（メタデータ） (2023-05-24T14:00:32Z)
• Stereo Matching by Self-supervision of Multiscopic Vision [65.38359887232025]
  カメラ位置の整列で撮影した複数の画像を利用したステレオマッチングのための新しい自己監視フレームワークを提案する。 ネットワークを最適化するために、クロスフォトメトリックロス、不確実性を認識した相互監督損失、および新しい平滑性損失が導入されます。 我々のモデルは、KITTIデータセット上の以前の教師なし手法よりも、より良い不均一性マップを得る。
  論文  参考訳（メタデータ） (2021-04-09T02:58:59Z)
• Unsupervised Monocular Depth Learning with Integrated Intrinsics and Spatio-Temporal Constraints [61.46323213702369]
  本研究は,大規模深度マップとエゴモーションを予測可能な教師なし学習フレームワークを提案する。 本結果は,KITTI運転データセットの複数シーケンスにおける現在の最先端技術と比較して,高い性能を示す。
  論文  参考訳（メタデータ） (2020-11-02T22:26:58Z)
• Reversing the cycle: self-supervised deep stereo through enhanced monocular distillation [51.714092199995044]
  多くの分野において、自己教師付き学習ソリューションは急速に進化し、教師付きアプローチでギャップを埋めている。 本稿では,両者の相互関係を逆転する自己教師型パラダイムを提案する。 深層ステレオネットワークを訓練するために,単分子完備ネットワークを通じて知識を抽出する。
  論文  参考訳（メタデータ） (2020-08-17T07:40:22Z)
• Learning Stereo from Single Images [41.32821954097483]
  教師付きディープネットワークはステレオ画像対の対応を見つける最良の方法の一つである。 地上の真理深度やそれに対応するステレオペアに高い依存度を持つことは不要である。 単眼深度推定の最近の進歩に触発されて、単眼画像から可塑性不均一マップを生成し、その欠陥不均一マップを慎重に設計したパイプラインに使用し、ステレオトレーニングペアを生成する。
  論文  参考訳（メタデータ） (2020-08-04T12:22:21Z)
• Auto-Rectify Network for Unsupervised Indoor Depth Estimation [119.82412041164372]
  ハンドヘルド環境に現れる複雑な自我運動が,学習深度にとって重要な障害であることが確認された。 本稿では,相対回転を除去してトレーニング画像の修正を効果的に行うデータ前処理手法を提案する。 その結果、従来の教師なしSOTA法よりも、難易度の高いNYUv2データセットよりも優れていた。
  論文  参考訳（メタデータ） (2020-06-04T08:59:17Z)
• Identity Enhanced Residual Image Denoising [61.75610647978973]
  我々は、アイデンティティマッピングモジュールのチェーンと、画像の復号化のための残像アーキテクチャの残像からなる、完全な畳み込みネットワークモデルを学ぶ。 提案するネットワークは,従来の最先端・CNNアルゴリズムよりも極めて高い数値精度と画像品質を実現している。
  論文  参考訳（メタデータ） (2020-04-26T04:52:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。