論文の概要: Neural Ray Surfaces for Self-Supervised Learning of Depth and Ego-motion

• arxiv url: http://arxiv.org/abs/2008.06630v1
• Date: Sat, 15 Aug 2020 02:29:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-28 20:53:36.907377
• Title: Neural Ray Surfaces for Self-Supervised Learning of Depth and Ego-motion
• Title（参考訳）: 深度とエゴモーションの自己教師付き学習のためのニューラルレイサーフェス
• Authors: Igor Vasiljevic, Vitor Guizilini, Rares Ambrus, Sudeep Pillai, Wolfram Burgard, Greg Shakhnarovich, Adrien Gaidon
• Abstract要約: カメラモデルの事前知識を必要とせずに、自己超越を用いて正確な深度とエゴモーション推定を学習できることが示される。 Grossberg と Nayar の幾何学モデルにインスパイアされた我々は、ピクセルワイド射影線を表す畳み込みネットワークである Neural Ray Surfaces (NRS) を導入する。 本研究では,多種多様なカメラシステムを用いて得られた生ビデオから,視覚計測の自己教師付き学習と深度推定にNRSを用いることを実証する。
• 参考スコア（独自算出の注目度）: 51.19260542887099
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning has emerged as a powerful tool for depth and ego-motion estimation, leading to state-of-the-art results on benchmark datasets. However, one significant limitation shared by current methods is the assumption of a known parametric camera model -- usually the standard pinhole geometry -- leading to failure when applied to imaging systems that deviate significantly from this assumption (e.g., catadioptric cameras or underwater imaging). In this work, we show that self-supervision can be used to learn accurate depth and ego-motion estimation without prior knowledge of the camera model. Inspired by the geometric model of Grossberg and Nayar, we introduce Neural Ray Surfaces (NRS), convolutional networks that represent pixel-wise projection rays, approximating a wide range of cameras. NRS are fully differentiable and can be learned end-to-end from unlabeled raw videos. We demonstrate the use of NRS for self-supervised learning of visual odometry and depth estimation from raw videos obtained using a wide variety of camera systems, including pinhole, fisheye, and catadioptric.
• Abstract（参考訳）: 自己教師型学習は、深度とエゴモーション推定の強力なツールとして登場し、ベンチマークデータセットの最先端結果につながっている。 しかし、現在の手法で共有されている1つの重要な制限は、既知のパラメトリックカメラモデル(通常は標準的なピンホール幾何学)の仮定であり、この仮定からかなり逸脱したイメージングシステム(例えば、白内障カメラや水中イメージング)に適用した場合に失敗する。 本研究は,カメラモデルの事前知識を必要とせず,正確な深度とエゴモーション推定を学習するために,自己監督が利用できることを示す。 Grossberg と Nayar の幾何学モデルにインスパイアされた我々は、幅広いカメラを近似する画素ワイド投影線を表す畳み込みネットワークである Neural Ray Surfaces (NRS) を導入する。 NRSは完全に差別化可能で、ラベルなしの生のビデオからエンドツーエンドで学習することができる。 我々は, ピンホール, 魚眼, カタディオプトリなど多種多様なカメラシステムを用いて得られた生ビデオから, 視覚計測の自己指導学習と深度推定にNRSを用いることを実証した。

関連論文リスト

• FisheyeDepth: A Real Scale Self-Supervised Depth Estimation Model for Fisheye Camera [8.502741852406904]
  魚眼カメラに適した自己監督深度推定モデルである魚眼深度について述べる。 魚眼カメラモデルを訓練中の投射と再投射の段階に組み込んで画像歪みの処理を行う。 また、連続するフレーム間の幾何学的投影に実際のポーズ情報を組み込んで、従来のポーズネットワークで推定されたポーズを置き換える。
  論文  参考訳（メタデータ） (2024-09-23T14:31:42Z)
• SelfTune: Metrically Scaled Monocular Depth Estimation through Self-Supervised Learning [53.78813049373321]
  本稿では,事前学習した教師付き単分子深度ネットワークに対する自己教師付き学習手法を提案する。 本手法は移動ロボットナビゲーションなどの様々な応用に有用であり,多様な環境に適用可能である。
  論文  参考訳（メタデータ） (2022-03-10T12:28:42Z)
• Self-Supervised Camera Self-Calibration from Video [34.35533943247917]
  汎用カメラモデルの効率的なファミリーを用いてシーケンスごとのキャリブレーションパラメータを回帰する学習アルゴリズムを提案する。 提案手法は,サブピクセル再投射誤差による自己校正を行い,他の学習手法よりも優れる。
  論文  参考訳（メタデータ） (2021-12-06T19:42:05Z)
• Depth360: Monocular Depth Estimation using Learnable Axisymmetric Camera Model for Spherical Camera Image [2.3859169601259342]
  魚眼カメラ画像が2つある球面カメラ画像の歪みを受け入れる学習可能な軸対称カメラモデルを提案する。 我々は、地中真相深度画像を生成するために、フォトリアリスティックシミュレータを用いてモデルを訓練した。 GO Stanford データセットの球面カメラ画像と KITTI データセットのピンホールカメラ画像を用いて,本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2021-10-20T07:21:04Z)
• Self-Calibrating Neural Radiance Fields [68.64327335620708]
  キャリブレーション対象のないシーンの幾何学と正確なカメラパラメータを共同で学習する。 我々のカメラモデルは、ピンホールモデル、第4次ラジアル歪み、および任意の非線形カメラ歪みを学習可能な汎用ノイズモデルで構成されている。
  論文  参考訳（メタデータ） (2021-08-31T13:34:28Z)
• DONet: Learning Category-Level 6D Object Pose and Size Estimation from Depth Observation [53.55300278592281]
  単一深度画像からカテゴリレベルの6次元オブジェクト・ポースとサイズ推定(COPSE)を提案する。 筆者らのフレームワークは,深度チャネルのみの物体のリッチな幾何学的情報に基づいて推論を行う。 我々のフレームワークは、ラベル付き現実世界の画像を必要とする最先端のアプローチと競合する。
  論文  参考訳（メタデータ） (2021-06-27T10:41:50Z)
• Wide-angle Image Rectification: A Survey [86.36118799330802]
  広角画像は、基礎となるピンホールカメラモデルに反する歪みを含む。 これらの歪みを補正することを目的とした画像修正は、これらの問題を解決することができる。 本稿では、異なるアプローチで使用されるカメラモデルについて、詳細な説明と議論を行う。 次に,従来の幾何学に基づく画像修正手法と深層学習法の両方について検討する。
  論文  参考訳（メタデータ） (2020-10-30T17:28:40Z)
• Neural Geometric Parser for Single Image Camera Calibration [17.393543270903653]
  そこで本研究では,人為的なシーンに対して,ニューラルネットワークによる一眼レフカメラキャリブレーションを提案する。 提案手法は意味的手法と幾何学的手法の両方を考慮し,精度を著しく向上させる。 実験の結果,既存の最先端カメラキャリブレーション技術に比べて,ニューラルネットワークの性能は著しく高いことがわかった。
  論文  参考訳（メタデータ） (2020-07-23T08:29:00Z)
• Consistent Video Depth Estimation [57.712779457632024]
  モノクロ映像中の全画素に対して, 密度, 幾何的に整合した深度を再構成するアルゴリズムを提案する。 動画中の画素の幾何的制約を確立するために、従来の動きから再構成した構造を利用する。 我々のアルゴリズムは、手持ちの映像をある程度のダイナミックな動きで処理することができる。
  論文  参考訳（メタデータ） (2020-04-30T17:59:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。