論文の概要: FisheyeDepth: A Real Scale Self-Supervised Depth Estimation Model for Fisheye Camera
- arxiv url: http://arxiv.org/abs/2409.15054v1
- Date: Mon, 23 Sep 2024 14:31:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-26 14:44:12.221606
- Title: FisheyeDepth: A Real Scale Self-Supervised Depth Estimation Model for Fisheye Camera
- Title（参考訳）: FisheyeDepth:魚眼カメラのリアルタイム自己監督深度推定モデル
- Authors: Guoyang Zhao, Yuxuan Liu, Weiqing Qi, Fulong Ma, Ming Liu, Jun Ma,
- Abstract要約: 魚眼カメラに適した自己監督深度推定モデルである魚眼深度について述べる。
魚眼カメラモデルを訓練中の投射と再投射の段階に組み込んで画像歪みの処理を行う。
また、連続するフレーム間の幾何学的投影に実際のポーズ情報を組み込んで、従来のポーズネットワークで推定されたポーズを置き換える。
- 参考スコア（独自算出の注目度）: 8.502741852406904
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Accurate depth estimation is crucial for 3D scene comprehension in robotics and autonomous vehicles. Fisheye cameras, known for their wide field of view, have inherent geometric benefits. However, their use in depth estimation is restricted by a scarcity of ground truth data and image distortions. We present FisheyeDepth, a self-supervised depth estimation model tailored for fisheye cameras. We incorporate a fisheye camera model into the projection and reprojection stages during training to handle image distortions, thereby improving depth estimation accuracy and training stability. Furthermore, we incorporate real-scale pose information into the geometric projection between consecutive frames, replacing the poses estimated by the conventional pose network. Essentially, this method offers the necessary physical depth for robotic tasks, and also streamlines the training and inference procedures. Additionally, we devise a multi-channel output strategy to improve robustness by adaptively fusing features at various scales, which reduces the noise from real pose data. We demonstrate the superior performance and robustness of our model in fisheye image depth estimation through evaluations on public datasets and real-world scenarios. The project website is available at: https://github.com/guoyangzhao/FisheyeDepth.
- Abstract（参考訳）: ロボット工学や自動運転車の3Dシーン理解には正確な深度推定が不可欠である。
魚眼カメラは広い視野で知られており、固有の幾何学的利点がある。
しかし、深度推定におけるそれらの利用は、地上の真実データや画像歪みの不足によって制限される。
魚眼カメラに適した自己監督深度推定モデルである魚眼深度について述べる。
魚眼カメラモデルを訓練中の投射・再投射段階に組み込んで画像歪みを処理し,深度推定精度と訓練安定性を向上させる。
さらに,実際のポーズ情報を連続するフレーム間の幾何学的投影に組み込んで,従来のポーズネットワークから推定されるポーズを置き換える。
基本的に、この方法はロボット作業に必要な物理深度を提供し、トレーニングと推論の手順を合理化する。
さらに,様々なスケールの機能を適応的に融合させることにより,ロバスト性を向上させるマルチチャネル出力戦略を考案し,実際のポーズデータからノイズを低減する。
魚眼画像深度推定における本モデルの優れた性能とロバスト性を示す。
プロジェクトのWebサイトは、https://github.com/guoyangzhao/FisheyeDepth.comで公開されている。
関連論文リスト
- FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。
本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
論文 参考訳（メタデータ） (2023-08-10T17:55:02Z) - Towards Accurate Reconstruction of 3D Scene Shape from A Single
Monocular Image [91.71077190961688]
まず、未知のスケールまで深さを予測し、単一の単眼画像からシフトする2段階のフレームワークを提案する。
次に、3Dポイントの雲のデータを利用して、奥行きの変化とカメラの焦点距離を予測し、3Dシーンの形状を復元します。
我々は9つの未知のデータセットで深度モデルを検証し、ゼロショット評価で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2022-08-28T16:20:14Z) - Improving Depth Estimation using Location Information [0.0]
本稿では,自己教師型深度学習法の改良を行い,高精度な単眼深度推定を行う。
主なアイデアは、異なるフレームのシーケンスを考慮に入れたディープモデルをトレーニングすることであり、各フレームはその位置情報でタグ付けされる。
論文 参考訳（メタデータ） (2021-12-27T22:30:14Z) - Depth360: Monocular Depth Estimation using Learnable Axisymmetric Camera
Model for Spherical Camera Image [2.3859169601259342]
魚眼カメラ画像が2つある球面カメラ画像の歪みを受け入れる学習可能な軸対称カメラモデルを提案する。
我々は、地中真相深度画像を生成するために、フォトリアリスティックシミュレータを用いてモデルを訓練した。
GO Stanford データセットの球面カメラ画像と KITTI データセットのピンホールカメラ画像を用いて,本手法の有効性を実証した。
論文 参考訳（メタデータ） (2021-10-20T07:21:04Z) - Learning to Recover 3D Scene Shape from a Single Image [98.20106822614392]
まず,未知のスケールまで深さを予測し,単一の単眼画像からシフトする2段階フレームワークを提案する。
そして、3dポイントクラウドエンコーダを使って深度シフトと焦点距離を予測し、リアルな3dシーンの形状を復元します。
論文 参考訳（メタデータ） (2020-12-17T02:35:13Z) - Robust Consistent Video Depth Estimation [65.53308117778361]
本稿では,単眼映像からカメラのカメラポーズと密集した深度マップを推定するアルゴリズムを提案する。
本手法は,(1)低周波大規模アライメントのためのフレキシブルな変形-スプラインと(2)細部奥行き詳細の高周波アライメントのための幾何認識深度フィルタリングとを組み合わせた手法である。
従来の手法とは対照的に, カメラのポーズを入力として必要とせず, かなりの音量, 揺動, 動きのぼやき, 転がりシャッター変形を含む携帯のハンドヘルドキャプチャに頑健な再構成を実現する。
論文 参考訳（メタデータ） (2020-12-10T18:59:48Z) - Variational Monocular Depth Estimation for Reliability Prediction [12.951621755732544]
教師付き学習手法の代替として,単眼深度推定のための自己教師付き学習が広く研究されている。
従来はモデル構造の変更による深度推定の精度向上に成功している。
本稿では, 単眼深度推定のための変分モデルを理論的に定式化し, 推定深度画像の信頼性を推定する。
論文 参考訳（メタデータ） (2020-11-24T06:23:51Z) - Neural Ray Surfaces for Self-Supervised Learning of Depth and Ego-motion [51.19260542887099]
カメラモデルの事前知識を必要とせずに、自己超越を用いて正確な深度とエゴモーション推定を学習できることが示される。
Grossberg と Nayar の幾何学モデルにインスパイアされた我々は、ピクセルワイド射影線を表す畳み込みネットワークである Neural Ray Surfaces (NRS) を導入する。
本研究では,多種多様なカメラシステムを用いて得られた生ビデオから,視覚計測の自己教師付き学習と深度推定にNRSを用いることを実証する。
論文 参考訳（メタデータ） (2020-08-15T02:29:13Z) - SynDistNet: Self-Supervised Monocular Fisheye Camera Distance Estimation
Synergized with Semantic Segmentation for Autonomous Driving [37.50089104051591]
モノクル深度推定のための最先端の自己教師型学習アプローチは、通常、スケールの曖昧さに悩まされる。
本稿では,魚眼カメラ画像とピンホールカメラ画像の自己教師付き単眼距離推定を改善するための,新しいマルチタスク学習手法を提案する。
論文 参考訳（メタデータ） (2020-08-10T10:52:47Z) - Video Depth Estimation by Fusing Flow-to-Depth Proposals [65.24533384679657]
本稿では,映像深度推定のためのフロー・ツー・ディープス・レイヤの異なる手法を提案する。
モデルは、フロー・トゥ・ディープス層、カメラ・ポーズ・リファインメント・モジュール、ディープ・フュージョン・ネットワークから構成される。
提案手法は,最先端の深度推定法より優れ,合理的なデータセット一般化能力を有する。
論文 参考訳（メタデータ） (2019-12-30T10:45:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。