論文の概要: Deep Single Image Camera Calibration by Heatmap Regression to Recover Fisheye Images Under Manhattan World Assumption

• arxiv url: http://arxiv.org/abs/2303.17166v2
• Date: Sat, 1 Jun 2024 22:06:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 23:35:51.748176
• Title: Deep Single Image Camera Calibration by Heatmap Regression to Recover Fisheye Images Under Manhattan World Assumption
• Title（参考訳）: マンハッタン世界推定下の魚眼画像復元のためのヒートマップ回帰による深部単眼カメラの校正
• Authors: Nobuhiko Wakai, Satoshi Sato, Yasunori Ishii, Takayoshi Yamashita,
• Abstract要約: 立方体建物に沿って横たわるマンハッタンの世界は、カメラの角度推定に役立ちます。 ラベル付き画像座標の向きを検出するために,熱マップ回帰を用いた学習に基づく校正手法を提案する。 提案手法は,大規模データセットやオフザシェルフカメラにおいて,従来の手法よりも優れている。
• 参考スコア（独自算出の注目度）: 9.018416031676136
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: A Manhattan world lying along cuboid buildings is useful for camera angle estimation. However, accurate and robust angle estimation from fisheye images in the Manhattan world has remained an open challenge because general scene images tend to lack constraints such as lines, arcs, and vanishing points. To achieve higher accuracy and robustness, we propose a learning-based calibration method that uses heatmap regression, which is similar to pose estimation using keypoints, to detect the directions of labeled image coordinates. Simultaneously, our two estimators recover the rotation and remove fisheye distortion by remapping from a general scene image. Without considering vanishing-point constraints, we find that additional points for learning-based methods can be defined. To compensate for the lack of vanishing points in images, we introduce auxiliary diagonal points that have the optimal 3D arrangement of spatial uniformity. Extensive experiments demonstrated that our method outperforms conventional methods on large-scale datasets and with off-the-shelf cameras.
• Abstract（参考訳）: 立方体建物に沿って横たわるマンハッタンの世界は、カメラの角度推定に役立ちます。 しかしながら、マンハッタンの世界における魚眼画像からの正確で頑健な角度推定は、一般的なシーン画像は線、弧、消滅点などの制約を欠いているため、未解決の課題である。 高い精度とロバスト性を達成するために,キーポイントを用いたポーズ推定に類似した熱マップ回帰を用いた学習ベースキャリブレーション手法を提案し,ラベル付き画像座標の方向を検出する。 同時に、我々の2つの推定器は、一般的なシーンイメージから再マッピングすることで、回転を回復し、魚眼の歪みを取り除く。 ゼロ点制約を考慮せずに、学習に基づく手法のための追加のポイントを定義することができる。 画像の消失点の欠如を補うため,空間的均一性の最適3次元配置を有する補助的対角点を導入する。 大規模データセットやオフザシェルフカメラにおいて,本手法が従来の手法よりも優れていることを示した。

関連論文リスト

• FaVoR: Features via Voxel Rendering for Camera Relocalization [23.7893950095252]
  カメラ再ローカライズ手法は、高密度画像アライメントから、クエリ画像からの直接カメラポーズ回帰まで様々である。 本稿では,世界規模で疎密だが局所的に密集した2次元特徴の3次元表現を活用する新しい手法を提案する。 一連のフレーム上でのランドマークの追跡と三角測量により、追跡中に観察された画像パッチ記述子をレンダリングするために最適化されたスパースボクセルマップを構築する。
  論文  参考訳（メタデータ） (2024-09-11T18:58:16Z)
• RoFIR: Robust Fisheye Image Rectification Framework Impervious to Optical Center Deviation [88.54817424560056]
  局所歪みの度合いと方向を測定する歪みベクトルマップ(DVM)を提案する。 DVMを学習することで、大域的な歪みパターンに頼ることなく、各ピクセルの局所歪みを独立に識別することができる。 事前学習段階では、歪みベクトルマップを予測し、各画素の局所歪み特徴を知覚する。 微調整段階では、魚眼画像修正のための画素単位のフローマップを予測する。
  論文  参考訳（メタデータ） (2024-06-27T06:38:56Z)
• Depth-Regularized Optimization for 3D Gaussian Splatting in Few-Shot Images [47.14713579719103]
  オーバーフィッティングを緩和するための幾何ガイドとして,密集深度マップを導入する。 調整された深度は3Dガウススプラッティングのカラーベース最適化に有効である。 提案手法は,NeRF-LLFFデータセット上で,少ない画像数で検証する。
  論文  参考訳（メタデータ） (2023-11-22T13:53:04Z)
• FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
  本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。 本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
  論文  参考訳（メタデータ） (2023-08-10T17:55:02Z)
• Towards Accurate Reconstruction of 3D Scene Shape from A Single Monocular Image [91.71077190961688]
  まず、未知のスケールまで深さを予測し、単一の単眼画像からシフトする2段階のフレームワークを提案する。 次に、3Dポイントの雲のデータを利用して、奥行きの変化とカメラの焦点距離を予測し、3Dシーンの形状を復元します。 我々は9つの未知のデータセットで深度モデルを検証し、ゼロショット評価で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-08-28T16:20:14Z)
• Rethinking Generic Camera Models for Deep Single Image Camera Calibration to Recover Rotation and Fisheye Distortion [8.877834897951578]
  本稿では,様々な歪みに対処可能な汎用カメラモデルを提案する。 提案手法は,市販の魚眼カメラで撮影した2つの大規模データセットと画像に対して,従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-11-25T05:58:23Z)
• PICCOLO: Point Cloud-Centric Omnidirectional Localization [20.567452635590943]
  一方向局所化のための単純かつ効率的なアルゴリズムであるPICCOLOを提案する。 私たちのパイプラインは、クエリとして与えられた単一のイメージで、既定の方法で動作します。 PICCOLOは、様々な環境で評価された場合、既存の全方位ローカライゼーションアルゴリズムよりも精度と安定性が優れている。
  論文  参考訳（メタデータ） (2021-08-14T14:19:37Z)
• Learning to Recover 3D Scene Shape from a Single Image [98.20106822614392]
  まず,未知のスケールまで深さを予測し,単一の単眼画像からシフトする2段階フレームワークを提案する。 そして、3dポイントクラウドエンコーダを使って深度シフトと焦点距離を予測し、リアルな3dシーンの形状を復元します。
  論文  参考訳（メタデータ） (2020-12-17T02:35:13Z)
• Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled Representation [57.11299763566534]
  空間校正カメラで撮影した多視点画像から3次元ポーズを復元する手法を提案する。 我々は3次元形状を利用して、入力画像をカメラ視点から切り離したポーズの潜在表現に融合する。 アーキテクチャは、カメラプロジェクション演算子に学習した表現を条件付け、ビュー当たりの正確な2次元検出を生成する。
  論文  参考訳（メタデータ） (2020-04-05T12:52:29Z)
• Occlusion-Aware Depth Estimation with Adaptive Normal Constraints [85.44842683936471]
  カラービデオから多フレーム深度を推定する新しい学習手法を提案する。 本手法は深度推定精度において最先端の手法より優れる。
  論文  参考訳（メタデータ） (2020-04-02T07:10:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。