論文の概要: GeoCalib: Learning Single-image Calibration with Geometric Optimization

• arxiv url: http://arxiv.org/abs/2409.06704v1
• Date: Tue, 10 Sep 2024 17:59:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-11 16:23:35.036581
• Title: GeoCalib: Learning Single-image Calibration with Geometric Optimization
• Title（参考訳）: GeoCalib: 幾何学最適化による単一画像校正学習
• Authors: Alexander Veicht, Paul-Edouard Sarlin, Philipp Lindenberger, Marc Pollefeys,
• Abstract要約: 単一の画像から視覚的な手がかりは、焦点距離や重力方向などの内在的および外在的なカメラパラメータを推定するのに役立ちます。 この問題に対する現在のアプローチは、行と消滅点を持つ古典幾何学か、エンドツーエンドで訓練されたディープニューラルネットワークに基づいている。 最適化プロセスを通じて3次元幾何学の普遍的な規則を利用するディープニューラルネットワークであるGeoCalibを紹介する。
• 参考スコア（独自算出の注目度）: 89.84142934465685
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: From a single image, visual cues can help deduce intrinsic and extrinsic camera parameters like the focal length and the gravity direction. This single-image calibration can benefit various downstream applications like image editing and 3D mapping. Current approaches to this problem are based on either classical geometry with lines and vanishing points or on deep neural networks trained end-to-end. The learned approaches are more robust but struggle to generalize to new environments and are less accurate than their classical counterparts. We hypothesize that they lack the constraints that 3D geometry provides. In this work, we introduce GeoCalib, a deep neural network that leverages universal rules of 3D geometry through an optimization process. GeoCalib is trained end-to-end to estimate camera parameters and learns to find useful visual cues from the data. Experiments on various benchmarks show that GeoCalib is more robust and more accurate than existing classical and learned approaches. Its internal optimization estimates uncertainties, which help flag failure cases and benefit downstream applications like visual localization. The code and trained models are publicly available at https://github.com/cvg/GeoCalib.
• Abstract（参考訳）: 単一の画像から視覚的な手がかりは、焦点距離や重力方向などの内在的および外在的なカメラパラメータを推定するのに役立ちます。 このシングルイメージキャリブレーションは、画像編集や3Dマッピングなど、さまざまなダウンストリームアプリケーションに役立てることができる。 この問題に対する現在のアプローチは、行と消滅点を持つ古典幾何学か、エンドツーエンドで訓練されたディープニューラルネットワークに基づいている。 学習されたアプローチはより堅牢だが、新しい環境への一般化に苦慮し、従来のアプローチよりも正確ではない。 我々は、それらが3次元幾何学が提供する制約を欠いていると仮定する。 本研究では,最適化プロセスを通じて3次元幾何の普遍的規則を利用するディープニューラルネットワークであるGeoCalibを紹介する。 GeoCalibは、カメラパラメータを推定するためにエンドツーエンドでトレーニングされ、データから有用な視覚的手がかりを見つけることを学ぶ。 様々なベンチマーク実験により、GeoCalibは既存の古典的および学習的アプローチよりも堅牢で正確であることが示されている。 内部最適化では不確実性を見積もっているため,障害ケースのフラグ付けや,視覚的なローカライゼーションなどの下流アプリケーションへのメリットが期待できる。 コードとトレーニングされたモデルはhttps://github.com/cvg/GeoCalib.comで公開されている。

関連論文リスト

• GeoLRM: Geometry-Aware Large Reconstruction Model for High-Quality 3D Gaussian Generation [65.33726478659304]
  GeoLRM(Geometry-Aware Large Restruction Model)は、512kガウスと21の入力画像で11GBのGPUメモリで高品質な資産を予測できる手法である。 従来の作品では、3D構造の本質的な空間性は無視されており、3D画像と2D画像の間の明示的な幾何学的関係は利用されていない。 GeoLRMは、3Dポイントを直接処理し、変形可能なクロスアテンション機構を使用する新しい3D対応トランスフォーマー構造を導入することで、これらの問題に対処する。
  論文  参考訳（メタデータ） (2024-06-21T17:49:31Z)
• Depth-Regularized Optimization for 3D Gaussian Splatting in Few-Shot Images [47.14713579719103]
  オーバーフィッティングを緩和するための幾何ガイドとして,密集深度マップを導入する。 調整された深度は3Dガウススプラッティングのカラーベース最適化に有効である。 提案手法は,NeRF-LLFFデータセット上で,少ない画像数で検証する。
  論文  参考訳（メタデータ） (2023-11-22T13:53:04Z)
• FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
  本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。 本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
  論文  参考訳（メタデータ） (2023-08-10T17:55:02Z)
• NeuroGF: A Neural Representation for Fast Geodesic Distance and Path Queries [77.04220651098723]
  本稿では,ニューラル暗黙関数を用いた3次元メッシュモデル上での測地線表現の試みについて述べる。 具体的には、与えられたメッシュの全対測地線を表現するために学習されたニューロ測地場(NeuroGF)を紹介する。 NeuroGFは、単一ソースのオールデスティネーション(SSAD)とポイント・ツー・ポイントの測地学を解く上で、非常に優れた性能を示す。
  論文  参考訳（メタデータ） (2023-06-01T13:32:21Z)
• GeoNeRF: Generalizing NeRF with Geometry Priors [2.578242050187029]
  ニューラルラジアンス場に基づく一般化可能なフォトリアリスティック・ノベルビュー手法GeoNeRFを提案する。 我々のアプローチは、幾何学的推論と合成という2つの主要な段階から構成される。 実験により、GeoNeRFは様々な合成および実際のデータセット上で、最先端の一般化可能なニューラルネットワークレンダリングモデルより優れていることが示された。
  論文  参考訳（メタデータ） (2021-11-26T15:15:37Z)
• Self-Calibrating Neural Radiance Fields [68.64327335620708]
  キャリブレーション対象のないシーンの幾何学と正確なカメラパラメータを共同で学習する。 我々のカメラモデルは、ピンホールモデル、第4次ラジアル歪み、および任意の非線形カメラ歪みを学習可能な汎用ノイズモデルで構成されている。
  論文  参考訳（メタデータ） (2021-08-31T13:34:28Z)
• Back to the Feature: Learning Robust Camera Localization from Pixels to Pose [114.89389528198738]
  画像と3Dモデルから正確な6-DoFのポーズを推定するシーンに依存しないニューラルネットワークPixLocを導入する。 このシステムは、粗いポーズ前の大きな環境でもローカライズできるが、スパース特徴マッチングの精度も向上する。
  論文  参考訳（メタデータ） (2021-03-16T17:40:12Z)
• Towards Dense People Detection with Deep Learning and Depth images [9.376814409561726]
  本稿では,1つの深度画像から複数の人物を検出するDNNシステムを提案する。 我々のニューラルネットワークは深度画像を処理し、画像座標の確率マップを出力する。 我々は、この戦略が効果的であることを示し、トレーニング中に使用するものと異なるシーンで動作するように一般化したネットワークを創出する。
  論文  参考訳（メタデータ） (2020-07-14T16:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。