論文の概要: PoseGAN: A Pose-to-Image Translation Framework for Camera Localization
- arxiv url: http://arxiv.org/abs/2006.12712v1
- Date: Tue, 23 Jun 2020 03:15:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-17 23:36:49.318168
- Title: PoseGAN: A Pose-to-Image Translation Framework for Camera Localization
- Title(参考訳): PoseGAN: カメラローカライゼーションのためのPose-to-Image翻訳フレームワーク
- Authors: Kanglin Liu and Qing Li and Guoping Qiu
- Abstract要約: 本稿では,pse-to-image翻訳の実装のための条件付き生成対向ネットワーク(cGAN)ベースのフレームワークであるPoseGANを提案する。
PoseGANは、カメラのローカライゼーションを行うための距離メートル法に基づく条件判別器や、生成されたカメラ画像のポーズ推定技術など、多くの革新を特徴としている。
- 参考スコア(独自算出の注目度): 19.633294610139234
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Camera localization is a fundamental requirement in robotics and computer
vision. This paper introduces a pose-to-image translation framework to tackle
the camera localization problem. We present PoseGANs, a conditional generative
adversarial networks (cGANs) based framework for the implementation of
pose-to-image translation. PoseGANs feature a number of innovations including a
distance metric based conditional discriminator to conduct camera localization
and a pose estimation technique for generated camera images as a stronger
constraint to improve camera localization performance. Compared with
learning-based regression methods such as PoseNet, PoseGANs can achieve better
performance with model sizes that are 70% smaller. In addition, PoseGANs
introduce the view synthesis technique to establish the correspondence between
the 2D images and the scene, \textit{i.e.}, given a pose, PoseGANs are able to
synthesize its corresponding camera images. Furthermore, we demonstrate that
PoseGANs differ in principle from structure-based localization and
learning-based regressions for camera localization, and show that PoseGANs
exploit the geometric structures to accomplish the camera localization task,
and is therefore more stable than and superior to learning-based regressions
which rely on local texture features instead. In addition to camera
localization and view synthesis, we also demonstrate that PoseGANs can be
successfully used for other interesting applications such as moving object
elimination and frame interpolation in video sequences.
- Abstract(参考訳): カメラのローカライゼーションはロボットとコンピュータビジョンの基本的な要件である。
本稿では,カメラのローカライゼーション問題に対処するためのポーズ・ツー・イメージ翻訳フレームワークを提案する。
本稿では,pse-to-image翻訳の実装のための条件付き生成対向ネットワーク(cGAN)ベースのフレームワークであるPoseGANを提案する。
PoseGANは、カメラのローカライゼーションを行う距離メートル法に基づく条件判別器や、カメラのローカライゼーション性能を改善するための強い制約として生成されたカメラ画像のポーズ推定技術など、多くの革新を特徴としている。
PoseNetのような学習ベースの回帰手法と比較して、PoseGANsは70%小さいモデルサイズでより良いパフォーマンスを達成することができる。
また、2d画像とシーンの対応を確立するためにビュー合成技術も導入されており、ポーズが与えられると、対応するカメラ画像を合成することができる。
さらに,ポセガンは,カメラの局所化や学習に基づく回帰とは原理的に異なることを示し,ポセガンが幾何学的構造を利用してカメラの局所化タスクを遂行していることを示し,それゆえ,局所的なテクスチャ特徴に依存する学習ベースの回帰よりもより安定であることを示した。
カメラのローカライゼーションやビュー合成に加えて,PoseGANsは動画シーケンスにおける移動物体の除去やフレーム補間など,他の興味深い応用にも有効であることを示す。
関連論文リスト
- Cameras as Rays: Pose Estimation via Ray Diffusion [57.32374715650491]
カメラのポーズを推定することは3D再構築の基本的な課題であり、まばらな視点では依然として挑戦的である。
本稿では,カメラを光束として扱うカメラポーズの分散表現を提案する。
提案手法は回帰法と拡散法の両方で,CO3Dのカメラポーズ推定における最先端性能を示す。
論文 参考訳(メタデータ) (2024-02-22T18:59:56Z) - CBARF: Cascaded Bundle-Adjusting Neural Radiance Fields from Imperfect
Camera Poses [23.427859480410934]
本稿では,カメラポーズの同時最適化を可能にする新しい3次元再構成フレームワークを提案する。
簡単に言えば、我々のフレームワークは、粗い方法でカメラのポーズを最適化し、修正されたポーズに基づいてシーンを再構築する。
CBARFモデルはポーズ最適化と新しいビュー合成の両方において最先端の性能を実現することを示す。
論文 参考訳(メタデータ) (2023-10-15T08:34:40Z) - Pose-Free Generalizable Rendering Transformer [72.47072706742065]
PF-GRTは、Generalizable Rendering Transformer用のPose-Freeフレームワークである。
PF-GRTは局所相対座標系を用いてパラメータ化される。
データセットのゼロショットレンダリングによる実験では、フォトリアリスティック画像の生成において、優れた品質が得られることが明らかになった。
論文 参考訳(メタデータ) (2023-10-05T17:24:36Z) - ContraNeRF: 3D-Aware Generative Model via Contrastive Learning with
Unsupervised Implicit Pose Embedding [40.36882490080341]
暗黙のポーズ埋め込みを用いたコントラスト学習による新しい3D認識型GAN最適化手法を提案する。
判別器は、与えられた画像から高次元の暗黙のポーズ埋め込みを推定し、ポーズ埋め込みについて対照的な学習を行う。
提案手法は、カメラのポーズを検索したり推定したりしないため、標準カメラのポーズが未定義であるデータセットに使用できる。
論文 参考訳(メタデータ) (2023-04-27T07:53:13Z) - RelPose: Predicting Probabilistic Relative Rotation for Single Objects
in the Wild [73.1276968007689]
本稿では、任意のオブジェクトの複数の画像からカメラ視点を推定するデータ駆動手法について述べる。
本手法は, 画像の鮮明さから, 最先端のSfM法とSLAM法より優れていることを示す。
論文 参考訳(メタデータ) (2022-08-11T17:59:59Z) - ImPosIng: Implicit Pose Encoding for Efficient Camera Pose Estimation [2.6808541153140077]
暗黙の詩。
(ImPosing)はイメージとカメラのポーズを2つの別々のニューラルネットワークで共通の潜在表現に埋め込む。
階層的な方法で潜在空間を通して候補を評価することにより、カメラの位置と向きを直接回帰するのではなく、洗練する。
論文 参考訳(メタデータ) (2022-05-05T13:33:25Z) - A Critical Analysis of Image-based Camera Pose Estimation Techniques [18.566761146552537]
カメラのローカライゼーションは、自律運転、ロボットナビゲーション、拡張現実(AR)など、多くのコンピュータビジョン分野に恩恵をもたらす可能性がある
本調査では,まず,異なるサブタスクに応じて,カメラのローカライゼーションポーズの特定の適用領域と評価指標を紹介する。
論文 参考訳(メタデータ) (2022-01-15T09:57:45Z) - TransCamP: Graph Transformer for 6-DoF Camera Pose Estimation [77.09542018140823]
本稿では、カメラ再配置問題に対処するため、グラフトランスフォーマーバックボーン、すなわちTransCamPを用いたニューラルネットワークアプローチを提案する。
TransCamPは、画像の特徴、カメラポーズ情報、フレーム間の相対的なカメラモーションを、エンコードされたグラフ属性に効果的に融合する。
論文 参考訳(メタデータ) (2021-05-28T19:08:43Z) - GNeRF: GAN-based Neural Radiance Field without Posed Camera [67.80805274569354]
gnerf(generative adversarial networks (gan) とニューラルネットワークのラジアンスフィールド再構成を組み合わせるためのフレームワーク)を,未知のカメラポーズでさえも複雑なシナリオで導入する。
提案手法は, 従来は非常に難易度の高い, 繰り返しパターンや低テクスチャの場面において, ベースラインを良好に向上させる。
論文 参考訳(メタデータ) (2021-03-29T13:36:38Z) - Reference Pose Generation for Long-term Visual Localization via Learned
Features and View Synthesis [88.80710311624101]
本稿では,3次元モデルのレンダリングと実画像の特徴マッチングに基づく参照ポーズを生成するための半自動アプローチを提案する。
我々は、Aachen Day-Nightデータセットの夜間参照ポーズを大幅に改善し、最先端の視覚的ローカライゼーション手法が、オリジナルの参照ポーズによって予測されるよりも優れた(最大47%の)性能を示すことを示した。
論文 参考訳(メタデータ) (2020-05-11T15:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。