論文の概要: Robust Camera Pose Refinement for Multi-Resolution Hash Encoding

• arxiv url: http://arxiv.org/abs/2302.01571v1
• Date: Fri, 3 Feb 2023 06:49:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-06 17:02:31.612896
• Title: Robust Camera Pose Refinement for Multi-Resolution Hash Encoding
• Title（参考訳）: マルチリゾリューションハッシュ符号化のためのロバストカメラポース微細化
• Authors: Hwan Heo, Taekyung Kim, Jiyoung Lee, Jaewon Lee, Soohyun Kim, Hyunwoo J. Kim, Jin-Hwa Kim
• Abstract要約: ニューラルレンダリングの計算コストを削減するため,マルチレゾリューションハッシュ符号化が提案されている。 カメラのポーズを校正し、効率的なマルチ解像度ハッシュ符号化を用いて幾何学的表現を学習するための共同最適化アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 19.655282240361835
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Multi-resolution hash encoding has recently been proposed to reduce the computational cost of neural renderings, such as NeRF. This method requires accurate camera poses for the neural renderings of given scenes. However, contrary to previous methods jointly optimizing camera poses and 3D scenes, the naive gradient-based camera pose refinement method using multi-resolution hash encoding severely deteriorates performance. We propose a joint optimization algorithm to calibrate the camera pose and learn a geometric representation using efficient multi-resolution hash encoding. Showing that the oscillating gradient flows of hash encoding interfere with the registration of camera poses, our method addresses the issue by utilizing smooth interpolation weighting to stabilize the gradient oscillation for the ray samplings across hash grids. Moreover, the curriculum training procedure helps to learn the level-wise hash encoding, further increasing the pose refinement. Experiments on the novel-view synthesis datasets validate that our learning frameworks achieve state-of-the-art performance and rapid convergence of neural rendering, even when initial camera poses are unknown.
• Abstract（参考訳）: 最近では、NeRFなどのニューラルレンダリングの計算コストを削減するために、マルチレゾリューションハッシュ符号化が提案されている。 この方法は、与えられたシーンのニューラルなレンダリングに対して正確なカメラポーズを必要とする。 しかし、カメラポーズと3Dシーンを協調的に最適化する従来の手法とは対照的に、マルチレゾリューションハッシュを符号化したナイーブ勾配カメラポーズ改善法は、性能が著しく低下する。 本論文では,高効率マルチレゾリューションハッシュ符号化を用いたカメラポーズの校正と幾何表現の学習のための統合最適化アルゴリズムを提案する。 カメラの登録に干渉するハッシュ符号化の発振勾配流れを示すため,スムーズな補間重み付けを用いてハッシュグリッドをまたいだレイサンプリングの勾配振動を安定化させることにより,この問題に対処する。 さらに、カリキュラムトレーニング手順は、レベルワイズハッシュエンコーディングを学習し、さらにポーズリファインメントを増加させるのに役立つ。 新規視点合成データセットの実験により、初期カメラのポーズが未知であっても、我々の学習フレームワークが最先端の性能とニューラルレンダリングの迅速な収束を達成することを確認した。

関連論文リスト

• A Construct-Optimize Approach to Sparse View Synthesis without Camera Pose [44.13819148680788]
  カメラポーズを伴わないスパースビュー合成のための新しい構成と最適化手法を開発した。 具体的には、単分子深度と画素を3次元の世界に投影することで、解を構築する。 タンク・アンド・テンプル・アンド・スタティック・ハイクスのデータセットに3つの広い範囲のビューで結果を示す。
  論文  参考訳（メタデータ） (2024-05-06T17:36:44Z)
• VICAN: Very Efficient Calibration Algorithm for Large Camera Networks [49.17165360280794]
  ポースグラフ最適化手法を拡張する新しい手法を提案する。 我々は、カメラを含む二部グラフ、オブジェクトの動的進化、各ステップにおけるカメラオブジェクト間の相対変換について考察する。 我々のフレームワークは従来のPGOソルバとの互換性を維持しているが、その有効性はカスタマイズされた最適化方式の恩恵を受けている。
  論文  参考訳（メタデータ） (2024-03-25T17:47:03Z)
• SpikeReveal: Unlocking Temporal Sequences from Real Blurry Inputs with Spike Streams [44.02794438687478]
  スパイクカメラは、動きの特徴を捉え、この不適切な問題を解くのに有効であることが証明されている。 既存の手法は教師付き学習パラダイムに陥り、現実のシナリオに適用した場合、顕著なパフォーマンス劣化に悩まされる。 本研究では,スパイク誘導動作の劣化に対する最初の自己教師型フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-14T15:29:09Z)
• Learning Robust Multi-Scale Representation for Neural Radiance Fields from Unposed Images [65.41966114373373]
  コンピュータビジョンにおけるニューラルイメージベースのレンダリング問題に対する改善された解決策を提案する。 提案手法は,テスト時に新たな視点からシーンのリアルなイメージを合成することができる。
  論文  参考訳（メタデータ） (2023-11-08T08:18:23Z)
• Towards Nonlinear-Motion-Aware and Occlusion-Robust Rolling Shutter Correction [54.00007868515432]
  既存の手法では、一様速度仮定による補正の精度を推定する上で、課題に直面している。 本稿では,個々の画素の高次補正場を正確に推定する,幾何的回転シャッター(QRS)運動解法を提案する。 提案手法は,Carla-RS,Fastec-RS,BS-RSCの各データセット上で,PSNRの+4.98,+0.77,+4.33を超える。
  論文  参考訳（メタデータ） (2023-03-31T15:09:18Z)
• Self-Supervised Camera Self-Calibration from Video [34.35533943247917]
  汎用カメラモデルの効率的なファミリーを用いてシーケンスごとのキャリブレーションパラメータを回帰する学習アルゴリズムを提案する。 提案手法は,サブピクセル再投射誤差による自己校正を行い,他の学習手法よりも優れる。
  論文  参考訳（メタデータ） (2021-12-06T19:42:05Z)
• Learning a Model-Driven Variational Network for Deformable Image Registration [89.9830129923847]
  VR-Netは、教師なしの変形可能な画像登録のための新しいカスケード可変ネットワークである。 登録精度において最先端のディープラーニング手法よりも優れています。 ディープラーニングの高速推論速度と変分モデルのデータ効率を維持している。
  論文  参考訳（メタデータ） (2021-05-25T21:37:37Z)
• Learning Spatial and Spatio-Temporal Pixel Aggregations for Image and Video Denoising [104.59305271099967]
  ピクセル集計ネットワークを提示し、画像デノイジングのためのピクセルサンプリングと平均戦略を学びます。 時間空間にまたがるサンプル画素をビデオデノナイズするための画素集約ネットワークを開発した。 本手法は,動的シーンにおける大きな動きに起因する誤認問題を解決することができる。
  論文  参考訳（メタデータ） (2021-01-26T13:00:46Z)
• Robust Consistent Video Depth Estimation [65.53308117778361]
  本稿では,単眼映像からカメラのカメラポーズと密集した深度マップを推定するアルゴリズムを提案する。 本手法は,(1)低周波大規模アライメントのためのフレキシブルな変形-スプラインと(2)細部奥行き詳細の高周波アライメントのための幾何認識深度フィルタリングとを組み合わせた手法である。 従来の手法とは対照的に, カメラのポーズを入力として必要とせず, かなりの音量, 揺動, 動きのぼやき, 転がりシャッター変形を含む携帯のハンドヘルドキャプチャに頑健な再構成を実現する。
  論文  参考訳（メタデータ） (2020-12-10T18:59:48Z)
• IMU-Assisted Learning of Single-View Rolling Shutter Correction [16.242924916178282]
  ローリングシャッター歪みは、写真やコンピュータビジョンアルゴリズムにとって非常に望ましくない。 回転シャッター補正のための1つの画像から深度と行ワイドポーズを予測するディープニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2020-11-05T21:33:25Z)
• u-net CNN based fourier ptychography [5.46367622374939]
  本稿では,畳み込みニューラルネットワークに基づく新しい検索アルゴリズムを提案する。 実験により, システム収差下において, 再現性が向上し, より堅牢であることが確認された。
  論文  参考訳（メタデータ） (2020-03-16T22:48:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。