論文の概要: Fine Dense Alignment of Image Bursts through Camera Pose and Depth Estimation

• arxiv url: http://arxiv.org/abs/2312.05190v1
• Date: Fri, 8 Dec 2023 17:22:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-11 14:24:54.460757
• Title: Fine Dense Alignment of Image Bursts through Camera Pose and Depth Estimation
• Title（参考訳）: カメラポーズと深度推定による画像バーストの微細密配列
• Authors: Bruno Lecouat, Yann Dubois de Mont-Marin, Th\'eo Bodrito, Julien Mairal, Jean Ponce
• Abstract要約: 本稿では,ハンドヘルドカメラが捉えたバースト内の画像の微細なアライメントに対する新しいアプローチを提案する。 提案アルゴリズムは、各画素におけるカメラの動きと表面の深さと向きの両方を最適化することにより、密度の高い対応性を確立する。
• 参考スコア（独自算出の注目度）: 45.11207941777178
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This paper introduces a novel approach to the fine alignment of images in a burst captured by a handheld camera. In contrast to traditional techniques that estimate two-dimensional transformations between frame pairs or rely on discrete correspondences, the proposed algorithm establishes dense correspondences by optimizing both the camera motion and surface depth and orientation at every pixel. This approach improves alignment, particularly in scenarios with parallax challenges. Extensive experiments with synthetic bursts featuring small and even tiny baselines demonstrate that it outperforms the best optical flow methods available today in this setting, without requiring any training. Beyond enhanced alignment, our method opens avenues for tasks beyond simple image restoration, such as depth estimation and 3D reconstruction, as supported by promising preliminary results. This positions our approach as a versatile tool for various burst image processing applications.
• Abstract（参考訳）: 本稿では,ハンドヘルドカメラが捉えたバースト内の画像の微細なアライメントに対する新しいアプローチを提案する。 フレーム対間の二次元変換を推定したり、離散対応に依存する従来の手法とは対照的に、提案されたアルゴリズムは、各画素のカメラの動きと表面深度と方向の両方を最適化することで、密対応を確立する。 このアプローチは、特にパララックス問題のあるシナリオにおいて、アライメントを改善する。 小さくて小さなベースラインを特徴とする合成バーストによる広範囲な実験は、トレーニングを必要とせず、この設定で現在利用可能な最高の光フローメソッドを上回っていることを示している。 強化されたアライメントを超えて,本手法では,予備的な結果が期待できるように,奥行き推定や3次元再構成など,単純な画像復元以上の課題への道を開く。 これは、様々なバースト画像処理アプリケーションのための汎用ツールとして当社のアプローチを位置づけている。

関連論文リスト

• FlowMap: High-Quality Camera Poses, Intrinsics, and Depth via Gradient Descent [19.977807508281835]
  FlowMapは、正確なカメラポーズ、カメラ内在、およびビデオシーケンスのフレーム毎の密度の深さを解決する、エンドツーエンドの微分可能な方法である。 提案手法は,最小2乗の目的をビデオごとの勾配差最小化する。 提案手法によって得られたカメラパラメータと密度深度は,360度軌道上での光リアルな新規ビュー合成を可能にすることを実証的に示す。
  論文  参考訳（メタデータ） (2024-04-23T17:46:50Z)
• Towards Scalable Multi-View Reconstruction of Geometry and Materials [27.660389147094715]
  本稿では,3次元シーンのカメラポーズ,オブジェクト形状,空間変化の両方向反射分布関数(svBRDF)のジョイントリカバリ手法を提案する。 入力は高解像度のRGBD画像であり、アクティブ照明用の点灯付き携帯型ハンドヘルドキャプチャシステムによってキャプチャされる。
  論文  参考訳（メタデータ） (2023-06-06T15:07:39Z)
• Parallax-Tolerant Unsupervised Deep Image Stitching [57.76737888499145]
  本稿では,パララックス耐性の非教師あり深層画像縫合技術であるUDIS++を提案する。 まず,グローバルなホモグラフィから局所的な薄板スプライン運動への画像登録をモデル化するための,頑健で柔軟なワープを提案する。 本研究では, 縫合された画像をシームレスに合成し, シーム駆動合成マスクの教師なし学習を行うことを提案する。
  論文  参考訳（メタデータ） (2023-02-16T10:40:55Z)
• Neural 3D Reconstruction in the Wild [86.6264706256377]
  そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。 そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:59:53Z)
• GeoFill: Reference-Based Image Inpainting of Scenes with Complex Geometry [40.68659515139644]
  参照誘導画像描画は、他の参照画像からのコンテンツを活用して画像画素を復元する。 我々は、単眼深度推定を利用して、カメラ間の相対的なポーズを予測し、その基準画像を異なる3次元再投影により目標に整列させる。 提案手法は,RealEstate10KとMannequinChallengeの両方のデータセットに対して,大規模なベースライン,複雑な幾何学,極端なカメラモーションによる最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-01-20T12:17:13Z)
• Aliasing is your Ally: End-to-End Super-Resolution from Raw Image Bursts [70.80220990106467]
  本発表では,空間と時間に若干異なる視点から撮影された複数の低解像度スナップショットから高分解能画像を再構成する問題に対処する。 この問題を解決するための主な課題は、(i)入力画像とサブピクセル精度の整合性、(ii)ネイティブカメラデータに対する最大限の忠実性のための生(ノイズ)画像の扱い、(iii)タスクに適した画像事前(正規化器)を設計・学習することである。
  論文  参考訳（メタデータ） (2021-04-13T13:39:43Z)
• Robust Consistent Video Depth Estimation [65.53308117778361]
  本稿では,単眼映像からカメラのカメラポーズと密集した深度マップを推定するアルゴリズムを提案する。 本手法は,(1)低周波大規模アライメントのためのフレキシブルな変形-スプラインと(2)細部奥行き詳細の高周波アライメントのための幾何認識深度フィルタリングとを組み合わせた手法である。 従来の手法とは対照的に, カメラのポーズを入力として必要とせず, かなりの音量, 揺動, 動きのぼやき, 転がりシャッター変形を含む携帯のハンドヘルドキャプチャに頑健な再構成を実現する。
  論文  参考訳（メタデータ） (2020-12-10T18:59:48Z)
• Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
  本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。 まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。 これらの深度マップは、異なるビューを粗く整列するために使用される。 本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-27T21:28:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。