論文の概要: The Drunkard's Odometry: Estimating Camera Motion in Deforming Scenes

• arxiv url: http://arxiv.org/abs/2306.16917v1
• Date: Thu, 29 Jun 2023 13:09:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-30 13:28:30.981948
• Title: The Drunkard's Odometry: Estimating Camera Motion in Deforming Scenes
• Title（参考訳）: The Drunkard's Odometry:デフォーミングシーンにおけるカメラの動きの推定
• Authors: David Recasens, Martin R. Oswald, Marc Pollefeys, Javier Civera
• Abstract要約: このデータセットは、3Dシーンの中で地上の真実を語る最初の大規模なカメラ軌道である。 リアルな3Dビルディングのシミュレーションでは、膨大な量のデータと地上の真実のラベルが得られます。 本稿では,光学的フロー推定を剛体カメラ運動に分解するDrunkard's Odometryと呼ばれる,変形可能な新しいオドメトリー法を提案する。
• 参考スコア（独自算出の注目度）: 79.00228778543553
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Estimating camera motion in deformable scenes poses a complex and open research challenge. Most existing non-rigid structure from motion techniques assume to observe also static scene parts besides deforming scene parts in order to establish an anchoring reference. However, this assumption does not hold true in certain relevant application cases such as endoscopies. Deformable odometry and SLAM pipelines, which tackle the most challenging scenario of exploratory trajectories, suffer from a lack of robustness and proper quantitative evaluation methodologies. To tackle this issue with a common benchmark, we introduce the Drunkard's Dataset, a challenging collection of synthetic data targeting visual navigation and reconstruction in deformable environments. This dataset is the first large set of exploratory camera trajectories with ground truth inside 3D scenes where every surface exhibits non-rigid deformations over time. Simulations in realistic 3D buildings lets us obtain a vast amount of data and ground truth labels, including camera poses, RGB images and depth, optical flow and normal maps at high resolution and quality. We further present a novel deformable odometry method, dubbed the Drunkard's Odometry, which decomposes optical flow estimates into rigid-body camera motion and non-rigid scene deformations. In order to validate our data, our work contains an evaluation of several baselines as well as a novel tracking error metric which does not require ground truth data. Dataset and code: https://davidrecasens.github.io/TheDrunkard'sOdometry/
• Abstract（参考訳）: 変形可能なシーンでのカメラの動きの推定は、複雑でオープンな研究課題となる。 動作技術による既存の非剛体構造の多くは、アンカリング基準を確立するために、シーン部分以外の静的なシーン部分も観察することを前提としている。 しかし、この仮定は、エンドスコピーのような特定の応用の場合では当てはまらない。 探索軌道の最も困難なシナリオに対処する変形可能なオドメトリーとSLAMパイプラインは、堅牢性の欠如と適切な定量的評価手法に悩まされている。 この課題を共通ベンチマークで解決するために,dryard's datasetという,視覚ナビゲーションと変形可能な環境における再構成を目的とした合成データの集合を提案する。 このデータセットは、全ての表面が時間とともに非剛性変形を示す3dシーンの中で、地上真理を持つ最初の探索的カメラトラジェクタである。 リアルな3Dビルディングのシミュレーションでは、カメラポーズ、RGB画像、奥行き、光学フロー、高解像度で通常の地図など、膨大な量のデータと地上の真実ラベルを得ることができる。 さらに,光学的フロー推定を剛体カメラ運動と非剛体シーン変形に分解するDrunkard's Odometryと呼ばれる新しい変形可能なオドメトリー法を提案する。 このデータを検証するため,本研究は,基底データを必要としない新しい追跡誤差測定法とともに,いくつかのベースラインの評価を含む。 データセットとコード: https://davidrecasens.github.io/thedrunkard'sodometry/

関連論文リスト

• Decaf: Monocular Deformation Capture for Face and Hand Interactions [77.75726740605748]
  本稿では,単眼のRGBビデオから人間の顔と対話する人間の手を3Dで追跡する手法を提案する。 動作中の非剛性面の変形を誘発する定形物体として手をモデル化する。 本手法は,マーカーレスマルチビューカメラシステムで取得した現実的な顔変形を伴う手動・インタラクションキャプチャーデータセットに頼っている。
  論文  参考訳（メタデータ） (2023-09-28T17:59:51Z)
• FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
  本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。 本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
  論文  参考訳（メタデータ） (2023-08-10T17:55:02Z)
• 3D shape reconstruction of semi-transparent worms [0.950214811819847]
  3D形状の再構成は通常、被写体の複数の画像に物体の特徴やテクスチャを特定する必要がある。 ここでは、画像と比較するために、適応的ぼかしと透明度で候補形状を描画することで、これらの課題を克服する。 本研究は,線虫類の細いカエノルハブディティ・エレガンスを,生物学的にインフォームドされた制約や規則化を自然に許容する内在的パラメトリションを用いて3次元曲線としてモデル化する。
  論文  参考訳（メタデータ） (2023-04-28T13:29:36Z)
• Towards Accurate Reconstruction of 3D Scene Shape from A Single Monocular Image [91.71077190961688]
  まず、未知のスケールまで深さを予測し、単一の単眼画像からシフトする2段階のフレームワークを提案する。 次に、3Dポイントの雲のデータを利用して、奥行きの変化とカメラの焦点距離を予測し、3Dシーンの形状を復元します。 我々は9つの未知のデータセットで深度モデルを検証し、ゼロショット評価で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-08-28T16:20:14Z)
• Tracking monocular camera pose and deformation for SLAM inside the human body [2.094821665776961]
  カメラのポーズと3Dシーンの変形を同時に追跡する新しい手法を提案する。 この方法は照明不変の測光法を用いて画像の特徴を追跡し、カメラの動きと変形を推定する。 以上の結果から, 複雑なシーンにおいて, 変形のレベルが増大する中で, 方法の精度とロバスト性を示すことが示唆された。
  論文  参考訳（メタデータ） (2022-04-18T13:25:23Z)
• Learning to Recover 3D Scene Shape from a Single Image [98.20106822614392]
  まず,未知のスケールまで深さを予測し,単一の単眼画像からシフトする2段階フレームワークを提案する。 そして、3dポイントクラウドエンコーダを使って深度シフトと焦点距離を予測し、リアルな3dシーンの形状を復元します。
  論文  参考訳（メタデータ） (2020-12-17T02:35:13Z)
• Single View Metrology in the Wild [94.7005246862618]
  本研究では,物体の3次元の高さや地上のカメラの高さで表現されるシーンの絶対的なスケールを再現する,単一ビューメロジに対する新しいアプローチを提案する。 本手法は,被写体の高さなどの3Dエンティティによる未知のカメラとの相互作用から,弱い教師付き制約を抑えるために設計されたディープネットワークによって学習されたデータ駆動の先行情報に依存する。 いくつかのデータセットと仮想オブジェクト挿入を含むアプリケーションに対して、最先端の定性的かつ定量的な結果を示す。
  論文  参考訳（メタデータ） (2020-07-18T22:31:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。