Fugu-MT 論文翻訳(概要): ROSEFusion: Random Optimization for Online Dense Reconstruction under Fast Camera Motion

論文の概要: ROSEFusion: Random Optimization for Online Dense Reconstruction under Fast Camera Motion

arxiv url: http://arxiv.org/abs/2105.05600v1
Date: Wed, 12 May 2021 11:37:34 GMT
ステータス: 処理完了
システム内更新日: 2021-05-13 19:53:18.453681
Title: ROSEFusion: Random Optimization for Online Dense Reconstruction under Fast Camera Motion
Title（参考訳）: ROSEFusion:高速カメラ動作下でのオンライン線量再構成のためのランダム最適化
Authors: Jiazhao Zhang, Chenyang Zhu, Lintao Zheng, Kai Xu
Abstract要約: RGB-Dシーケンスに基づく再構成は、これまで比較的遅いカメラ動作(1m/s)に抑制されてきた。高速モーションは深度融合に2つの課題をもたらす:1)フレーム間の大きな回転によるカメラポーズ最適化の非線形性、2)動きのぼかしによる確実に追跡可能な特徴の欠如。ランダム最適化による慣性測定がない場合の高速移動カメラ追跡の難しさに対処することを提案する。効率的なテンプレートベースパーティクルセットの進化と効果的なフィットネス機能により,高速カメラ動作(最大4m/s)下での良好な姿勢追跡を実現する。
参考スコア（独自算出の注目度）: 15.873973449155313
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Online reconstruction based on RGB-D sequences has thus far been restrained to relatively slow camera motions (<1m/s). Under very fast camera motion (e.g., 3m/s), the reconstruction can easily crumble even for the state-of-the-art methods. Fast motion brings two challenges to depth fusion: 1) the high nonlinearity of camera pose optimization due to large inter-frame rotations and 2) the lack of reliably trackable features due to motion blur. We propose to tackle the difficulties of fast-motion camera tracking in the absence of inertial measurements using random optimization, in particular, the Particle Filter Optimization (PFO). To surmount the computation-intensive particle sampling and update in standard PFO, we propose to accelerate the randomized search via updating a particle swarm template (PST). PST is a set of particles pre-sampled uniformly within the unit sphere in the 6D space of camera pose. Through moving and rescaling the pre-sampled PST guided by swarm intelligence, our method is able to drive tens of thousands of particles to locate and cover a good local optimum extremely fast and robustly. The particles, representing candidate poses, are evaluated with a fitness function defined based on depth-model conformance. Therefore, our method, being depth-only and correspondence-free, mitigates the motion blur impediment as ToF-based depths are often resilient to motion blur. Thanks to the efficient template-based particle set evolution and the effective fitness function, our method attains good quality pose tracking under fast camera motion (up to 4m/s) in a realtime framerate without including loop closure or global pose optimization. Through extensive evaluations on public datasets of RGB-D sequences, especially on a newly proposed benchmark of fast camera motion, we demonstrate the significant advantage of our method over the state of the arts.
Abstract（参考訳）: RGB-Dシークエンスに基づくオンラインリコンストラクションは、これまで比較的遅いカメラモーション(1m/s)に制限されてきた。非常に速いカメラの動き(例えば3m/s)の下では、再構築は最先端の手法でも容易に崩れる。高速モーションは深度融合に2つの課題をもたらす:1)フレーム間の大きな回転によるカメラポーズ最適化の非線形性、2)動きのぼかしによる確実に追跡可能な特徴の欠如。本稿では,ランダムな最適化,特に粒子フィルタ最適化(PFO)を用いた慣性測定がない場合に,高速モーションカメラ追跡の難しさに対処することを提案する。計算集約的な粒子サンプリングと標準PFOの更新を克服するため,粒子群テンプレート(PST)を更新することでランダム化探索を高速化することを提案する。 pstは、カメラポーズの6d空間の単位球面内で均一に事前サンプリングされた粒子の集合である。 Swarm Intelligenceによって導かれるプリサンプリングされたPSTの移動と再スケーリングにより、我々の方法は数万の粒子を誘導し、優れた局所最適化を極めて高速かつ堅牢にカバーすることができる。候補ポーズを表す粒子を、深度モデル適合度に基づいて定義された適合関数で評価する。そのため,本手法は深度のみであり,非対応であり,ToF法に基づく深度は運動ぼけに対する耐性が高いため,運動ぼけ障害を緩和する。効率的なテンプレートベースのパーティクルセットの進化と効果的なフィットネス機能により,ループ閉鎖や大域的なポーズ最適化を伴わずに,リアルタイムフレームレートで高速カメラ動作(最大4m/s)下での良好なポーズトラッキングを実現する。 RGB-Dシークエンスの公開データセットに関する広範な評価、特に新しい高速カメラモーションのベンチマークを通じて、我々の手法が芸術的状況に対して有益であることを示す。

関連論文リスト

CRiM-GS: Continuous Rigid Motion-Aware Gaussian Splatting from Motion Blur Images [12.603775893040972]
画像のぼやけた画像からリアルタイムレンダリング速度で正確な3Dシーンを再構成するために, 連続的な剛性運動対応ガウススプラッティング(CRiM-GS)を提案する。我々は、剛体変換を利用して、物体の形状と大きさを保存し、適切な正則化でカメラの動きをモデル化する。さらに,textitSE(3)フィールドに連続的な変形可能な3次元変換を導入し,剛体変換を実世界の問題に適用する。
論文参考訳（メタデータ） (2024-07-04T13:37:04Z)
Motion-adaptive Separable Collaborative Filters for Blind Motion Deblurring [71.60457491155451]
様々な動きによって生じる画像のぼかしを除去することは、難しい問題である。本研究では,動き適応型分離型協調フィルタと呼ばれる実世界のデブロアリングフィルタモデルを提案する。本手法は,実世界の動きのぼかし除去に有効な解法を提供し,最先端の性能を実現する。
論文参考訳（メタデータ） (2024-04-19T19:44:24Z)
Gaussian Splatting on the Move: Blur and Rolling Shutter Compensation for Natural Camera Motion [25.54868552979793]
本稿では,カメラの動きに適応し,手持ち映像データを用いた高品質なシーン再構成を実現する手法を提案する。合成データと実データの両方を用いて、既存の手法よりもカメラの動きを軽減できる性能を示した。
論文参考訳（メタデータ） (2024-03-20T06:19:41Z)
ExBluRF: Efficient Radiance Fields for Extreme Motion Blurred Images [58.24910105459957]
極端運動ぼかし画像の新しいビュー合成法であるExBluRFを提案する。提案手法は,6-DOFカメラトラジェクトリをベースとしたモーションブラー定式化と,ボクセルをベースとした放射場からなる。既存の作業と比較して、トレーニング時間とGPUメモリ使用量の10倍の順序で、よりシャープな3Dシーンを復元する。
論文参考訳（メタデータ） (2023-09-16T11:17:25Z)
SceNeRFlow: Time-Consistent Reconstruction of General Dynamic Scenes [75.9110646062442]
我々はSceNeRFlowを提案し、時間的一貫性のある方法で一般的な非剛体シーンを再構築する。提案手法は,カメラパラメータを入力として,静止カメラからのマルチビューRGBビデオと背景画像を取得する。実験により,小規模動作のみを扱う先行作業とは異なり,スタジオスケール動作の再構築が可能であることが示された。
論文参考訳（メタデータ） (2023-08-16T09:50:35Z)
Minimum Latency Deep Online Video Stabilization [77.68990069996939]
本稿では,オンラインビデオ安定化作業のための新しいカメラパス最適化フレームワークを提案する。本研究では,近年の市販の高品位深度モーションモデルを用いて動き推定を行い,カメラの軌道を復元する。我々の手法は、定性的にも量的にも最先端のオンライン手法を大きく上回っている。
論文参考訳（メタデータ） (2022-12-05T07:37:32Z)
Parallel Inversion of Neural Radiance Fields for Robust Pose Estimation [26.987638406423123]
6-DoFターゲットのポーズを推定するための高速ニューラルネットワーク場(NeRF)に基づく並列最適化手法を提案する。高速NeRFモデルから描画された画素と観測画像中の画素との残差を最小化することにより、カメラの変換と回転を予測できる。実験により,本手法は,合成ベンチマークと実世界のベンチマークの両方において,一般化とロバスト性を向上できることを示した。
論文参考訳（メタデータ） (2022-10-18T19:09:58Z)
Globally-Optimal Event Camera Motion Estimation [30.79931004393174]
イベントカメラは、HDR条件でよく機能し、時間分解能の高いバイオインスパイアされたセンサーである。イベントカメラは、非同期ピクセルレベルの変更を測定し、高度に識別されたフォーマットでそれらを返す。
論文参考訳（メタデータ） (2022-03-08T08:24:22Z)
Motion-from-Blur: 3D Shape and Motion Estimation of Motion-blurred Objects in Videos [115.71874459429381]
本研究では,映像から3次元の運動,3次元の形状,および高度に動きやすい物体の外観を同時推定する手法を提案する。提案手法は, 高速移動物体の劣化と3次元再構成において, 従来の手法よりも優れていることを示す。
論文参考訳（メタデータ） (2021-11-29T11:25:14Z)
Spatiotemporal Bundle Adjustment for Dynamic 3D Human Reconstruction in the Wild [49.672487902268706]
本稿では,カメラの時間的アライメントと3次元点三角測量を共同で推定する枠組みを提案する。複数の無同期・無同期ビデオカメラで捉えたイベントにおいて、人間の身体の3次元運動軌跡を再構成する。
論文参考訳（メタデータ） (2020-07-24T23:50:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。