論文の概要: Joint 3D Shape and Motion Estimation from Rolling Shutter Light-Field Images

• arxiv url: http://arxiv.org/abs/2311.01292v1
• Date: Thu, 2 Nov 2023 15:08:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-03 13:12:57.909296
• Title: Joint 3D Shape and Motion Estimation from Rolling Shutter Light-Field Images
• Title（参考訳）: 転がりシャッターライトフィールド画像からの関節3次元形状と運動推定
• Authors: Hermes McGriff, Renato Martins, Nicolas Andreff and C\'edric Demonceaux
• Abstract要約: 本研究では,ローリングシャッターセンサを備えた光界カメラで撮影した1枚の画像からシーンを3次元再構成する手法を提案する。 本手法は、光場に存在する3次元情報キューと、ローリングシャッター効果によって提供される動き情報を利用する。 本稿では,このセンサの撮像プロセスの汎用モデルと再投射誤差を最小化する2段階アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 2.0277446818410994
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we propose an approach to address the problem of 3D reconstruction of scenes from a single image captured by a light-field camera equipped with a rolling shutter sensor. Our method leverages the 3D information cues present in the light-field and the motion information provided by the rolling shutter effect. We present a generic model for the imaging process of this sensor and a two-stage algorithm that minimizes the re-projection error while considering the position and motion of the camera in a motion-shape bundle adjustment estimation strategy. Thereby, we provide an instantaneous 3D shape-and-pose-and-velocity sensing paradigm. To the best of our knowledge, this is the first study to leverage this type of sensor for this purpose. We also present a new benchmark dataset composed of different light-fields showing rolling shutter effects, which can be used as a common base to improve the evaluation and tracking the progress in the field. We demonstrate the effectiveness and advantages of our approach through several experiments conducted for different scenes and types of motions. The source code and dataset are publicly available at: https://github.com/ICB-Vision-AI/RSLF
• Abstract（参考訳）: 本稿では,ローリングシャッターセンサを備えたライトフィールドカメラで撮影された1枚の画像からシーンを3次元再構成する手法を提案する。 本手法では,光場に存在する3次元情報と転がりシャッター効果による運動情報を活用する。 本稿では, このセンサの撮像プロセスの汎用モデルと, カメラの位置と動きを考慮して再投射誤差を最小限に抑える2段階アルゴリズムを提案する。 そこで我々は,即時3次元形状・位置・速度検出パラダイムを提案する。 私たちの知る限りでは、この種のセンサーをこの目的に活用する最初の研究である。 また, ローリングシャッター効果を示す異なる光フィールドからなる新しいベンチマークデータセットを提案する。 本手法の有効性と長所を,様々な場面や動作の異なる複数の実験を通して実証する。 ソースコードとデータセットは、https://github.com/ICB-Vision-AI/RSLFで公開されている。

関連論文リスト

• Towards 3D Vision with Low-Cost Single-Photon Cameras [24.711165102559438]
  小型で省エネで低コストな単光子カメラによる計測に基づいて,任意のランベルト物体の3次元形状を再構成する手法を提案する。 我々の研究は、画像ベースモデリングとアクティブレンジスキャンの関連性を引き合いに出し、単光子カメラによる3Dビジョンに向けた一歩である。
  論文  参考訳（メタデータ） (2024-03-26T15:40:05Z)
• Detecting Moving Objects Using a Novel Optical-Flow-Based Range-Independent Invariant [0.0]
  本稿では,時間的瞬間や3次元の点の範囲,カメラの速度によらず,一貫した2次元不変画像を出力する光フロー変換を提案する。 新しい領域では、予め定義されたルックアップ画像の値から逸脱した3D点の投影を、静止した3D環境に対する移動として明確に識別することができる。
  論文  参考訳（メタデータ） (2023-10-14T17:42:19Z)
• Multi-Modal Dataset Acquisition for Photometrically Challenging Object [56.30027922063559]
  本稿では,3次元視覚タスクにおける現在のデータセットの限界について,精度,サイズ,リアリズム,および光度に挑戦する対象に対する適切な画像モダリティの観点から検討する。 既存の3次元認識と6次元オブジェクトポーズデータセットを強化する新しいアノテーションと取得パイプラインを提案する。
  論文  参考訳（メタデータ） (2023-08-21T10:38:32Z)
• FlowCam: Training Generalizable 3D Radiance Fields without Camera Poses via Pixel-Aligned Scene Flow [26.528667940013598]
  ポーズ画像からの3次元ニューラルネットワークの再構成は、自己教師付き表現学習の有望な方法として現れている。 これらの3Dシーンの学習者が大規模ビデオデータに展開するのを防ぐ重要な課題は、構造から移動までの正確なカメラポーズに依存することである。 本稿では,オンラインと1つのフォワードパスでカメラポーズと3Dニューラルシーン表現を共同で再構築する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-31T20:58:46Z)
• Event-aided Direct Sparse Odometry [54.602311491827805]
  本稿では,イベントとフレームを用いた直接単眼視覚計測法であるEDSを紹介する。 我々のアルゴリズムは、イベント生成モデルを利用して、フレーム間のブラインドタイムにおけるカメラの動きを追跡する。 EDSは直接アプローチでイベントとフレームを使用して6-DOF VOを実行する最初の方法である。
  論文  参考訳（メタデータ） (2022-04-15T20:40:29Z)
• Motion-from-Blur: 3D Shape and Motion Estimation of Motion-blurred Objects in Videos [115.71874459429381]
  本研究では,映像から3次元の運動,3次元の形状,および高度に動きやすい物体の外観を同時推定する手法を提案する。 提案手法は, 高速移動物体の劣化と3次元再構成において, 従来の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-29T11:25:14Z)
• MetaPose: Fast 3D Pose from Multiple Views without 3D Supervision [72.5863451123577]
  正確な3Dポーズとカメラ推定が可能なニューラルモデルをトレーニングする方法を示す。 本手法は,古典的バンドル調整と弱教師付き単分子3Dベースラインの両方に優れる。
  論文  参考訳（メタデータ） (2021-08-10T18:39:56Z)
• Reinforced Axial Refinement Network for Monocular 3D Object Detection [160.34246529816085]
  モノクロ3次元物体検出は、2次元入力画像から物体の位置と特性を抽出することを目的としている。 従来のアプローチでは、空間から3D境界ボックスをサンプリングし、対象オブジェクトと各オブジェクトの関係を推定するが、有効サンプルの確率は3D空間で比較的小さい。 我々は,まず最初の予測から始めて,各ステップで1つの3dパラメータだけを変えて,基礎的真理に向けて徐々に洗練することを提案する。 これは、いくつかのステップの後に報酬を得るポリシーを設計する必要があるため、最適化するために強化学習を採用します。
  論文  参考訳（メタデータ） (2020-08-31T17:10:48Z)
• Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled Representation [57.11299763566534]
  空間校正カメラで撮影した多視点画像から3次元ポーズを復元する手法を提案する。 我々は3次元形状を利用して、入力画像をカメラ視点から切り離したポーズの潜在表現に融合する。 アーキテクチャは、カメラプロジェクション演算子に学習した表現を条件付け、ビュー当たりの正確な2次元検出を生成する。
  論文  参考訳（メタデータ） (2020-04-05T12:52:29Z)
• Synergetic Reconstruction from 2D Pose and 3D Motion for Wide-Space Multi-Person Video Motion Capture in the Wild [3.0015034534260665]
  マルチカメラの精度と滑らかさを考慮したマーカーレスモーションキャプチャ手法を提案する。 提案手法は,各人物の3Dポーズを予測し,マルチカメラ画像のバウンディングボックスを決定する。 提案手法を,様々なデータセットと実スポーツフィールドを用いて評価した。
  論文  参考訳（メタデータ） (2020-01-16T02:14:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。