論文の概要: INV-Flow2PoseNet: Light-Resistant Rigid Object Pose from Optical Flow of
RGB-D Images using Images, Normals and Vertices
- arxiv url: http://arxiv.org/abs/2209.06562v1
- Date: Wed, 14 Sep 2022 11:40:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-15 13:31:44.652928
- Title: INV-Flow2PoseNet: Light-Resistant Rigid Object Pose from Optical Flow of
RGB-D Images using Images, Normals and Vertices
- Title（参考訳）: INV-Flow2PoseNet:画像・正常・頂点を用いたRGB-D画像の光学的流れからの光抵抗剛体オブジェクトポス
- Authors: Torben Fetzer, Gerd Reis and Didier Stricker
- Abstract要約: 本稿では,高精度な光学フローと厳密なシーン変換の同時推定のための新しいアーキテクチャを提案する。
光の流れやポーズを計算するための標準的な方法は、シーンの特徴の出現がビュー間で一定であるという期待に基づいている。
このデータは3次元再構成における典型的なユースケースであり、部分再構成の間の大きなステップでオブジェクトが回転することが多い。
- 参考スコア（独自算出の注目度）: 14.390887710127267
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents a novel architecture for simultaneous estimation of
highly accurate optical flows and rigid scene transformations for difficult
scenarios where the brightness assumption is violated by strong shading
changes. In the case of rotating objects or moving light sources, such as those
encountered for driving cars in the dark, the scene appearance often changes
significantly from one view to the next. Unfortunately, standard methods for
calculating optical flows or poses are based on the expectation that the
appearance of features in the scene remain constant between views. These
methods may fail frequently in the investigated cases. The presented method
fuses texture and geometry information by combining image, vertex and normal
data to compute an illumination-invariant optical flow. By using a
coarse-to-fine strategy, globally anchored optical flows are learned, reducing
the impact of erroneous shading-based pseudo-correspondences. Based on the
learned optical flows, a second architecture is proposed that predicts robust
rigid transformations from the warped vertex and normal maps. Particular
attention is payed to situations with strong rotations, which often cause such
shading changes. Therefore a 3-step procedure is proposed that profitably
exploits correlations between the normals and vertices. The method has been
evaluated on a newly created dataset containing both synthetic and real data
with strong rotations and shading effects. This data represents the typical use
case in 3D reconstruction, where the object often rotates in large steps
between the partial reconstructions. Additionally, we apply the method to the
well-known Kitti Odometry dataset. Even if, due to fulfillment of the brighness
assumption, this is not the typical use case of the method, the applicability
to standard situations and the relation to other methods is therefore
established.
- Abstract（参考訳）: 本稿では,明度仮定が強い陰影変化に違反する困難なシナリオに対して,高精度な光流と剛性のあるシーン変換を同時に推定する新しいアーキテクチャを提案する。
暗闇の中で車の運転に遭遇したような回転物体や移動光源の場合、シーンの外観は1つの視点から次の視点へ大きく変化することが多い。
残念ながら、光学フローやポーズの標準的な計算方法は、シーンの特徴の出現がビュー間で一定であるという期待に基づいている。
これらの手法は、調査ケースで頻繁に失敗する可能性がある。
画像と頂点と正規データを組み合わせてテクスチャと幾何学情報を融合し、照明不変光流を計算する。
粗い対極戦略を用いることで、グローバルにアンカーされた光の流れを学習し、誤ったシェーディングに基づく擬似相関の影響を低減させる。
学習した光の流れに基づいて、歪められた頂点と正規写像からのロバストな剛性変換を予測する2つ目のアーキテクチャが提案されている。
特に強い回転の状況に注意が払われ、しばしばそのような陰影の変化を引き起こす。
したがって、正規項と頂点の相関関係を有利に活用する3段階の手順が提案される。
この方法は,強い回転とシェーディング効果を有する合成データと実データの両方を含むデータセット上で評価されている。
このデータは3次元再構成における典型的なユースケースであり、部分再構成の間の大きなステップでオブジェクトが回転することが多い。
さらに,この手法をよく知られたKitti Odometryデータセットに適用する。
たとえ、厳密な前提を満たすために、この手法の典型的なユースケースではないとしても、標準的な状況への適用性や他の方法との関係が確立される。
関連論文リスト
- Flash Cache: Reducing Bias in Radiance Cache Based Inverse Rendering [62.92985004295714]
本稿では,レンダリングに偏りをもたらす近似を回避し,最適化に用いた勾配を求める手法を提案する。
これらのバイアスを除去することで、逆レンダリングに基づくレーダランスキャッシュの一般化が向上し、スペクトル反射のような光輸送効果に挑戦する際の品質が向上することを示す。
論文 参考訳（メタデータ） (2024-09-09T17:59:57Z) - ND-SDF: Learning Normal Deflection Fields for High-Fidelity Indoor Reconstruction [50.07671826433922]
微妙な幾何を同時に復元し、異なる特徴を持つ領域をまたいだ滑らかさを保つことは自明ではない。
そこで我々は,ND-SDFを提案する。ND-SDFは,通常のシーンとそれ以前のシーンの角偏差を表す正規偏向場を学習する。
本手法は, 壁面や床面などのスムーズなテクスチャ構造を得るだけでなく, 複雑な構造の幾何学的詳細も保存する。
論文 参考訳（メタデータ） (2024-08-22T17:59:01Z) - Skin the sheep not only once: Reusing Various Depth Datasets to Drive
the Learning of Optical Flow [25.23550076996421]
本稿では,光学的フロー推定とステレオマッチングの幾何学的接続を活用することを提案する。
モノクラー深度データセットを仮想的不均一性によってステレオデータに変換する。
また、ステレオデータに仮想カメラの動きを導入し、垂直方向に沿って追加のフローを生成する。
論文 参考訳（メタデータ） (2023-10-03T06:56:07Z) - 3D shape reconstruction of semi-transparent worms [0.950214811819847]
3D形状の再構成は通常、被写体の複数の画像に物体の特徴やテクスチャを特定する必要がある。
ここでは、画像と比較するために、適応的ぼかしと透明度で候補形状を描画することで、これらの課題を克服する。
本研究は,線虫類の細いカエノルハブディティ・エレガンスを,生物学的にインフォームドされた制約や規則化を自然に許容する内在的パラメトリションを用いて3次元曲線としてモデル化する。
論文 参考訳（メタデータ） (2023-04-28T13:29:36Z) - NeFII: Inverse Rendering for Reflectance Decomposition with Near-Field
Indirect Illumination [48.42173911185454]
逆レンダリング手法は、多視点RGB画像から幾何学、材料、照明を推定することを目的としている。
本稿では,多視点画像から材料と照明を分解するエンドツーエンドの逆レンダリングパイプラインを提案する。
論文 参考訳（メタデータ） (2023-03-29T12:05:19Z) - Curvature regularization for Non-line-of-sight Imaging from
Under-sampled Data [5.591221518341613]
非視線イメージング(NLOS)は、視線で測定されたデータから3次元の隠れたシーンを再構築することを目的としている。
曲率正規化に基づく新しいNLOS再構成モデルを提案する。
提案したアルゴリズムを,合成データセットと実データセットの両方で評価する。
論文 参考訳（メタデータ） (2023-01-01T14:10:43Z) - DiffPoseNet: Direct Differentiable Camera Pose Estimation [11.941057800943653]
我々は,強靭かつ直接的な制約を強制するために,正規フロー推定のためのネットワークNFlowNetを導入する。
我々は,提案したDiffPoseNetの雑音に対する感度とデータセット間の一般化について,定性的かつ定量的に評価する。
論文 参考訳（メタデータ） (2022-03-21T17:54:30Z) - Extreme Rotation Estimation using Dense Correlation Volumes [73.35119461422153]
本稿では,RGB画像対の相対的な3次元回転を極端に推定する手法を提案する。
画像が重なり合わなくても、それらの幾何学的関係に関して豊富な隠れた手がかりがあるかもしれないと観察する。
本稿では,2つの入力画像間の全ての点を比較することで,そのような暗黙の手がかりを自動的に学習できるネットワーク設計を提案する。
論文 参考訳（メタデータ） (2021-04-28T02:00:04Z) - Efficient and Differentiable Shadow Computation for Inverse Problems [64.70468076488419]
微分可能幾何計算は画像に基づく逆問題に対する関心が高まっている。
微分可能な可視性とソフトシャドウ計算のための効率的かつ効率的なアプローチを提案する。
定式化は微分可能であるため, テクスチャ, 照明, 剛体ポーズ, 画像からの変形回復などの逆問題を解くために使用できる。
論文 参考訳（メタデータ） (2021-04-01T09:29:05Z) - Leveraging Spatial and Photometric Context for Calibrated Non-Lambertian
Photometric Stereo [61.6260594326246]
空間と測光の両方を同時に活用できる効率的な完全畳み込みアーキテクチャを提案する。
分離可能な4D畳み込みと2D熱マップを使うことで、サイズが小さくなり、効率が向上する。
論文 参考訳（メタデータ） (2021-03-22T18:06:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。