論文の概要: Textureless Deformable Surface Reconstruction with Invisible Markers
- arxiv url: http://arxiv.org/abs/2308.13678v1
- Date: Fri, 25 Aug 2023 21:35:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-29 19:45:06.904229
- Title: Textureless Deformable Surface Reconstruction with Invisible Markers
- Title（参考訳）: 可視マーカーを用いた無布地変形性表面再構成
- Authors: Xinyuan Li, Yu Ji, Yanchen Liu, Xiaochen Hu, Jinwei Ye and Changxi
Zheng
- Abstract要約: 対象表面の特徴を積極的に豊かにするための新しい種類のマーカーを提案する。
我々のマーカーは蛍光染料でできており、紫外線(UV)の下でのみ可視であり、通常の照明条件下では見えない。
可視光の下では、マーカーは見えなくなり、物体の元々の触れられていない外観を捉えることができます。
- 参考スコア（独自算出の注目度）: 21.48695008149848
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reconstructing and tracking deformable surface with little or no texture has
posed long-standing challenges. Fundamentally, the challenges stem from
textureless surfaces lacking features for establishing cross-image
correspondences. In this work, we present a novel type of markers to
proactively enrich the object's surface features, and thereby ease the 3D
surface reconstruction and correspondence tracking. Our markers are made of
fluorescent dyes, visible only under the ultraviolet (UV) light and invisible
under regular lighting condition. Leveraging the markers, we design a
multi-camera system that captures surface deformation under the UV light and
the visible light in a time multiplexing fashion. Under the UV light, markers
on the object emerge to enrich its surface texture, allowing high-quality 3D
shape reconstruction and tracking. Under the visible light, markers become
invisible, allowing us to capture the object's original untouched appearance.
We perform experiments on various challenging scenes, including hand gestures,
facial expressions, waving cloth, and hand-object interaction. In all these
cases, we demonstrate that our system is able to produce robust, high-quality
3D reconstruction and tracking.
- Abstract（参考訳）: テクスチャがほとんど、あるいは全くない変形可能な表面の再構築と追跡は、長年の課題となった。
基本的に、課題はクロスイメージ対応を確立するための特徴を欠いたテクスチャレスな表面にある。
本研究では, 物体の表面性状を積極的に高め, 3次元表面再構成と対応追跡を容易にする新しい種類のマーカーを提案する。
我々のマーカーは蛍光染料でできており、紫外線の下でのみ可視であり、通常の照明条件下では見えない。
マーカーを活用することで,紫外光と可視光の下での表面変形を時間多重的に捉えるマルチカメラシステムを設計する。
紫外線の下では、物体のマーカーが表面のテクスチャを増し、高品質な3D形状の再構築と追跡を可能にする。
可視光の下では、マーカーは見えなくなり、物体の元々の触れられていない外観を捉えることができます。
我々は,手振り,表情,手振り布,物体間相互作用など,さまざまな困難な場面で実験を行った。
これらすべてのケースにおいて、我々のシステムは堅牢で高品質な3D再構成と追跡を実現できることを示す。
関連論文リスト
- Snap-it, Tap-it, Splat-it: Tactile-Informed 3D Gaussian Splatting for Reconstructing Challenging Surfaces [34.831730064258494]
本研究では,タッチデータ(局所深度マップ)を多視点視覚データと組み合わせ,表面再構成と新しいビュー合成を実現する新しいアプローチである触覚インフォームド3DGSを提案する。
タッチ位置の透過率を低下させる枠組みを作成することにより,表面の微細化を実現し,均一に滑らかな深度マップを実現する。
我々は、光沢と反射面を有する物体に対して評価を行い、我々のアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2024-03-29T16:30:17Z) - Holistic Inverse Rendering of Complex Facade via Aerial 3D Scanning [38.72679977945778]
我々は多視点空中画像を用いて、ニューラルサイン距離場(SDF)を用いたファサードの形状、照明、材料を再構成する。
本実験は, ファサード全体の逆レンダリング, 新規なビュー合成, シーン編集において, 最先端のベースラインと比較して, 手法の優れた品質を示すものである。
論文 参考訳（メタデータ） (2023-11-20T15:03:56Z) - Ghost on the Shell: An Expressive Representation of General 3D Shapes [97.76840585617907]
リアルな素材と照明で高速な物理ベースのレンダリングを可能にするので、メッシュは魅力的だ。
近年の3次元形状の再構成と統計的モデリングの研究は、メッシュをトポロジカルに非フレキシブルであると批判している。
我々は水密面上の多様体符号距離場を定義することにより開曲面をパラメータ化する。
G-Shellは、非水密メッシュ再構築および生成タスクにおける最先端の性能を達成する。
論文 参考訳（メタデータ） (2023-10-23T17:59:52Z) - Delicate Textured Mesh Recovery from NeRF via Adaptive Surface
Refinement [78.48648360358193]
画像からテクスチャ化された表面メッシュを生成する新しいフレームワークを提案する。
我々のアプローチは、NeRFを用いて幾何学とビュー依存の外観を効率的に初期化することから始まります。
ジオメトリと共同で外観を洗練し、テクスチャ画像に変換してリアルタイムレンダリングします。
論文 参考訳（メタデータ） (2023-03-03T17:14:44Z) - Multi-View Neural Surface Reconstruction with Structured Light [7.709526244898887]
微分可能レンダリング(DR)に基づく3次元オブジェクト再構成はコンピュータビジョンにおいて活発な研究課題である。
DRに基づく多視点3Dオブジェクト再構成において,構造化光(SL)を用いたアクティブセンシングを導入し,任意のシーンやカメラポーズの未知の形状と外観を学習する。
本手法は, テクスチャレス領域における高い再現精度を実現し, カメラポーズキャリブレーションの労力を削減する。
論文 参考訳（メタデータ） (2022-11-22T03:10:46Z) - Texturify: Generating Textures on 3D Shape Surfaces [34.726179801982646]
本研究では3次元入力のテクスチャを予測する3次元形状を学習するためにTexturifyを提案する。
本手法では,3Dオブジェクトの学習に3Dカラー管理は不要である。
論文 参考訳（メタデータ） (2022-04-05T18:00:04Z) - Refractive Light-Field Features for Curved Transparent Objects in
Structure from Motion [10.380414189465345]
曲面透明物体から屈折する光のパターンを検出し,記述する光場のための新しい画像特徴を提案する。
屈折物体を含む難易度の高い場面において, 動作からの構造性能が向上することを示す。
本手法は,ロボットが屈折物体を操作できるようにするための重要なステップである。
論文 参考訳（メタデータ） (2021-03-29T05:55:32Z) - Face Forgery Detection by 3D Decomposition [72.22610063489248]
顔画像は、基礎となる3次元幾何学と照明環境の介入の産物とみなす。
顔画像を3次元形状、共通テクスチャ、アイデンティティテクスチャ、周囲光、そして直接光に切り離すことで、悪魔は直接光とアイデンティティテクスチャの中に横たわる。
直接光と識別テクスチャを組み合わせた顔のディテールを,微妙な偽造パターンを検出する手がかりとして活用することを提案する。
論文 参考訳（メタデータ） (2020-11-19T09:25:44Z) - Pix2Surf: Learning Parametric 3D Surface Models of Objects from Images [64.53227129573293]
1つ以上の視点から見れば、新しいオブジェクトの3次元パラメトリック表面表現を学習する際の課題について検討する。
ビュー間で一貫した高品質なパラメトリックな3次元表面を生成できるニューラルネットワークを設計する。
提案手法は,共通対象カテゴリからの形状の公開データセットに基づいて,教師と訓練を行う。
論文 参考訳（メタデータ） (2020-08-18T06:33:40Z) - Through the Looking Glass: Neural 3D Reconstruction of Transparent
Shapes [75.63464905190061]
屈折と反射によって誘導される複雑な光路は、従来の多視点ステレオと深いステレオの両方がこの問題を解決するのを妨げている。
携帯電話カメラで取得したいくつかの画像を用いて透明物体の3次元形状を復元する物理ネットワークを提案する。
5-12個の自然画像を用いて, 複雑な透明形状に対する高品質な3次元形状の復元に成功した。
論文 参考訳（メタデータ） (2020-04-22T23:51:30Z) - Seeing the World in a Bag of Chips [73.561388215585]
ハンドヘルドRGBDセンサによる新しいビュー合成と環境再構築の二重問題に対処する。
提案するコントリビューションは,1)高スペクトル物体のモデリング,2)反射間およびフレネル効果のモデリング,3)形状のみを再構築するために必要な同じ入力で表面光場再構成を可能にすることを含む。
論文 参考訳（メタデータ） (2020-01-14T06:44:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。