論文の概要: Textureless Deformable Surface Reconstruction with Invisible Markers
- arxiv url: http://arxiv.org/abs/2308.13678v2
- Date: Wed, 29 May 2024 16:41:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-31 02:21:25.242294
- Title: Textureless Deformable Surface Reconstruction with Invisible Markers
- Title（参考訳）: 可視マーカーを用いた無布地変形性表面再構成
- Authors: Xinyuan Li, Yu Guo, Yubei Tu, Yu Ji, Yanchen Liu, Jinwei Ye, Changxi Zheng,
- Abstract要約: 対象表面の特徴を積極的に豊かにするための新しい種類のマーカーを提案する。
我々のマーカーは蛍光染料でできており、紫外線(UV)の下でのみ可視であり、通常の照明条件下では見えない。
可視光の下では、マーカーは見えなくなり、物体の元々の触れられていない外観を捉えることができます。
- 参考スコア（独自算出の注目度）: 20.146050882596008
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reconstructing and tracking deformable surface with little or no texture has posed long-standing challenges. Fundamentally, the challenges stem from textureless surfaces lacking features for establishing cross-image correspondences. In this work, we present a novel type of markers to proactively enrich the object's surface features, and thereby ease the 3D surface reconstruction and correspondence tracking. Our markers are made of fluorescent dyes, visible only under the ultraviolet (UV) light and invisible under regular lighting condition. Leveraging the markers, we design a multi-camera system that captures surface deformation under the UV light and the visible light in a time multiplexing fashion. Under the UV light, markers on the object emerge to enrich its surface texture, allowing high-quality 3D shape reconstruction and tracking. Under the visible light, markers become invisible, allowing us to capture the object's original untouched appearance. We perform experiments on various challenging scenes, including hand gestures, facial expressions, waving cloth, and hand-object interaction. In all these cases, we demonstrate that our system is able to produce robust, high-quality 3D reconstruction and tracking.
- Abstract（参考訳）: 変形可能な表面をテクスチャをほとんどあるいは全く持たずに再構築・追跡することは、長年にわたる課題となっている。
基本的に、課題は、クロスイメージ対応を確立するための特徴を欠いた、テクスチャのない表面から生じている。
本研究では, 物体の表面性状を積極的に高め, 3次元表面再構成と対応追跡を容易にする新しい種類のマーカーを提案する。
我々のマーカーは蛍光染料でできており、紫外線(UV)の下でのみ可視であり、通常の照明条件下では見えない。
マーカーを活用することで,紫外光と可視光の下での表面変形を時間多重的に捉えるマルチカメラシステムを設計する。
紫外線の下では、物体のマーカーが表面のテクスチャを豊かにし、高品質な3D形状の再構築と追跡を可能にする。
可視光の下では、マーカーは見えなくなり、物体の元々の触れられていない外観を捉えることができます。
我々は,手振り,表情,手振り布,物体間相互作用など,さまざまな困難な場面で実験を行った。
これらすべてのケースにおいて、我々のシステムは堅牢で高品質な3D再構成と追跡を実現できることを実証する。
関連論文リスト
- Snap-it, Tap-it, Splat-it: Tactile-Informed 3D Gaussian Splatting for Reconstructing Challenging Surfaces [34.831730064258494]
本研究では,タッチデータ(局所深度マップ)を多視点視覚データと組み合わせ,表面再構成と新しいビュー合成を実現する新しいアプローチである触覚インフォームド3DGSを提案する。
タッチ位置の透過率を低下させる枠組みを作成することにより,表面の微細化を実現し,均一に滑らかな深度マップを実現する。
我々は、光沢と反射面を有する物体に対して評価を行い、我々のアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2024-03-29T16:30:17Z) - Holistic Inverse Rendering of Complex Facade via Aerial 3D Scanning [38.72679977945778]
我々は多視点空中画像を用いて、ニューラルサイン距離場(SDF)を用いたファサードの形状、照明、材料を再構成する。
本実験は, ファサード全体の逆レンダリング, 新規なビュー合成, シーン編集において, 最先端のベースラインと比較して, 手法の優れた品質を示すものである。
論文 参考訳（メタデータ） (2023-11-20T15:03:56Z) - Ghost on the Shell: An Expressive Representation of General 3D Shapes [97.76840585617907]
リアルな素材と照明で高速な物理ベースのレンダリングを可能にするので、メッシュは魅力的だ。
近年の3次元形状の再構成と統計的モデリングの研究は、メッシュをトポロジカルに非フレキシブルであると批判している。
我々は水密面上の多様体符号距離場を定義することにより開曲面をパラメータ化する。
G-Shellは、非水密メッシュ再構築および生成タスクにおける最先端の性能を達成する。
論文 参考訳（メタデータ） (2023-10-23T17:59:52Z) - Delicate Textured Mesh Recovery from NeRF via Adaptive Surface
Refinement [78.48648360358193]
画像からテクスチャ化された表面メッシュを生成する新しいフレームワークを提案する。
我々のアプローチは、NeRFを用いて幾何学とビュー依存の外観を効率的に初期化することから始まります。
ジオメトリと共同で外観を洗練し、テクスチャ画像に変換してリアルタイムレンダリングします。
論文 参考訳（メタデータ） (2023-03-03T17:14:44Z) - Multi-View Neural Surface Reconstruction with Structured Light [7.709526244898887]
微分可能レンダリング(DR)に基づく3次元オブジェクト再構成はコンピュータビジョンにおいて活発な研究課題である。
DRに基づく多視点3Dオブジェクト再構成において,構造化光(SL)を用いたアクティブセンシングを導入し,任意のシーンやカメラポーズの未知の形状と外観を学習する。
本手法は, テクスチャレス領域における高い再現精度を実現し, カメラポーズキャリブレーションの労力を削減する。
論文 参考訳（メタデータ） (2022-11-22T03:10:46Z) - Texturify: Generating Textures on 3D Shape Surfaces [34.726179801982646]
本研究では3次元入力のテクスチャを予測する3次元形状を学習するためにTexturifyを提案する。
本手法では,3Dオブジェクトの学習に3Dカラー管理は不要である。
論文 参考訳（メタデータ） (2022-04-05T18:00:04Z) - Refractive Light-Field Features for Curved Transparent Objects in
Structure from Motion [10.380414189465345]
曲面透明物体から屈折する光のパターンを検出し,記述する光場のための新しい画像特徴を提案する。
屈折物体を含む難易度の高い場面において, 動作からの構造性能が向上することを示す。
本手法は,ロボットが屈折物体を操作できるようにするための重要なステップである。
論文 参考訳（メタデータ） (2021-03-29T05:55:32Z) - Face Forgery Detection by 3D Decomposition [72.22610063489248]
顔画像は、基礎となる3次元幾何学と照明環境の介入の産物とみなす。
顔画像を3次元形状、共通テクスチャ、アイデンティティテクスチャ、周囲光、そして直接光に切り離すことで、悪魔は直接光とアイデンティティテクスチャの中に横たわる。
直接光と識別テクスチャを組み合わせた顔のディテールを,微妙な偽造パターンを検出する手がかりとして活用することを提案する。
論文 参考訳（メタデータ） (2020-11-19T09:25:44Z) - Pix2Surf: Learning Parametric 3D Surface Models of Objects from Images [64.53227129573293]
1つ以上の視点から見れば、新しいオブジェクトの3次元パラメトリック表面表現を学習する際の課題について検討する。
ビュー間で一貫した高品質なパラメトリックな3次元表面を生成できるニューラルネットワークを設計する。
提案手法は,共通対象カテゴリからの形状の公開データセットに基づいて,教師と訓練を行う。
論文 参考訳（メタデータ） (2020-08-18T06:33:40Z) - Through the Looking Glass: Neural 3D Reconstruction of Transparent
Shapes [75.63464905190061]
屈折と反射によって誘導される複雑な光路は、従来の多視点ステレオと深いステレオの両方がこの問題を解決するのを妨げている。
携帯電話カメラで取得したいくつかの画像を用いて透明物体の3次元形状を復元する物理ネットワークを提案する。
5-12個の自然画像を用いて, 複雑な透明形状に対する高品質な3次元形状の復元に成功した。
論文 参考訳（メタデータ） (2020-04-22T23:51:30Z) - Seeing the World in a Bag of Chips [73.561388215585]
ハンドヘルドRGBDセンサによる新しいビュー合成と環境再構築の二重問題に対処する。
提案するコントリビューションは,1)高スペクトル物体のモデリング,2)反射間およびフレネル効果のモデリング,3)形状のみを再構築するために必要な同じ入力で表面光場再構成を可能にすることを含む。
論文 参考訳（メタデータ） (2020-01-14T06:44:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。