論文の概要: TexHOI: Reconstructing Textures of 3D Unknown Objects in Monocular Hand-Object Interaction Scenes
- arxiv url: http://arxiv.org/abs/2501.03525v2
- Date: Tue, 04 Feb 2025 01:47:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-05 14:54:40.326514
- Title: TexHOI: Reconstructing Textures of 3D Unknown Objects in Monocular Hand-Object Interaction Scenes
- Title（参考訳）: TexHOI:モノクラーハンドオブジェクトインタラクションシーンにおける3次元未知物体のテクスチャ再構築
- Authors: Alakh Aggarwal, Ningna Wang, Xiaohu Guo,
- Abstract要約: 本研究では,物体の表面アルベドに対する環境可視性と間接照明に対する手の影響を予測する新しいアプローチを提案する。
本手法はテクスチャ再構築における最先端手法を超越した手法であり,我々の知る限り,オブジェクトテクスチャ再構築における手動インタラクションを初めて考慮した手法である。
- 参考スコア（独自算出の注目度）: 6.753687000933386
- License:
- Abstract: Reconstructing 3D models of dynamic, real-world objects with high-fidelity textures from monocular frame sequences has been a challenging problem in recent years. This difficulty stems from factors such as shadows, indirect illumination, and inaccurate object-pose estimations due to occluding hand-object interactions. To address these challenges, we propose a novel approach that predicts the hand's impact on environmental visibility and indirect illumination on the object's surface albedo. Our method first learns the geometry and low-fidelity texture of the object, hand, and background through composite rendering of radiance fields. Simultaneously, we optimize the hand and object poses to achieve accurate object-pose estimations. We then refine physics-based rendering parameters - including roughness, specularity, albedo, hand visibility, skin color reflections, and environmental illumination - to produce precise albedo, and accurate hand illumination and shadow regions. Our approach surpasses state-of-the-art methods in texture reconstruction and, to the best of our knowledge, is the first to account for hand-object interactions in object texture reconstruction.
- Abstract（参考訳）: 近年,モノクラーフレーム列から高忠実なテクスチャを持つ動的実世界の物体の3次元モデル再構成が課題となっている。
この難しさは、影、間接照明、手動物体の相互作用を排除した不正確な対象位置推定などの要因に起因している。
これらの課題に対処するため,我々は,物体の表面アルベドの環境可視性と間接照明に対する手の影響を予測する新しいアプローチを提案する。
本手法はまず, 放射場を合成レンダリングすることで, 物体, 手, 背景の幾何学的・低忠実なテクスチャを学習する。
同時に、手とオブジェクトのポーズを最適化して、正確なオブジェクト配置推定を行う。
次に、粗さ、特異性、アルベド、手の可視性、肌の色反射、環境照明など、物理学に基づくレンダリングパラメータを洗練し、正確なアルベドと正確な手照明と影領域を生成する。
本手法はテクスチャ再構築における最先端手法を超越した手法であり,我々の知る限り,オブジェクトテクスチャ再構築における手動インタラクションを初めて考慮した手法である。
関連論文リスト
- EasyHOI: Unleashing the Power of Large Models for Reconstructing Hand-Object Interactions in the Wild [79.71523320368388]
本研究の目的は,手動物体のインタラクションを単一視点画像から再構築することである。
まず、手ポーズとオブジェクト形状を推定する新しいパイプラインを設計する。
最初の再構築では、事前に誘導された最適化方式を採用する。
論文 参考訳（メタデータ） (2024-11-21T16:33:35Z) - Floating No More: Object-Ground Reconstruction from a Single Image [33.34421517827975]
本研究では,3次元物体形状の再構成を目的とした新しい作業であるORG(Object Restruction with Ground)を紹介する。
提案手法では,2つのコンパクトなピクセルレベル表現を用いて,カメラ,オブジェクト,グラウンドの関係を表現している。
論文 参考訳（メタデータ） (2024-07-26T17:59:56Z) - Snap-it, Tap-it, Splat-it: Tactile-Informed 3D Gaussian Splatting for Reconstructing Challenging Surfaces [34.831730064258494]
本研究では,タッチデータ(局所深度マップ)を多視点視覚データと組み合わせ,表面再構成と新しいビュー合成を実現する新しいアプローチである触覚インフォームド3DGSを提案する。
タッチ位置の透過率を低下させる枠組みを作成することにより,表面の微細化を実現し,均一に滑らかな深度マップを実現する。
我々は、光沢と反射面を有する物体に対して評価を行い、我々のアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2024-03-29T16:30:17Z) - NCRF: Neural Contact Radiance Fields for Free-Viewpoint Rendering of
Hand-Object Interaction [19.957593804898064]
ビデオのスパース集合から手動物体間相互作用を再構成するための新しいフリーポイントレンダリングフレームワークであるニューラルコンタクトレーダランスフィールド(NCRF)を提案する。
私たちはこれらの重要なコンポーネントを共同で学び、視覚的および幾何学的制約で相互に助け合い、規則化します。
提案手法は、レンダリング品質とポーズ推定精度の両方の観点から、現在の最先端技術よりも優れています。
論文 参考訳（メタデータ） (2024-02-08T10:09:12Z) - Learning Explicit Contact for Implicit Reconstruction of Hand-held
Objects from Monocular Images [59.49985837246644]
我々は,手持ちの物体を暗黙的に再構築する上で,明示的な方法で接触をモデル化する方法を示す。
まず,1つの画像から3次元手オブジェクトの接触を直接推定するサブタスクを提案する。
第2部では,ハンドメッシュ面から近傍の3次元空間へ推定された接触状態を拡散する新しい手法を提案する。
論文 参考訳（メタデータ） (2023-05-31T17:59:26Z) - Neural Fields meet Explicit Geometric Representation for Inverse
Rendering of Urban Scenes [62.769186261245416]
本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。
具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
論文 参考訳（メタデータ） (2023-04-06T17:51:54Z) - NeROIC: Neural Rendering of Objects from Online Image Collections [42.02832046768925]
本稿では,オンライン画像コレクションからオブジェクト表現を取得し,任意のオブジェクトの高品質な形状と材料特性をキャプチャする手法を提案する。
これにより、新規ビュー合成、リライト、調和した背景合成など、さまざまなオブジェクト中心のレンダリングアプリケーションが可能になる。
論文 参考訳（メタデータ） (2022-01-07T16:45:15Z) - Single View Metrology in the Wild [94.7005246862618]
本研究では,物体の3次元の高さや地上のカメラの高さで表現されるシーンの絶対的なスケールを再現する,単一ビューメロジに対する新しいアプローチを提案する。
本手法は,被写体の高さなどの3Dエンティティによる未知のカメラとの相互作用から,弱い教師付き制約を抑えるために設計されたディープネットワークによって学習されたデータ駆動の先行情報に依存する。
いくつかのデータセットと仮想オブジェクト挿入を含むアプリケーションに対して、最先端の定性的かつ定量的な結果を示す。
論文 参考訳（メタデータ） (2020-07-18T22:31:33Z) - Leveraging Photometric Consistency over Time for Sparsely Supervised
Hand-Object Reconstruction [118.21363599332493]
本稿では,ビデオ中のフレームの粗いサブセットに対してのみアノテーションが利用できる場合に,時間とともに光度整合性を活用する手法を提案する。
本モデルでは,ポーズを推定することにより,手や物体を3Dで共同で再構成するカラーイメージをエンドツーエンドに訓練する。
提案手法は,3次元手動画像再構成の精度向上に有効であることを示す。
論文 参考訳（メタデータ） (2020-04-28T12:03:14Z) - Seeing the World in a Bag of Chips [73.561388215585]
ハンドヘルドRGBDセンサによる新しいビュー合成と環境再構築の二重問題に対処する。
提案するコントリビューションは,1)高スペクトル物体のモデリング,2)反射間およびフレネル効果のモデリング,3)形状のみを再構築するために必要な同じ入力で表面光場再構成を可能にすることを含む。
論文 参考訳（メタデータ） (2020-01-14T06:44:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。