Fugu-MT 論文翻訳(概要): Novel-view Synthesis and Pose Estimation for Hand-Object Interaction from Sparse Views

論文の概要: Novel-view Synthesis and Pose Estimation for Hand-Object Interaction from Sparse Views

arxiv url: http://arxiv.org/abs/2308.11198v1
Date: Tue, 22 Aug 2023 05:17:41 GMT
ステータス: 処理完了
システム内更新日: 2023-08-23 19:04:50.335114
Title: Novel-view Synthesis and Pose Estimation for Hand-Object Interaction from Sparse Views
Title（参考訳）: スパースビューからのハンドオブジェクトインタラクションのための新規ビュー合成とポーズ推定
Authors: Wentian Qu, Zhaopeng Cui, Yinda Zhang, Chenyu Meng, Cuixia Ma, Xiaoming Deng, Hongan Wang
Abstract要約: スパースビューから手動物体間相互作用を推定するニューラルレンダリングとポーズ推定システムを提案する。まず,手や物体の形状や外観を,神経表現と別々に学習する。オンライン段階では、動的手-物体相互作用を理解するためのレンダリングベースのジョイントモデルフィッティングフレームワークを設計する。
参考スコア（独自算出の注目度）: 41.50710846018882
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Hand-object interaction understanding and the barely addressed novel view synthesis are highly desired in the immersive communication, whereas it is challenging due to the high deformation of hand and heavy occlusions between hand and object. In this paper, we propose a neural rendering and pose estimation system for hand-object interaction from sparse views, which can also enable 3D hand-object interaction editing. We share the inspiration from recent scene understanding work that shows a scene specific model built beforehand can significantly improve and unblock vision tasks especially when inputs are sparse, and extend it to the dynamic hand-object interaction scenario and propose to solve the problem in two stages. We first learn the shape and appearance prior knowledge of hands and objects separately with the neural representation at the offline stage. During the online stage, we design a rendering-based joint model fitting framework to understand the dynamic hand-object interaction with the pre-built hand and object models as well as interaction priors, which thereby overcomes penetration and separation issues between hand and object and also enables novel view synthesis. In order to get stable contact during the hand-object interaction process in a sequence, we propose a stable contact loss to make the contact region to be consistent. Experiments demonstrate that our method outperforms the state-of-the-art methods. Code and dataset are available in project webpage https://iscas3dv.github.io/HO-NeRF.
Abstract（参考訳）: 没入的コミュニケーションでは,手と物体の相互作用の理解とほとんど対応しない新しい視点合成が望まれるが,手と物体の間の高い変形と重い咬合のため難しい。本稿では,スパースビューから手-物体間相互作用を推定するニューラルレンダリングとポーズ推定システムを提案し,手-物体間相互作用の3次元編集を可能にする。本稿では,前もって構築されたシーン固有のモデルによって,特に入力が疎い場合に視覚タスクを著しく改善・解き放つことを示し,それを動的手動インタラクションシナリオに拡張し,その問題を2段階で解くことを提案する。まず、オフラインステージの神経表現と分離して、手とオブジェクトの事前知識の形状と外観を学習する。オンラインの段階では,手とオブジェクト間の動的ハンドオブジェクトインタラクションやインタラクションの優先順位を理解するためのレンダリングベースのジョイントモデルフィッティングフレームワークを設計し,手とオブジェクト間の浸透・分離問題を克服し,新たなビュー合成を可能にした。連続するハンド・オブジェクト間インタラクションプロセス中に安定した接触を得るため、コンタクト領域を一貫性を持たせるために、安定した接触損失を提案する。実験により,本手法が最先端手法に勝ることを実証した。コードとデータセットはproject webpage https://iscas3dv.github.io/ho-nerfで入手できる。

関連論文リスト

ManiDext: Hand-Object Manipulation Synthesis via Continuous Correspondence Embeddings and Residual-Guided Diffusion [36.9457697304841]
ManiDextは、手操作やポーズを把握するための階層的な拡散ベースの統合フレームワークである。私たちの重要な洞察は、相互作用中の物体と手との接触関係を正確にモデル化することが重要であるということです。本フレームワークは,まず,物体表面への接触マップと対応埋め込みを生成する。これらの微粒な対応に基づき,拡散過程に反復的精錬プロセスを統合する新しいアプローチを導入する。
論文参考訳（メタデータ） (2024-09-14T04:28:44Z)
DiffH2O: Diffusion-Based Synthesis of Hand-Object Interactions from Textual Descriptions [15.417836855005087]
DiffH2Oは,現実的,一方的あるいは一方的な物体相互作用を合成する新しい手法である。タスクを把握段階とテキストベースのインタラクション段階に分解する。把握段階では、モデルが手の動きのみを生成するのに対し、手と物の両方のポーズが合成される。
論文参考訳（メタデータ） (2024-03-26T16:06:42Z)
NCRF: Neural Contact Radiance Fields for Free-Viewpoint Rendering of Hand-Object Interaction [19.957593804898064]
ビデオのスパース集合から手動物体間相互作用を再構成するための新しいフリーポイントレンダリングフレームワークであるニューラルコンタクトレーダランスフィールド(NCRF)を提案する。私たちはこれらの重要なコンポーネントを共同で学び、視覚的および幾何学的制約で相互に助け合い、規則化します。提案手法は、レンダリング品質とポーズ推定精度の両方の観点から、現在の最先端技術よりも優れています。
論文参考訳（メタデータ） (2024-02-08T10:09:12Z)
Hand-Centric Motion Refinement for 3D Hand-Object Interaction via Hierarchical Spatial-Temporal Modeling [18.128376292350836]
粗い手の動き改善のためのデータ駆動方式を提案する。まず,手と物体の動的空間的関係を記述するために,手中心の表現を設計する。第2に,手動物体相互作用の動的手がかりを捉えるために,新しいアーキテクチャを提案する。
論文参考訳（メタデータ） (2024-01-29T09:17:51Z)
Controllable Human-Object Interaction Synthesis [77.56877961681462]
本研究では,3次元シーンにおける同期物体の動きと人間の動きを生成するための制御可能な人間-物体相互作用合成(CHOIS)を提案する。ここでは,高レベルな計画から効果的に抽出できるスタイルや意図を言語記述が通知し,シーン内の動きをグラウンド化する。我々のモジュールは経路計画モジュールとシームレスに統合され、3D環境における長期的相互作用の生成を可能にします。
論文参考訳（メタデータ） (2023-12-06T21:14:20Z)
GRIP: Generating Interaction Poses Using Spatial Cues and Latent Consistency [57.9920824261925]
手は器用で多用途なマニピュレータであり、人間が物体や環境とどのように相互作用するかの中心である。現実的な手オブジェクトの相互作用をモデル化することは、コンピュータグラフィックス、コンピュータビジョン、混合現実の応用において重要である。 GRIPは、体と物体の3次元運動を入力として取り、物体の相互作用の前、中、後の両方の両手の現実的な動きを合成する学習ベースの手法である。
論文参考訳（メタデータ） (2023-08-22T17:59:51Z)
Learning Explicit Contact for Implicit Reconstruction of Hand-held Objects from Monocular Images [59.49985837246644]
我々は,手持ちの物体を暗黙的に再構築する上で,明示的な方法で接触をモデル化する方法を示す。まず,1つの画像から3次元手オブジェクトの接触を直接推定するサブタスクを提案する。第2部では,ハンドメッシュ面から近傍の3次元空間へ推定された接触状態を拡散する新しい手法を提案する。
論文参考訳（メタデータ） (2023-05-31T17:59:26Z)
HMDO: Markerless Multi-view Hand Manipulation Capture with Deformable Objects [8.711239906965893]
HMDOは、手と変形可能な物体の対話的な動きを記録する最初のマーカーレス変形可能な相互作用データセットである。提案手法は,手と変形可能な物体の対話的動きを高品質に再現することができる。
論文参考訳（メタデータ） (2023-01-18T16:55:15Z)
Collaborative Learning for Hand and Object Reconstruction with Attention-guided Graph Convolution [49.10497573378427]
インタラクション中の手や物体のポーズと形状を推定すると、拡張現実や仮想現実を含む多くの応用が見つかる。我々のアルゴリズムはオブジェクトモデルへの最適化であり、手動オブジェクトの相互作用を管理する物理規則を学習する。広範に使用されている4つのベンチマークを用いて実験したところ、我々のフレームワークは3次元ポーズ推定における最先端の精度を超えて達成でき、また、密集した3次元手や物体の形状を復元できることがわかった。
論文参考訳（メタデータ） (2022-04-27T17:00:54Z)
Dynamic Modeling of Hand-Object Interactions via Tactile Sensing [133.52375730875696]
本研究では,高分解能な触覚グローブを用いて,多種多様な物体に対して4種類のインタラクティブな動作を行う。我々は,クロスモーダル学習フレームワーク上にモデルを構築し,視覚処理パイプラインを用いてラベルを生成し,触覚モデルを監督する。この研究は、高密度触覚センシングによる手動物体相互作用における動的モデリングの一歩を踏み出す。
論文参考訳（メタデータ） (2021-09-09T16:04:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。