論文の概要: RemoteTouch: Enhancing Immersive 3D Video Communication with Hand Touch

• arxiv url: http://arxiv.org/abs/2302.14365v1
• Date: Tue, 28 Feb 2023 07:37:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-01 17:37:10.987378
• Title: RemoteTouch: Enhancing Immersive 3D Video Communication with Hand Touch
• Title（参考訳）: RemoteTouch: 手触で没入型3Dビデオコミュニケーションを実現する
• Authors: Yizhong Zhang, Zhiqi Li, Sicheng Xu, Chong Li, Jiaolong Yang, Xin Tong, Baining Guo
• Abstract要約: 本システムでは,各参加者は触覚フィードバックのある大きなスクリーンの前に座る。 ローカルの参加者はスクリーンに手を差し伸べ、リモートの参加者と手をたたくことができる。
• 参考スコア（独自算出の注目度）: 28.096602057231035
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent research advance has significantly improved the visual realism of immersive 3D video communication. In this work we present a method to further enhance this immersive experience by adding the hand touch capability ("remote hand clapping"). In our system, each meeting participant sits in front of a large screen with haptic feedback. The local participant can reach his hand out to the screen and perform hand clapping with the remote participant as if the two participants were only separated by a virtual glass. A key challenge in emulating the remote hand touch is the realistic rendering of the participant's hand and arm as the hand touches the screen. When the hand is very close to the screen, the RGBD data required for realistic rendering is no longer available. To tackle this challenge, we present a dual representation of the user's hand. Our dual representation not only preserves the high-quality rendering usually found in recent image-based rendering systems but also allows the hand to reach the screen. This is possible because the dual representation includes both an image-based model and a 3D geometry-based model, with the latter driven by a hand skeleton tracked by a side view camera. In addition, the dual representation provides a distance-based fusion of the image-based and 3D geometry-based models as the hand moves closer to the screen. The result is that the image-based and 3D geometry-based models mutually enhance each other, leading to realistic and seamless rendering. Our experiments demonstrate that our method provides consistent hand contact experience between remote users and improves the immersive experience of 3D video communication.
• Abstract（参考訳）: 最近の研究は没入型3dビデオ通信の視覚リアリズムを著しく改善している。 本研究は,手触り機能(「リモートハンドクラップ」)を付加することで,この没入感を高める手法を提案する。 本システムでは,各参加者は触覚フィードバックのある大きなスクリーンの前に座る。 ローカルの参加者はスクリーンに手を差し伸べ、リモートの参加者と手をたたくことができる。 リモートハンドタッチをエミュレートする上で重要な課題は、画面に触れるときの参加者の手と腕のリアルなレンダリングである。 手が画面に非常に近い場合、リアルレンダリングに必要なrgbdデータはもはや利用できない。 この課題に対処するため,利用者の手の二重表現を提案する。 我々の双対表現は、最近の画像ベースのレンダリングシステムで通常見られる高品質なレンダリングを保持するだけでなく、手がスクリーンに到達できるようにする。 これは、イメージベースモデルと3dジオメトリベースモデルの両方を含み、後者はサイドビューカメラで追跡される手骨格によって駆動されるためである。 さらに、双対表現は、手が画面に近づくにつれて、画像ベースと3dジオメトリベースのモデルの距離ベースの融合を提供する。 その結果、画像ベースと3次元幾何ベースのモデルが相互に強化され、現実的でシームレスなレンダリングにつながった。 本実験は,遠隔ユーザ間の一貫した接触体験を提供するとともに,3Dビデオ通信の没入感の向上を図っている。

関連論文リスト

• V-Hands: Touchscreen-based Hand Tracking for Remote Whiteboard Interaction [11.808862837391567]
  ホワイトボードベースの遠隔通信では、描画コンテンツと手画面インタラクションのシームレスな統合が不可欠である。 これまでの方法では、手の動きを捉えるために、かさばる装置のセットアップが必要だったり、静電容量画像から手の動きを正確に追跡できなかったりしていた。 容量ビデオフレームから両手の3Dポーズを正確に追跡するためのリアルタイムな手法を提案する。
  論文  参考訳（メタデータ） (2024-09-20T09:26:53Z)
• 3D Pose Estimation of Two Interacting Hands from a Monocular Event Camera [59.846927201816776]
  本稿では,1つの単眼イベントカメラから手の動きの速い2つの手の動きを3次元追跡するための最初のフレームワークを紹介する。 本手法は, 半教師付き機能的注意機構により, 左手のあいまいさに対処し, 交差点の損失を補足して手衝突を解消する。
  論文  参考訳（メタデータ） (2023-12-21T18:59:57Z)
• HARP: Personalized Hand Reconstruction from a Monocular RGB Video [37.384221764796095]
  本稿では,ヒトの手の短い単眼的RGB映像を入力として用いた,パーソナライズされた手指アバター作成手法であるHARPを提案する。 神経暗黙表現の大きな傾向とは対照的に、HARPはメッシュベースのパラメトリックハンドモデルで手をモデル化する。 HarPはリアルタイムレンダリング機能を備えたAR/VRアプリケーションで直接使用することができる。
  論文  参考訳（メタデータ） (2022-12-19T15:21:55Z)
• Consistent 3D Hand Reconstruction in Video via self-supervised Learning [67.55449194046996]
  本稿では,モノクロ映像から高精度で一貫した3Dハンドを再構築する手法を提案する。 検出された2次元手指キーポイントと画像テクスチャは、3次元手の形状とテクスチャに関する重要な手がかりを提供する。 自己監督型3Dハンド再構成モデルであるS2HAND$を提案する。
  論文  参考訳（メタデータ） (2022-01-24T09:44:11Z)
• RGB2Hands: Real-Time Tracking of 3D Hand Interactions from Monocular RGB Video [76.86512780916827]
  本稿では,1台のRGBカメラによる骨格ポーズのモーションキャプチャと手の表面形状をリアルタイムに計測する手法を提案する。 RGBデータの本質的な深さの曖昧さに対処するために,我々は新しいマルチタスクCNNを提案する。 RGBの片手追跡と3D再構築パイプラインの個々のコンポーネントを実験的に検証した。
  論文  参考訳（メタデータ） (2021-06-22T12:53:56Z)
• MM-Hand: 3D-Aware Multi-Modal Guided Hand Generative Network for 3D Hand Pose Synthesis [81.40640219844197]
  モノラルなRGB画像から3Dハンドポーズを推定することは重要だが難しい。 解決策は、高精度な3D手指キーポイントアノテーションを用いた大規模RGB手指画像のトレーニングである。 我々は,現実的で多様な3次元ポーズ保存ハンドイメージを合成する学習ベースアプローチを開発した。
  論文  参考訳（メタデータ） (2020-10-02T18:27:34Z)
• Body2Hands: Learning to Infer 3D Hands from Conversational Gesture Body Dynamics [87.17505994436308]
  身体の動きと手の動きは、非言語的コミュニケーション設定において強く相関しているという知見に基づいて構築する。 身体の動きのみを入力した場合の3次元手形状の予測タスクとして,この先行学習を定式化する。 本モデルでは,3次元手の動きのみを入力として,手の動きを説得力のある3次元手の動きを生成する。
  論文  参考訳（メタデータ） (2020-07-23T22:58:15Z)
• HandVoxNet: Deep Voxel-Based Network for 3D Hand Shape and Pose Estimation from a Single Depth Map [72.93634777578336]
  弱教師付き方式で3次元畳み込みを訓練した新しいアーキテクチャを提案する。 提案されたアプローチは、SynHand5Mデータセット上で、アートの状態を47.8%改善する。 我々の手法は、NYUとBigHand2.2Mデータセットで視覚的により合理的で現実的な手形を生成する。
  論文  参考訳（メタデータ） (2020-04-03T14:27:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。