論文の概要: Complementing Event Streams and RGB Frames for Hand Mesh Reconstruction

• arxiv url: http://arxiv.org/abs/2403.07346v1
• Date: Tue, 12 Mar 2024 06:04:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 22:42:14.191454
• Title: Complementing Event Streams and RGB Frames for Hand Mesh Reconstruction
• Title（参考訳）: ハンドメッシュ再構築のためのイベントストリームとRGBフレームの補完
• Authors: Jianping Jiang, Xinyu Zhou, Bingxuan Wang, Xiaoming Deng, Chao Xu, Boxin Shi
• Abstract要約: EvRGBHand - イベントカメラとRGBカメラによる3Dハンドメッシュ再構築のための最初のアプローチを提案する。 EvRGBHandは、RGBベースのHMRにおける露出とモーションのぼかしの問題と、イベントベースのHMRにおける前景の不足とバックグラウンドのオーバーフロー問題に対処することができる。
• 参考スコア（独自算出の注目度）: 51.87279764576998
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reliable hand mesh reconstruction (HMR) from commonly-used color and depth sensors is challenging especially under scenarios with varied illuminations and fast motions. Event camera is a highly promising alternative for its high dynamic range and dense temporal resolution properties, but it lacks key texture appearance for hand mesh reconstruction. In this paper, we propose EvRGBHand -- the first approach for 3D hand mesh reconstruction with an event camera and an RGB camera compensating for each other. By fusing two modalities of data across time, space, and information dimensions,EvRGBHand can tackle overexposure and motion blur issues in RGB-based HMR and foreground scarcity and background overflow issues in event-based HMR. We further propose EvRGBDegrader, which allows our model to generalize effectively in challenging scenes, even when trained solely on standard scenes, thus reducing data acquisition costs. Experiments on real-world data demonstrate that EvRGBHand can effectively solve the challenging issues when using either type of camera alone via retaining the merits of both, and shows the potential of generalization to outdoor scenes and another type of event camera.
• Abstract（参考訳）: 一般的な色と深度センサーからの信頼性のある手メッシュ再構成(HMR)は、特に様々な照明と高速動作のシナリオにおいて困難である。 イベントカメラは、高ダイナミックレンジと高密度時間分解能の代替として非常に有望であるが、手メッシュ再構築のための重要なテクスチャの外観は欠如している。 本稿では,イベントカメラとRGBカメラによる3Dハンドメッシュ再構築のための最初のアプローチであるEvRGBHandを提案する。 EvRGBHandは、時間、空間、情報次元にまたがる2つのデータモダリティを融合することにより、RGBベースのHMRと前景の不足とイベントベースのHMRにおける背景のオーバーフローの問題に対処することができる。 我々はさらに,標準場面のみを訓練した場合でも,挑戦場面で効果的に一般化できるevrgbdegraderを提案し,データ取得コストを低減した。 EvRGBHandは、両方のメリットを保ちながら、どちらのタイプのカメラも使う場合の課題を効果的に解決できることを示し、屋外シーンやイベントカメラへの一般化の可能性を示している。

関連論文リスト

• E-3DGS: Gaussian Splatting with Exposure and Motion Events [29.042018288378447]
  イベントを動作と露出に分割するイベントベースの新しいアプローチであるE-3DGSを提案する。 露光イベントと3DGSの新たな統合を導入し,明示的なシーン表現を高品質に再現する。 提案手法は,NeRF法よりもコスト効率が高く,イベントベースのNeRFよりも再現性が高い。
  論文  参考訳（メタデータ） (2024-10-22T13:17:20Z)
• EF-3DGS: Event-Aided Free-Trajectory 3D Gaussian Splatting [76.02450110026747]
  生物学的ビジョンにインスパイアされたイベントカメラは、時間分解能の高い画素の強度を非同期に記録する。 本稿では,イベントカメラの利点を3DGSにシームレスに統合するイベント支援フリートラジェクトリ3DGSを提案する。 提案手法を,パブリックタンクとテンプルのベンチマークと,新たに収集した実世界のデータセットであるRealEv-DAVISで評価した。
  論文  参考訳（メタデータ） (2024-10-20T13:44:24Z)
• SpikeNVS: Enhancing Novel View Synthesis from Blurry Images via Spike Camera [78.20482568602993]
  従来のRGBカメラは、動きがぼやけやすい。 イベントやスパイクカメラのようなニューロモルフィックカメラは、本質的により包括的な時間情報をキャプチャする。 我々の設計は、NeRFと3DGSをまたいだ新しいビュー合成を強化することができる。
  論文  参考訳（メタデータ） (2024-04-10T03:31:32Z)
• EvPlug: Learn a Plug-and-Play Module for Event and Image Fusion [55.367269556557645]
  EvPlugは、既存のRGBベースのモデルの監視から、プラグアンドプレイイベントとイメージ融合モジュールを学習する。 オブジェクト検出,セマンティックセグメンテーション,3Dハンドポーズ推定などの視覚タスクにおいて,EvPlugの優位性を示す。
  論文  参考訳（メタデータ） (2023-12-28T10:05:13Z)
• 3D Pose Estimation of Two Interacting Hands from a Monocular Event Camera [59.846927201816776]
  本稿では,1つの単眼イベントカメラから手の動きの速い2つの手の動きを3次元追跡するための最初のフレームワークを紹介する。 本手法は, 半教師付き機能的注意機構により, 左手のあいまいさに対処し, 交差点の損失を補足して手衝突を解消する。
  論文  参考訳（メタデータ） (2023-12-21T18:59:57Z)
• HDR Reconstruction from Bracketed Exposures and Events [12.565039752529797]
  高品質なHDR画像の再構成は、現代の計算写真の中心にある。 特徴領域におけるブラケット画像とイベントを融合したマルチモーダルなエンドツーエンド学習型HDRイメージングシステムを提案する。 我々のフレームワークは、スライディングウィンドウを使用して入力イベントストリームをサブサンプリングすることで、イベントの時間分解能を高める。
  論文  参考訳（メタデータ） (2022-03-28T15:04:41Z)
• RGB2Hands: Real-Time Tracking of 3D Hand Interactions from Monocular RGB Video [76.86512780916827]
  本稿では,1台のRGBカメラによる骨格ポーズのモーションキャプチャと手の表面形状をリアルタイムに計測する手法を提案する。 RGBデータの本質的な深さの曖昧さに対処するために,我々は新しいマルチタスクCNNを提案する。 RGBの片手追跡と3D再構築パイプラインの個々のコンポーネントを実験的に検証した。
  論文  参考訳（メタデータ） (2021-06-22T12:53:56Z)
• RGB-D-E: Event Camera Calibration for Fast 6-DOF Object Tracking [16.06615504110132]
  6自由度で3次元物体追跡を高速化するために,イベントベースカメラを提案する。 このアプリケーションは、魅力的なAR体験を伝えるために、非常に高いオブジェクトスピードを扱う必要がある。 我々は,既存のRGB-Dネットワークと新しいイベントベースネットワークをカスケード方式で組み合わせたディープラーニングアプローチを開発した。
  論文  参考訳（メタデータ） (2020-06-09T01:55:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。