論文の概要: Parallel mesh reconstruction streams for pose estimation of interacting hands

• arxiv url: http://arxiv.org/abs/2104.12123v1
• Date: Sun, 25 Apr 2021 10:14:15 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-27 14:37:20.149440
• Title: Parallel mesh reconstruction streams for pose estimation of interacting hands
• Title（参考訳）: インタラクションハンドのポーズ推定のための並列メッシュ再構成ストリーム
• Authors: Uri Wollner and Guy Ben-Yosef
• Abstract要約: 単一のRGB画像から手動ポーズ推定を行うマルチストリーム3Dメッシュ再構成ネットワーク(MSMR-Net)を提案する。 我々のモデルは、画像エンコーダと、連結グラフ畳み込み層からなるメッシュ畳み込みデコーダからなる。
• 参考スコア（独自算出の注目度）: 2.0305676256390934
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a new multi-stream 3D mesh reconstruction network (MSMR-Net) for hand pose estimation from a single RGB image. Our model consists of an image encoder followed by a mesh-convolution decoder composed of connected graph convolution layers. In contrast to previous models that form a single mesh decoding path, our decoder network incorporates multiple cross-resolution trajectories that are executed in parallel. Thus, global and local information are shared to form rich decoding representations at minor additional parameter cost compared to the single trajectory network. We demonstrate the effectiveness of our method in hand-hand and hand-object interaction scenarios at various levels of interaction. To evaluate the former scenario, we propose a method to generate RGB images of closely interacting hands. Moreoever, we suggest a metric to quantify the degree of interaction and show that close hand interactions are particularly challenging. Experimental results show that the MSMR-Net outperforms existing algorithms on the hand-object FreiHAND dataset as well as on our own hand-hand dataset.
• Abstract（参考訳）: 単一のRGB画像から手動ポーズ推定を行うマルチストリーム3Dメッシュ再構成ネットワーク(MSMR-Net)を提案する。 我々のモデルは、画像エンコーダと、連結グラフ畳み込み層からなるメッシュ畳み込みデコーダからなる。 単一のメッシュデコードパスを形成する従来のモデルとは対照的に、デコーダネットワークは並列に実行される複数のクロスレゾリューショントラジェクトリを組み込んでいる。 これにより、グローバル情報とローカル情報が共有され、単一の軌道網に比べて小さな追加パラメータコストでリッチな復号表現を形成する。 本研究では,手動・手動のインタラクションシナリオにおける手法の有効性を,様々なレベルのインタラクションで示す。 前者のシナリオを評価するために,密接に相互作用する手によるRGB画像を生成する手法を提案する。 さらに、相互作用の度合いを定量化し、手近な相互作用が特に難しいことを示す指標を提案する。 実験の結果,MSMR-NetはFreiHANDデータセットや我々の手動データセットにおいて,既存のアルゴリズムよりも優れていることがわかった。

関連論文リスト

• Fine-Grained Multi-View Hand Reconstruction Using Inverse Rendering [11.228453237603834]
  本稿では,逆レンダリングを利用して手ポーズを復元し,詳細を複雑化する多視点ハンドメッシュ再構成手法を提案する。 また、ハンドメッシュとテクスチャの両方を洗練させるために、新しいハンドアルベドとメッシュ(HAM)最適化モジュールも導入した。 提案手法は,再現精度とレンダリング品質の両面において,最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2024-07-08T07:28:24Z)
• Rotated Multi-Scale Interaction Network for Referring Remote Sensing Image Segmentation [63.15257949821558]
  Referring Remote Sensing Image (RRSIS)は、コンピュータビジョンと自然言語処理を組み合わせた新しい課題である。 従来の参照画像(RIS)アプローチは、空中画像に見られる複雑な空間スケールと向きによって妨げられている。 本稿ではRMSIN(Rotated Multi-Scale Interaction Network)を紹介する。
  論文  参考訳（メタデータ） (2023-12-19T08:14:14Z)
• SeMLaPS: Real-time Semantic Mapping with Latent Prior Networks and Quasi-Planar Segmentation [53.83313235792596]
  本稿では,RGB-Dシーケンスからのリアルタイム意味マッピングのための新しい手法を提案する。 2DニューラルネットワークとSLAMシステムに基づく3Dネットワークと3D占有マッピングを組み合わせる。 本システムは,2D-3Dネットワークベースシステムにおいて,最先端のセマンティックマッピング品質を実現する。
  論文  参考訳（メタデータ） (2023-06-28T22:36:44Z)
• MeMaHand: Exploiting Mesh-Mano Interaction for Single Image Two-Hand Reconstruction [19.82874341207336]
  メッシュを再構築し、単一のRGB画像から2つの手のMANOパラメータを同時に推定する。 MMIBは、局所情報を集約するために1つのグラフ残差ブロックと、長距離依存をモデル化するために2つのトランスフォーマーエンコーダから構成される。 InterHand2.6Mベンチマークの実験は、最先端の手再構成法に対して有望な結果を示した。
  論文  参考訳（メタデータ） (2023-03-28T04:06:02Z)
• A Model-data-driven Network Embedding Multidimensional Features for Tomographic SAR Imaging [5.489791364472879]
  多次元特徴量に基づくトモSARイメージングを実現するためのモデルデータ駆動型ネットワークを提案する。 画像シーンの多次元的特徴を効果的に向上するために、2つの2次元処理モジュール(畳み込みエンコーダ-デコーダ構造)を追加します。 従来のCS-based FISTA法とDL-based gamma-Net法と比較して,提案手法は良好な画像精度を有しつつ,完全性を向上させる。
  論文  参考訳（メタデータ） (2022-11-28T02:01:43Z)
• RGB2Hands: Real-Time Tracking of 3D Hand Interactions from Monocular RGB Video [76.86512780916827]
  本稿では,1台のRGBカメラによる骨格ポーズのモーションキャプチャと手の表面形状をリアルタイムに計測する手法を提案する。 RGBデータの本質的な深さの曖昧さに対処するために,我々は新しいマルチタスクCNNを提案する。 RGBの片手追跡と3D再構築パイプラインの個々のコンポーネントを実験的に検証した。
  論文  参考訳（メタデータ） (2021-06-22T12:53:56Z)
• Im2Mesh GAN: Accurate 3D Hand Mesh Recovery from a Single RGB Image [31.371190180801452]
  入力画像から直接ハンドメッシュを学習できることが示される。 我々は、エンドツーエンドの学習を通してメッシュを学習するための新しいタイプのGANIm2Mesh GANを提案する。
  論文  参考訳（メタデータ） (2021-01-27T07:38:01Z)
• Joint Hand-object 3D Reconstruction from a Single Image with Cross-branch Feature Fusion [78.98074380040838]
  特徴空間において手とオブジェクトを共同で検討し、2つの枝の相互性について検討する。 入力されたRGB画像に推定深度マップを付加するために補助深度推定モジュールを用いる。 提案手法は,オブジェクトの復元精度において既存手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-06-28T09:50:25Z)
• Weakly-Supervised Mesh-Convolutional Hand Reconstruction in the Wild [59.158592526006814]
  YouTubeビデオに手の動きの大規模なデータセットを収集することで、ネットワークをトレーニングします。 私たちの弱い教師付きメッシュ畳み込みベースのシステムは、最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2020-04-04T14:35:37Z)
• Learning Enriched Features for Real Image Restoration and Enhancement [166.17296369600774]
  畳み込みニューラルネットワーク(CNN)は、画像復元作業における従来のアプローチよりも劇的に改善されている。 ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とした,新しいアーキテクチャを提案する。 提案手法は,高解像度の空間的詳細を同時に保存しながら,複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
  論文  参考訳（メタデータ） (2020-03-15T11:04:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。