論文の概要: HandS3C: 3D Hand Mesh Reconstruction with State Space Spatial Channel Attention from RGB images

• arxiv url: http://arxiv.org/abs/2405.01066v3
• Date: Tue, 14 May 2024 11:47:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-15 18:22:42.325584
• Title: HandS3C: 3D Hand Mesh Reconstruction with State Space Spatial Channel Attention from RGB images
• Title（参考訳）: HandS3C:RGB画像からの状態空間チャネル注意による3次元手メッシュ再構築
• Authors: Zixun Jiao, Xihan Wang, Zhaoqiang Xia, Lianhe Shao, Quanli Gao,
• Abstract要約: 簡単な3次元手メッシュ再構成ネットワーク(HandS3C)を提案する。 ネットワーク上では,有効受容場を拡張可能な空間空間アテンションモジュールを設計する。 提案するHandS3Cは,最小限のパラメータを維持しながら最先端の性能を実現する。
• 参考スコア（独自算出の注目度）: 4.252549987351642
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reconstructing the hand mesh from one single RGB image is a challenging task because hands are often occluded by other objects. Most previous works attempt to explore more additional information and adopt attention mechanisms for improving 3D reconstruction performance, while it would increase computational complexity simultaneously. To achieve a performance-reserving architecture with high computational efficiency, in this work, we propose a simple but effective 3D hand mesh reconstruction network (i.e., HandS3C), which is the first time to incorporate state space model into the task of hand mesh reconstruction. In the network, we design a novel state-space spatial-channel attention module that extends the effective receptive field, extracts hand features in the spatial dimension, and enhances regional features of hands in the channel dimension. This helps to reconstruct a complete and detailed hand mesh. Extensive experiments conducted on well-known datasets facing heavy occlusions (such as FREIHAND, DEXYCB, and HO3D) demonstrate that our proposed HandS3C achieves state-of-the-art performance while maintaining a minimal parameters.
• Abstract（参考訳）: 片方のRGB画像から手メッシュを再構築するのは難しい作業です。 これまでのほとんどの研究は、さらなる情報を探究し、3次元再構成性能を改善するための注意機構を導入し、同時に計算の複雑さを増大させようとしている。 計算効率の高い性能保存アーキテクチャを実現するため,本研究では,手メッシュ再構築作業に状態空間モデルを組み込んだ最初の3次元手メッシュ再構成ネットワーク(HandS3C)を提案する。 ネットワークでは,有効受容場を拡張し,空間次元における手の特徴を抽出し,チャネル次元における手の局所的特徴を向上する,新しい状態空間型空間チャネルアテンションモジュールを設計する。 これにより、完全かつ詳細なハンドメッシュの再構築が可能になる。 FREIHAND, DEXYCB, HO3Dなど, 重閉塞に直面したよく知られたデータセットに対して行われた大規模な実験により, 提案したHandS3Cは, 最小限のパラメータを保ちながら, 最先端の性能を達成することが示された。

関連論文リスト

• M3D: Dual-Stream Selective State Spaces and Depth-Driven Framework for High-Fidelity Single-View 3D Reconstruction [3.2228041579285978]
  M3Dは複雑なシーンのための新しい単一ビュー3D再構成フレームワークである。 グローバルな特徴と局所的な特徴の抽出のバランスを保ち、シーンの理解と表現精度を向上させる。 その結果,2重分岐特徴抽出による深度情報との融合により,幾何的整合性と忠実度が著しく向上することが示唆された。
  論文  参考訳（メタデータ） (2024-11-19T16:49:24Z)
• WiLoR: End-to-end 3D Hand Localization and Reconstruction in-the-wild [53.288327629960364]
  野生における効率的なマルチハンド再構築のためのデータ駆動パイプラインを提案する。 提案するパイプラインは、リアルタイム完全畳み込みハンドローカライゼーションと、高忠実度トランスフォーマーに基づく3Dハンド再構成モデルという2つのコンポーネントで構成されている。 提案手法は, 一般的な2次元および3次元のベンチマークにおいて, 効率と精度の両方において, 従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-09-18T18:46:51Z)
• HandBooster: Boosting 3D Hand-Mesh Reconstruction by Conditional Synthesis and Sampling of Hand-Object Interactions [68.28684509445529]
  HandBoosterは、データの多様性を向上し、3Dハンド・ミーシュ・リコンストラクションのパフォーマンスを向上する新しいアプローチである。 まず,多様な手やポーズ,ビュー,背景を持つリアルな画像を生成するために,拡散モデルを誘導する多目的コンテンツ認識条件を構築した。 そこで我々は,我々の類似性を考慮した分布サンプリング戦略に基づく新しい条件作成手法を設計し,トレーニングセットとは異なる,斬新で現実的なインタラクションのポーズを意図的に見つける。
  論文  参考訳（メタデータ） (2024-03-27T13:56:08Z)
• SiMA-Hand: Boosting 3D Hand-Mesh Reconstruction by Single-to-Multi-View Adaptation [90.59734612754222]
  RGB画像から3Dハンドメッシュを推定することは、最も難しい問題のひとつです。 このタスクに対する既存の試みは、オクルージョンが画像空間を支配しているときに失敗することが多い。 本稿では,Single-to-Multi-view Adaptationによるメッシュ再構成性能の向上を目的としたSiMA-Handを提案する。
  論文  参考訳（メタデータ） (2024-02-02T13:14:20Z)
• HandNeRF: Learning to Reconstruct Hand-Object Interaction Scene from a Single RGB Image [41.580285338167315]
  本稿では,1枚のRGB画像から3次元手オブジェクトシーンを再構成する前に,手オブジェクト間のインタラクションを学習する方法を提案する。 我々は手形状を用いて手と物体形状の相対的な構成を制約する。 そこで,HandNeRFは,手動による新たなグリップ構成のシーンを,同等の手法よりも高精度に再構築可能であることを示す。
  論文  参考訳（メタデータ） (2023-09-14T17:42:08Z)
• Decoupled Iterative Refinement Framework for Interacting Hands Reconstruction from a Single RGB Image [30.24438569170251]
  画素アライメント・ハンド再構成を実現するために,分離された反復的精細化フレームワークを提案する。 提案手法は、InterHand2.6Mデータセットにおいて、既存の2手再構成手法を大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2023-02-05T15:46:57Z)
• UV-Based 3D Hand-Object Reconstruction with Grasp Optimization [23.06364591130636]
  1枚のRGB画像から手形復元と手形グリップ最適化のための新しいフレームワークを提案する。 接触領域を疎点で近似する代わりに、UV座標写像の形で密度の高い表現を提案する。 我々のパイプラインは手形復元の精度を高め、鮮やかな手形のテクスチャを生成する。
  論文  参考訳（メタデータ） (2022-11-24T05:59:23Z)
• Towards Accurate Alignment in Real-time 3D Hand-Mesh Reconstruction [57.3636347704271]
  RGB画像からの3Dハンドメッシュ再構築は拡張現実(AR)を含む多くのアプリケーションに役立つ 本稿では,手指再建作業を3段階に分割し,新しいパイプラインを提案する。 高品質な指レベルのメッシュイメージアライメントを促進し、モデルをまとめて、リアルタイムな予測を実現することができます。
  論文  参考訳（メタデータ） (2021-09-03T20:42:01Z)
• RGB2Hands: Real-Time Tracking of 3D Hand Interactions from Monocular RGB Video [76.86512780916827]
  本稿では,1台のRGBカメラによる骨格ポーズのモーションキャプチャと手の表面形状をリアルタイムに計測する手法を提案する。 RGBデータの本質的な深さの曖昧さに対処するために,我々は新しいマルチタスクCNNを提案する。 RGBの片手追跡と3D再構築パイプラインの個々のコンポーネントを実験的に検証した。
  論文  参考訳（メタデータ） (2021-06-22T12:53:56Z)
• Weakly-Supervised Mesh-Convolutional Hand Reconstruction in the Wild [59.158592526006814]
  YouTubeビデオに手の動きの大規模なデータセットを収集することで、ネットワークをトレーニングします。 私たちの弱い教師付きメッシュ畳み込みベースのシステムは、最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2020-04-04T14:35:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。