論文の概要: HandSSCA: 3D Hand Mesh Reconstruction with State Space Channel Attention from RGB images

• arxiv url: http://arxiv.org/abs/2405.01066v2
• Date: Sat, 4 May 2024 09:39:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-07 12:36:45.049305
• Title: HandSSCA: 3D Hand Mesh Reconstruction with State Space Channel Attention from RGB images
• Title（参考訳）: HandSSCA:RGB画像からのステートスペースチャネル注意による3Dハンドメッシュ再構築
• Authors: Zixun Jiao, Xihan Wang, Quanli Gao,
• Abstract要約: 本稿では,シンプルで効果的なハンドメッシュ再構築ネットワークHandSSCAを提案する。 状態空間モデリングを手ポーズ推定の分野に取り入れたのは、これが初めてである。 提案するHandSSCAは,最小パラメータ数を維持しながら最先端の性能を実現する。
• 参考スコア（独自算出の注目度）: 0.5980822697955566
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reconstructing a hand mesh from a single RGB image is a challenging task because hands are often occluded by objects. Most previous works attempted to introduce more additional information and adopt attention mechanisms to improve 3D reconstruction results, but it would increased computational complexity. This observation prompts us to propose a new and concise architecture while improving computational efficiency. In this work, we propose a simple and effective 3D hand mesh reconstruction network HandSSCA, which is the first to incorporate state space modeling into the field of hand pose estimation. In the network, we have designed a novel state space channel attention module that extends the effective sensory field, extracts hand features in the spatial dimension, and enhances hand regional features in the channel dimension. This design helps to reconstruct a complete and detailed hand mesh. Extensive experiments conducted on well-known datasets featuring challenging hand-object occlusions (such as FREIHAND, DEXYCB, and HO3D) demonstrate that our proposed HandSSCA achieves state-of-the-art performance while maintaining a minimal parameter count.
• Abstract（参考訳）: 単一のRGB画像から手メッシュを再構築するのは難しい作業です。 これまでのほとんどの研究は、さらなる情報を導入し、3D再構成結果を改善するための注意機構を導入しようとしたが、計算の複雑さは増大した。 この結果から,計算効率を向上しつつ,より簡潔なアーキテクチャを提案することができた。 本研究では,手動ポーズ推定の分野に状態空間モデリングを組み込んだ,シンプルで効果的な3次元手動メッシュ再構成ネットワークHandSSCAを提案する。 ネットワーク上では,有効な感覚場を拡張し,空間次元における手の特徴を抽出し,チャネル次元における手動領域の特徴を増強する,新しい状態空間アテンションモジュールを設計した。 この設計は、完全で詳細なハンドメッシュを再構築するのに役立ちます。 FREIHAND, DEXYCB, HO3Dなど, 難易度の高い手動オクルージョンを特徴とするよく知られたデータセットを用いて行った大規模な実験により, 提案したHandSSCAは, 最小パラメータ数を維持しながら, 最先端の性能を達成できることを示した。

関連論文リスト

• M3D: Dual-Stream Selective State Spaces and Depth-Driven Framework for High-Fidelity Single-View 3D Reconstruction [3.2228041579285978]
  M3Dは複雑なシーンのための新しい単一ビュー3D再構成フレームワークである。 グローバルな特徴と局所的な特徴の抽出のバランスを保ち、シーンの理解と表現精度を向上させる。 その結果,2重分岐特徴抽出による深度情報との融合により,幾何的整合性と忠実度が著しく向上することが示唆された。
  論文  参考訳（メタデータ） (2024-11-19T16:49:24Z)
• WiLoR: End-to-end 3D Hand Localization and Reconstruction in-the-wild [53.288327629960364]
  野生における効率的なマルチハンド再構築のためのデータ駆動パイプラインを提案する。 提案するパイプラインは、リアルタイム完全畳み込みハンドローカライゼーションと、高忠実度トランスフォーマーに基づく3Dハンド再構成モデルという2つのコンポーネントで構成されている。 提案手法は, 一般的な2次元および3次元のベンチマークにおいて, 効率と精度の両方において, 従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-09-18T18:46:51Z)
• HandBooster: Boosting 3D Hand-Mesh Reconstruction by Conditional Synthesis and Sampling of Hand-Object Interactions [68.28684509445529]
  HandBoosterは、データの多様性を向上し、3Dハンド・ミーシュ・リコンストラクションのパフォーマンスを向上する新しいアプローチである。 まず,多様な手やポーズ,ビュー,背景を持つリアルな画像を生成するために,拡散モデルを誘導する多目的コンテンツ認識条件を構築した。 そこで我々は,我々の類似性を考慮した分布サンプリング戦略に基づく新しい条件作成手法を設計し,トレーニングセットとは異なる,斬新で現実的なインタラクションのポーズを意図的に見つける。
  論文  参考訳（メタデータ） (2024-03-27T13:56:08Z)
• SiMA-Hand: Boosting 3D Hand-Mesh Reconstruction by Single-to-Multi-View Adaptation [90.59734612754222]
  RGB画像から3Dハンドメッシュを推定することは、最も難しい問題のひとつです。 このタスクに対する既存の試みは、オクルージョンが画像空間を支配しているときに失敗することが多い。 本稿では,Single-to-Multi-view Adaptationによるメッシュ再構成性能の向上を目的としたSiMA-Handを提案する。
  論文  参考訳（メタデータ） (2024-02-02T13:14:20Z)
• HandNeRF: Learning to Reconstruct Hand-Object Interaction Scene from a Single RGB Image [41.580285338167315]
  本稿では,1枚のRGB画像から3次元手オブジェクトシーンを再構成する前に,手オブジェクト間のインタラクションを学習する方法を提案する。 我々は手形状を用いて手と物体形状の相対的な構成を制約する。 そこで,HandNeRFは,手動による新たなグリップ構成のシーンを,同等の手法よりも高精度に再構築可能であることを示す。
  論文  参考訳（メタデータ） (2023-09-14T17:42:08Z)
• Decoupled Iterative Refinement Framework for Interacting Hands Reconstruction from a Single RGB Image [30.24438569170251]
  画素アライメント・ハンド再構成を実現するために,分離された反復的精細化フレームワークを提案する。 提案手法は、InterHand2.6Mデータセットにおいて、既存の2手再構成手法を大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2023-02-05T15:46:57Z)
• UV-Based 3D Hand-Object Reconstruction with Grasp Optimization [23.06364591130636]
  1枚のRGB画像から手形復元と手形グリップ最適化のための新しいフレームワークを提案する。 接触領域を疎点で近似する代わりに、UV座標写像の形で密度の高い表現を提案する。 我々のパイプラインは手形復元の精度を高め、鮮やかな手形のテクスチャを生成する。
  論文  参考訳（メタデータ） (2022-11-24T05:59:23Z)
• Towards Accurate Alignment in Real-time 3D Hand-Mesh Reconstruction [57.3636347704271]
  RGB画像からの3Dハンドメッシュ再構築は拡張現実(AR)を含む多くのアプリケーションに役立つ 本稿では,手指再建作業を3段階に分割し,新しいパイプラインを提案する。 高品質な指レベルのメッシュイメージアライメントを促進し、モデルをまとめて、リアルタイムな予測を実現することができます。
  論文  参考訳（メタデータ） (2021-09-03T20:42:01Z)
• RGB2Hands: Real-Time Tracking of 3D Hand Interactions from Monocular RGB Video [76.86512780916827]
  本稿では,1台のRGBカメラによる骨格ポーズのモーションキャプチャと手の表面形状をリアルタイムに計測する手法を提案する。 RGBデータの本質的な深さの曖昧さに対処するために,我々は新しいマルチタスクCNNを提案する。 RGBの片手追跡と3D再構築パイプラインの個々のコンポーネントを実験的に検証した。
  論文  参考訳（メタデータ） (2021-06-22T12:53:56Z)
• Weakly-Supervised Mesh-Convolutional Hand Reconstruction in the Wild [59.158592526006814]
  YouTubeビデオに手の動きの大規模なデータセットを収集することで、ネットワークをトレーニングします。 私たちの弱い教師付きメッシュ畳み込みベースのシステムは、最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2020-04-04T14:35:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。