論文の概要: 3D WholeBody Pose Estimation based on Semantic Graph Attention Network and Distance Information
- arxiv url: http://arxiv.org/abs/2406.01196v1
- Date: Mon, 3 Jun 2024 10:59:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-06 01:18:57.254366
- Title: 3D WholeBody Pose Estimation based on Semantic Graph Attention Network and Distance Information
- Title（参考訳）: セマンティックグラフアテンションネットワークと距離情報に基づく3次元全身電位推定
- Authors: Sihan Wen, Xiantan Zhu, Zhiming Tan,
- Abstract要約: 新たなセマンティックグラフアテンションネットワークは、グローバルコンテキストをキャプチャする自己アテンションの能力の恩恵を受けることができる。
本体部分デコーダは、身体の特定のセグメントに関連する情報を抽出し、精製するのを支援する。
幾何学的損失(Geometry Loss)は身体の構造的骨格に批判的な制約を与え、モデルの予測が人間の姿勢の自然な限界に合致することを確実にする。
- 参考スコア（独自算出の注目度）: 2.457872341625575
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, a plethora of diverse methods have been proposed for 3D pose estimation. Among these, self-attention mechanisms and graph convolutions have both been proven to be effective and practical methods. Recognizing the strengths of those two techniques, we have developed a novel Semantic Graph Attention Network which can benefit from the ability of self-attention to capture global context, while also utilizing the graph convolutions to handle the local connectivity and structural constraints of the skeleton. We also design a Body Part Decoder that assists in extracting and refining the information related to specific segments of the body. Furthermore, our approach incorporates Distance Information, enhancing our model's capability to comprehend and accurately predict spatial relationships. Finally, we introduce a Geometry Loss who makes a critical constraint on the structural skeleton of the body, ensuring that the model's predictions adhere to the natural limits of human posture. The experimental results validate the effectiveness of our approach, demonstrating that every element within the system is essential for improving pose estimation outcomes. With comparison to state-of-the-art, the proposed work not only meets but exceeds the existing benchmarks.
- Abstract（参考訳）: 近年,3次元ポーズ推定のための多種多様な手法が提案されている。
これらのうち、自己認識機構とグラフ畳み込みはどちらも効果的で実用的な方法であることが証明されている。
これら2つの技法の強みを認識し,世界的文脈を捉える自己認識能力の恩恵を受けるとともに,骨格の局所的な接続性や構造的制約にグラフ畳み込みを利用するセマンティックグラフ注意ネットワークを開発した。
また,身体の特定の部分に関する情報の抽出と精算を支援する身体部分デコーダを設計する。
さらに,提案手法は距離情報を導入し,空間的関係を理解・正確に予測するモデルの能力を高める。
最後に、体の構造的骨格に重要な制約を課し、モデルの予測が人間の姿勢の自然な限界に従うことを保証する幾何学的損失を導入する。
実験の結果,提案手法の有効性を検証し,システム内のすべての要素がポーズ推定結果の改善に不可欠であることを実証した。
最先端と比較して、提案された作業は適合するだけでなく、既存のベンチマークを超えている。
関連論文リスト
- Hand-object reconstruction via interaction-aware graph attention mechanism [25.396356108313178]
手と物体の両方のポーズを推定することは、研究の重要な領域となっている。
本稿では,対話型グラフアテンション機構を組み込んだグラフベースの精錬手法を提案する。
提案手法の有効性を示す実験を行った。
論文 参考訳（メタデータ） (2024-09-26T08:23:04Z) - Towards Robust and Expressive Whole-body Human Pose and Shape Estimation [51.457517178632756]
全体のポーズと形状の推定は、単眼画像から人体全体の異なる振る舞いを共同で予測することを目的としている。
既存の手法では、既存のシナリオの複雑さの下で、しばしば劣化したパフォーマンスを示す。
全身のポーズと形状推定の堅牢性を高める新しい枠組みを提案する。
論文 参考訳（メタデータ） (2023-12-14T08:17:42Z) - Human as Points: Explicit Point-based 3D Human Reconstruction from
Single-view RGB Images [78.56114271538061]
我々はHaPと呼ばれる明示的なポイントベース人間再構築フレームワークを導入する。
提案手法は,3次元幾何学空間における完全明示的な点雲推定,操作,生成,洗練が特徴である。
我々の結果は、完全に明示的で幾何学中心のアルゴリズム設計へのパラダイムのロールバックを示すかもしれない。
論文 参考訳（メタデータ） (2023-11-06T05:52:29Z) - Spatio-temporal MLP-graph network for 3D human pose estimation [8.267311047244881]
グラフ畳み込みネットワークとその変種は3次元人間のポーズ推定において大きな可能性を示している。
暗黙の伝搬フェアリングを用いたグラフフィルタリングにより得られる新しい重み付きヤコビ特徴則を導入する。
また, 関節間の関係を学習するために, 隣接変調を用いた。
論文 参考訳（メタデータ） (2023-08-29T14:00:55Z) - 2D Human Pose Estimation: A Survey [16.56050212383859]
人間のポーズ推定は、入力データ中の人間の解剖学的キーポイントまたは身体部分のローカライズを目的としている。
ディープラーニング技術は、データから直接特徴表現を学習することを可能にする。
本稿では,近年の2次元ポーズ推定手法の成果を振り返り,包括的調査を行う。
論文 参考訳（メタデータ） (2022-04-15T08:09:43Z) - On Triangulation as a Form of Self-Supervision for 3D Human Pose
Estimation [57.766049538913926]
ラベル付きデータが豊富である場合, 単一画像からの3次元ポーズ推定に対する改良されたアプローチは, 極めて効果的である。
最近の注目の多くは、セミと(あるいは)弱い教師付き学習に移行している。
本稿では,多視点の幾何学的制約を,識別可能な三角測量を用いて課し,ラベルがない場合の自己監督の形式として用いることを提案する。
論文 参考訳（メタデータ） (2022-03-29T19:11:54Z) - Learning Dynamics via Graph Neural Networks for Human Pose Estimation
and Tracking [98.91894395941766]
ポーズ検出とは無関係なポーズダイナミクスを学習する新しいオンライン手法を提案する。
具体的には、空間的・時間的情報と視覚的情報の両方を明示的に考慮したグラフニューラルネットワーク(GNN)を通して、このダイナミクスの予測を導出する。
PoseTrack 2017とPoseTrack 2018データセットの実験では、提案手法が人間のポーズ推定とトラッキングタスクの両方において、技術の現状よりも優れた結果が得られることを示した。
論文 参考訳（メタデータ） (2021-06-07T16:36:50Z) - Enhanced 3D Human Pose Estimation from Videos by using Attention-Based
Neural Network with Dilated Convolutions [12.900524511984798]
従来のネットワークや制約の形式が、どのように注意の枠組みに組み込むことができるのかを体系的な設計で示します。
拡張畳み込みのマルチスケール構造により,時間受容場を適応させることにより,これを実現する。
提案手法は,Human3.6Mデータセット上での関節位置誤差の平均を33.4mmに減らし,最先端性能を達成し,既存の手法よりも優れる。
論文 参考訳（メタデータ） (2021-03-04T17:26:51Z) - Kinematic-Structure-Preserved Representation for Unsupervised 3D Human
Pose Estimation [58.72192168935338]
大規模インスタディオデータセットの監視を用いて開発された人間のポーズ推定モデルの一般化可能性については疑問が残る。
本稿では,2対あるいは2対の弱い監督者によって抑制されない,新しいキネマティック構造保存型非教師付き3次元ポーズ推定フレームワークを提案する。
提案モデルでは,前方運動学,カメラ投影,空間マップ変換という3つの連続的な微分可能変換を用いる。
論文 参考訳（メタデータ） (2020-06-24T23:56:33Z) - Structured Landmark Detection via Topology-Adapting Deep Graph Learning [75.20602712947016]
解剖学的顔と医学的ランドマーク検出のための新しいトポロジ適応深層グラフ学習手法を提案する。
提案手法は局所像特徴と大域形状特徴の両方を利用するグラフ信号を構成する。
3つの公開顔画像データセット(WFLW、300W、COFW-68)と3つの現実世界のX線医学データセット(ケパロメトリ、ハンド、ペルビス)で実験を行った。
論文 参考訳（メタデータ） (2020-04-17T11:55:03Z) - Unifying Graph Embedding Features with Graph Convolutional Networks for
Skeleton-based Action Recognition [18.001693718043292]
本稿では,人行動認識のためのグラフ畳み込みネットワークに15のグラフ埋め込み機能を組み込んだ新しいフレームワークを提案する。
我々のモデルは,NTU-RGB+D,Kineetics,SYSU-3Dという3つの大規模データセットで検証されている。
論文 参考訳（メタデータ） (2020-03-06T02:31:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。