論文の概要: Dynamic Hyperbolic Attention Network for Fine Hand-object Reconstruction

• arxiv url: http://arxiv.org/abs/2309.02965v1
• Date: Wed, 6 Sep 2023 13:00:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-07 15:36:50.312770
• Title: Dynamic Hyperbolic Attention Network for Fine Hand-object Reconstruction
• Title（参考訳）: ハンドオブジェクト再構築のための動的双曲型注意ネットワーク
• Authors: Zhiying Leng, Shun-Cheng Wu, Mahdi Saleh, Antonio Montanaro, Hao Yu, Yin Wang, Nassir Navab, Xiaohui Liang, Federico Tombari
• Abstract要約: ハイパボリック空間,すなわち動的ハイパボリック注意ネットワーク(DHANet)における最初の正確な手オブジェクト再構成手法を提案する。 本手法は,マルチモーダル情報によりメッシュ特性を学習し,手動物体の相互作用をより良くモデル化する。
• 参考スコア（独自算出の注目度）: 76.5549647815413
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reconstructing both objects and hands in 3D from a single RGB image is complex. Existing methods rely on manually defined hand-object constraints in Euclidean space, leading to suboptimal feature learning. Compared with Euclidean space, hyperbolic space better preserves the geometric properties of meshes thanks to its exponentially-growing space distance, which amplifies the differences between the features based on similarity. In this work, we propose the first precise hand-object reconstruction method in hyperbolic space, namely Dynamic Hyperbolic Attention Network (DHANet), which leverages intrinsic properties of hyperbolic space to learn representative features. Our method that projects mesh and image features into a unified hyperbolic space includes two modules, ie. dynamic hyperbolic graph convolution and image-attention hyperbolic graph convolution. With these two modules, our method learns mesh features with rich geometry-image multi-modal information and models better hand-object interaction. Our method provides a promising alternative for fine hand-object reconstruction in hyperbolic space. Extensive experiments on three public datasets demonstrate that our method outperforms most state-of-the-art methods.
• Abstract（参考訳）: rgb画像から物体と手の両方を3dで再構築することは複雑である。 既存の手法はユークリッド空間で手動で定義された手対象制約に依存しており、最適でない特徴学習に繋がる。 ユークリッド空間と比較すると、双曲空間は指数関数的に増大する空間距離によってメッシュの幾何学的性質を保ち、類似性に基づく特徴の違いを増幅する。 本研究では,双曲空間の固有特性を生かして代表的特徴を学習する動的双曲的注意ネットワーク(dhanet)という双曲空間における最初の高精度手対象再構成手法を提案する。 メッシュとイメージ機能を統合双曲空間に投影する手法には,2つのモジュールがある。 動的双曲グラフ畳み込みと画像結合双曲グラフ畳み込み この2つのモジュールにより,リッチな幾何画像マルチモーダル情報を用いてメッシュ特徴を学習し,より優れたハンドオブジェクトインタラクションをモデル化する。 本手法は双曲空間における微細な手対象再構成に有望な代替手段を提供する。 3つの公開データセットに対する大規模な実験により、我々の手法は最先端の手法よりも優れていることが示された。

関連論文リスト

• Geometry Distributions [51.4061133324376]
  本稿では,分布として幾何学をモデル化する新しい幾何学的データ表現を提案する。 提案手法では,新しいネットワークアーキテクチャを用いた拡散モデルを用いて表面点分布の学習を行う。 本研究では,多種多様な対象に対して質的かつ定量的に表現を評価し,その有効性を実証した。
  論文  参考訳（メタデータ） (2024-11-25T04:06:48Z)
• Dynamic Scene Understanding through Object-Centric Voxelization and Neural Rendering [57.895846642868904]
  オブジェクト中心学習が可能な動的シーンのための3次元生成モデルDynaVol-Sを提案する。 ボキセル化は、個々の空間的位置において、物体ごとの占有確率を推定する。 提案手法は2次元セマンティックな特徴を統合して3次元セマンティック・グリッドを作成し,複数の不整合ボクセル・グリッドを通してシーンを表現する。
  論文  参考訳（メタデータ） (2024-07-30T15:33:58Z)
• Ghost on the Shell: An Expressive Representation of General 3D Shapes [97.76840585617907]
  リアルな素材と照明で高速な物理ベースのレンダリングを可能にするので、メッシュは魅力的だ。 近年の3次元形状の再構成と統計的モデリングの研究は、メッシュをトポロジカルに非フレキシブルであると批判している。 我々は水密面上の多様体符号距離場を定義することにより開曲面をパラメータ化する。 G-Shellは、非水密メッシュ再構築および生成タスクにおける最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-10-23T17:59:52Z)
• HMSN: Hyperbolic Self-Supervised Learning by Clustering with Ideal Prototypes [7.665392786787577]
  プロトタイプに基づくクラスタリング手法の自己教師付き表現学習には,双曲表現空間を用いる。 我々はMasked Siamese Networksを拡張し、双曲空間のPoincar'eボールモデルで操作する。 従来の手法とは異なり、エンコーダネットワークの出力における双曲空間に投影し、双曲投影ヘッドを利用して、下流タスクに使用される表現が双曲的であることを保証する。
  論文  参考訳（メタデータ） (2023-05-18T12:38:40Z)
• Learning Pose Image Manifolds Using Geometry-Preserving GANs and Elasticae [13.202747831999414]
  Geometric Style-GAN (Geom-SGAN) は画像を低次元の潜在表現にマッピングする。 オイラーの弾性体は、低次元ラテント空間における有向点(点 + 接方向)の間を滑らかに補間する。
  論文  参考訳（メタデータ） (2023-05-17T18:45:56Z)
• Decoupled Iterative Refinement Framework for Interacting Hands Reconstruction from a Single RGB Image [30.24438569170251]
  画素アライメント・ハンド再構成を実現するために,分離された反復的精細化フレームワークを提案する。 提案手法は、InterHand2.6Mデータセットにおいて、既存の2手再構成手法を大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2023-02-05T15:46:57Z)
• HRCF: Enhancing Collaborative Filtering via Hyperbolic Geometric Regularization [52.369435664689995]
  HRCF (textitHyperbolic Regularization powered Collaborative Filtering) を導入し,幾何認識型双曲正規化器を設計する。 具体的には、ルートアライメントとオリジン認識ペナルティによる最適化手順を強化する。 提案手法は,双曲的凝集による過度な平滑化問題に対処でき,モデルの識別能力も向上する。
  論文  参考訳（メタデータ） (2022-04-18T06:11:44Z)
• Enhancing Hyperbolic Graph Embeddings via Contrastive Learning [7.901082408569372]
  複数の双曲空間を通してノード表現を学習する新しいハイパーボリックグラフコントラスト学習(HGCL)フレームワークを提案する。 複数の実世界のデータセットに対する実験結果は、提案したHGCLの優位性を示している。
  論文  参考訳（メタデータ） (2022-01-21T06:10:05Z)
• Disentangling and Unifying Graph Convolutions for Skeleton-Based Action Recognition [79.33539539956186]
  本稿では,マルチスケールグラフ畳み込みと,G3Dという空間時間グラフ畳み込み演算子を結合する簡単な方法を提案する。 これらの提案を結合することにより,MS-G3Dという強力な特徴抽出器を開発し,そのモデルが3つの大規模データセット上で従来の最先端手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-03-31T11:28:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。