論文の概要: Controllable Hand Grasp Generation for HOI and Efficient Evaluation Methods

• arxiv url: http://arxiv.org/abs/2501.15839v1
• Date: Mon, 27 Jan 2025 08:00:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:56:17.888171
• Title: Controllable Hand Grasp Generation for HOI and Efficient Evaluation Methods
• Title（参考訳）: HOIのための制御可能なハンドグラス生成と効率的な評価方法
• Authors: Ishant, Rongliang Wu, Joo Hwee Lim,
• Abstract要約: 現在の手つかみ生成法は手と物体の両方に3D情報に依存している。 我々は、手ポーズを離散グラフ構造として扱い、幾何学的先行情報を活用する。 本稿では,スペクトルグラフ理論とベクトル代数にインスパイアされた高次幾何表現(HOR)の枠組みを提案する。
• 参考スコア（独自算出の注目度）: 17.6793522094649
• License:
• Abstract: Controllable affordance Hand-Object Interaction (HOI) generation has become an increasingly important area of research in computer vision. In HOI generation, the hand grasp generation is a crucial step for effectively controlling the geometry of the hand. Current hand grasp generation methods rely on 3D information for both the hand and the object. In addition, these methods lack controllability concerning the hand's location and orientation. We treat the hand pose as the discrete graph structure and exploit the geometric priors. It is well established that higher order contextual dependency among the points improves the quality of the results in general. We propose a framework of higher order geometric representations (HOR's) inspired by spectral graph theory and vector algebra to improve the quality of generated hand poses. We demonstrate the effectiveness of our proposed HOR's in devising a controllable novel diffusion method (based on 2D information) for hand grasp generation that outperforms the state of the art (SOTA). Overcoming the limitations of existing methods: like lacking of controllability and dependency on 3D information. Once we have the generated pose, it is very natural to evaluate them using a metric. Popular metrics like FID and MMD are biased and inefficient for evaluating the generated hand poses. Using our proposed HOR's, we introduce an efficient and stable framework of evaluation metrics for grasp generation methods, addressing inefficiencies and biases in FID and MMD.
• Abstract（参考訳）: 制御可能な手動オブジェクトインタラクション(HOI)生成は、コンピュータビジョンにおいて、ますます重要な研究領域となっている。 HOI生成では、手の動きを効果的に制御するための手つかみ生成が重要なステップである。 現在の手つかみ生成法は手と物体の両方に3D情報に依存している。 また,手の位置や方向に関する制御性も欠如している。 我々は、手ポーズを離散グラフ構造として扱い、幾何学的先行情報を活用する。 点間の高次文脈依存が一般に結果の品質を向上させることは十分に確立されている。 本稿では,スペクトルグラフ理論とベクトル代数に着想を得た高次幾何学的表現(HOR)の枠組みを提案し,手ポーズの質を向上させる。 2次元情報に基づく制御可能な新規拡散法の開発において提案したHORの有効性を実証する。 コントロール容易性の欠如や3D情報への依存など、既存のメソッドの限界を克服する。 生成されたポーズが得られたら、メトリクスを使ってそれらを評価するのは非常に自然なことです。 FIDやMDDのような一般的なメトリクスはバイアスがあり、生成された手ポーズを評価するのに非効率である。 提案手法を用いて,FID と MMD の非効率性とバイアスに対処し,提案手法を把握するための,効率的かつ安定した評価指標の枠組みを提案する。

関連論文リスト

• WiLoR: End-to-end 3D Hand Localization and Reconstruction in-the-wild [53.288327629960364]
  野生における効率的なマルチハンド再構築のためのデータ駆動パイプラインを提案する。 提案するパイプラインは、リアルタイム完全畳み込みハンドローカライゼーションと、高忠実度トランスフォーマーに基づく3Dハンド再構成モデルという2つのコンポーネントで構成されている。 提案手法は, 一般的な2次元および3次元のベンチマークにおいて, 効率と精度の両方において, 従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-09-18T18:46:51Z)
• PerLDiff: Controllable Street View Synthesis Using Perspective-Layout Diffusion Models [55.080748327139176]
  本稿では、3次元幾何学的情報を完全に活用した効果的なストリートビュー画像生成手法であるPerLDiffを紹介する。 この結果から,我々のPerLDiffはNuScenesおよびKITTIデータセットの生成精度を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2024-07-08T16:46:47Z)
• In My Perspective, In My Hands: Accurate Egocentric 2D Hand Pose and Action Recognition [1.4732811715354455]
  アクション認識は、エゴセントリックなビデオ理解に不可欠であり、ユーザの努力なしに日々の生活活動(ADL)の自動的かつ継続的なモニタリングを可能にする。 既存の文献では、計算集約的な深度推定ネットワークを必要とする3Dハンドポーズ入力や、不快な深度センサーを装着することに焦点を当てている。 EffHandEgoNetとEffHandEgoNetの2つの新しい手法を導入する。
  論文  参考訳（メタデータ） (2024-04-14T17:33:33Z)
• HanDiffuser: Text-to-Image Generation With Realistic Hand Appearances [34.50137847908887]
  テキスト・ツー・イメージ生成モデルは高品質な人間を生み出すことができるが、現実主義は手を生成する際に失われる。 一般的なアーティファクトには、不規則な手ポーズ、形、不正確な指の数、物理的に不明瞭な指の向きなどがある。 そこで我々はHanDiffuserという新しい拡散型アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-03-04T03:00:22Z)
• HMP: Hand Motion Priors for Pose and Shape Estimation from Video [52.39020275278984]
  我々は,多種多様な高品質の手の動きを特徴とするAMASSデータセットに基づいて,手動に特有な生成動作を開発する。 頑健な動きの統合は、特に隠蔽されたシナリオにおいて、パフォーマンスを著しく向上させる。 HO3DおよびDexYCBデータセットの質的および定量的評価により,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-12-27T22:35:33Z)
• Interacting Hand-Object Pose Estimation via Dense Mutual Attention [97.26400229871888]
  3Dハンドオブジェクトのポーズ推定は多くのコンピュータビジョンアプリケーションの成功の鍵となる。 本研究では,手と物体間の微粒な依存関係をモデル化できる新しい相互注意機構を提案する。 提案手法は,高品質かつリアルタイムな推論速度で,物理的に妥当なポーズを生成できる。
  論文  参考訳（メタデータ） (2022-11-16T10:01:33Z)
• LG-Hand: Advancing 3D Hand Pose Estimation with Locally and Globally Kinematic Knowledge [0.693939291118954]
  本稿では3次元手ポーズ推定のための強力な手法であるLG-Handを提案する。 キネマティックな情報が重要な役割を担い、3次元手ポーズ推定の性能に寄与すると主張している。 提案手法は,Person Hand Action Benchmarkデータセット上で有望な結果を得る。
  論文  参考訳（メタデータ） (2022-11-06T15:26:32Z)
• Collaborative Learning for Hand and Object Reconstruction with Attention-guided Graph Convolution [49.10497573378427]
  インタラクション中の手や物体のポーズと形状を推定すると、拡張現実や仮想現実を含む多くの応用が見つかる。 我々のアルゴリズムはオブジェクトモデルへの最適化であり、手動オブジェクトの相互作用を管理する物理規則を学習する。 広範に使用されている4つのベンチマークを用いて実験したところ、我々のフレームワークは3次元ポーズ推定における最先端の精度を超えて達成でき、また、密集した3次元手や物体の形状を復元できることがわかった。
  論文  参考訳（メタデータ） (2022-04-27T17:00:54Z)
• Monocular 3D Reconstruction of Interacting Hands via Collision-Aware Factorized Refinements [96.40125818594952]
  単眼のRGB画像から3Dインタラクションハンドを再構築する試みを初めて行った。 提案手法では, 高精度な3次元ポーズと最小の衝突で3次元ハンドメッシュを生成することができる。
  論文  参考訳（メタデータ） (2021-11-01T08:24:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。