論文の概要: RenderIH: A Large-scale Synthetic Dataset for 3D Interacting Hand Pose Estimation

• arxiv url: http://arxiv.org/abs/2309.09301v2
• Date: Tue, 19 Sep 2023 02:12:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-20 10:56:58.280988
• Title: RenderIH: A Large-scale Synthetic Dataset for 3D Interacting Hand Pose Estimation
• Title（参考訳）: RenderIH:3次元干渉型ハンドポース推定のための大規模合成データセット
• Authors: Lijun Li, Linrui Tian, Xindi Zhang, Qi Wang, Bang Zhang, Liefeng Bo, Mengyuan Liu, and Chen Chen
• Abstract要約: 本稿では、手と正確なポーズアノテーションを相互作用する大規模な合成データセットRenderIHを提案する。 データセットには、背景、視点、手のテクスチャの異なる100万枚の写真リアル画像が含まれている。 より正確なポーズ推定を行うために,トランスHandというトランスフォーマーベースのポーズ推定ネットワークを導入する。
• 参考スコア（独自算出の注目度）: 25.95282008319261
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The current interacting hand (IH) datasets are relatively simplistic in terms of background and texture, with hand joints being annotated by a machine annotator, which may result in inaccuracies, and the diversity of pose distribution is limited. However, the variability of background, pose distribution, and texture can greatly influence the generalization ability. Therefore, we present a large-scale synthetic dataset RenderIH for interacting hands with accurate and diverse pose annotations. The dataset contains 1M photo-realistic images with varied backgrounds, perspectives, and hand textures. To generate natural and diverse interacting poses, we propose a new pose optimization algorithm. Additionally, for better pose estimation accuracy, we introduce a transformer-based pose estimation network, TransHand, to leverage the correlation between interacting hands and verify the effectiveness of RenderIH in improving results. Our dataset is model-agnostic and can improve more accuracy of any hand pose estimation method in comparison to other real or synthetic datasets. Experiments have shown that pretraining on our synthetic data can significantly decrease the error from 6.76mm to 5.79mm, and our Transhand surpasses contemporary methods. Our dataset and code are available at https://github.com/adwardlee/RenderIH.
• Abstract（参考訳）: 現在の相互作用ハンド(IH)データセットは、背景とテクスチャの観点から比較的単純であり、手関節は機械アノテーションによって注釈付けされ、不正確な結果となり、ポーズ分布の多様性が制限される。 しかし,背景,ポーズ分布,テクスチャの多様性は,一般化能力に大きな影響を及ぼす。 そこで我々は,高精度かつ多様なポーズアノテーションで手と対話するための大規模合成データセットRenderIHを提案する。 データセットには、背景、視点、手のテクスチャの異なる100万枚の写真リアル画像が含まれている。 自然および多様に相互作用するポーズを生成するために,新しいポーズ最適化アルゴリズムを提案する。 さらに, 姿勢推定精度を向上させるために, 相互作用手間の相関を活用し, 結果改善におけるrenderihの有効性を検証するために, トランストランスベースポーズ推定ネットワークであるtranshandを導入する。 我々のデータセットはモデル非依存であり、他の実データや合成データセットと比較して任意の手ポーズ推定方法の精度を向上させることができる。 実験により, 合成データの事前学習は6.76mmから5.79mmに大幅に誤差を減少させることが示された。 私たちのデータセットとコードはhttps://github.com/adwardlee/RenderIH.orgで公開されています。

関連論文リスト

• JGHand: Joint-Driven Animatable Hand Avater via 3D Gaussian Splatting [3.1143479095236892]
  Jointly 3D Gaussian Hand (JGHand)は、新しい3D Gaussian Splatting (3DGS)ベースの手表現である。 JGHandは、最先端の手法を超越した、高品質なリアルタイムレンダリングを実現する。
  論文  参考訳（メタデータ） (2025-01-31T12:33:24Z)
• HOGSA: Bimanual Hand-Object Interaction Understanding with 3D Gaussian Splatting Based Data Augmentation [29.766317710266765]
  本稿では,2次元手動物体間相互作用のための3次元ガウススプラッティングに基づくデータ拡張フレームワークを提案する。 メッシュベースの3DGSを用いてオブジェクトとハンドをモデル化し、マルチレゾリューション入力画像によるレンダリングのぼかし問題に対処する。 両手オブジェクトに対する片手握りポーズ最適化モジュールを拡張し、両手オブジェクト間相互作用のさまざまなポーズを生成する。
  論文  参考訳（メタデータ） (2025-01-06T08:48:17Z)
• Drive-1-to-3: Enriching Diffusion Priors for Novel View Synthesis of Real Vehicles [81.29018359825872]
  本稿では,実世界の課題に対して,大規模な事前学習モデルを微調整するための一連の優れたプラクティスを統合する。 具体的には,合成データと実運転データとの相違を考慮に入れたいくつかの戦略を開発する。 我々の洞察は、先行芸術よりも新しいビュー合成のためのFIDを68.8%値下げする効果のある微調整につながる。
  論文  参考訳（メタデータ） (2024-12-19T03:39:13Z)
• DreamHOI: Subject-Driven Generation of 3D Human-Object Interactions with Diffusion Priors [4.697267141773321]
  人-物体相互作用(HOI)のゼロショット合成法であるDreamHOIを提案する。 我々は、何十億もの画像キャプチャーペアで訓練されたテキストと画像の拡散モデルを利用して、リアルなHOIを生成する。 提案手法は広範囲な実験を通じて検証し,現実的なHOIを生成する上での有効性を実証する。
  論文  参考訳（メタデータ） (2024-09-12T17:59:49Z)
• DICE: End-to-end Deformation Capture of Hand-Face Interactions from a Single Image [98.29284902879652]
  DICEは1枚の画像から変形認識による手と顔のインタラクションを再現する最初のエンドツーエンド手法である。 ローカルな変形場とグローバルなメッシュ位置の回帰を2つのネットワークブランチに切り離すことが特徴である。 標準的なベンチマークと、精度と物理的妥当性の点から見れば、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-06-26T00:08:29Z)
• HandBooster: Boosting 3D Hand-Mesh Reconstruction by Conditional Synthesis and Sampling of Hand-Object Interactions [68.28684509445529]
  HandBoosterは、データの多様性を向上し、3Dハンド・ミーシュ・リコンストラクションのパフォーマンスを向上する新しいアプローチである。 まず,多様な手やポーズ,ビュー,背景を持つリアルな画像を生成するために,拡散モデルを誘導する多目的コンテンツ認識条件を構築した。 そこで我々は,我々の類似性を考慮した分布サンプリング戦略に基づく新しい条件作成手法を設計し,トレーニングセットとは異なる,斬新で現実的なインタラクションのポーズを意図的に見つける。
  論文  参考訳（メタデータ） (2024-03-27T13:56:08Z)
• Denoising Diffusion for 3D Hand Pose Estimation from Images [38.20064386142944]
  本稿では,モノクロ画像やシーケンスからの3次元手ポーズ推定の問題に対処する。 本稿では,3次元ハンドレグレッションのための新しいエンド・ツー・エンド・エンド・フレームワークを提案する。 提案モデルは,2次元の片手画像を3Dに持ち上げる際に,最先端の性能を提供する。
  論文  参考訳（メタデータ） (2023-08-18T12:57:22Z)
• HandNeRF: Neural Radiance Fields for Animatable Interacting Hands [122.32855646927013]
  神経放射場(NeRF)を用いて手の動きを正確に再現する新しい枠組みを提案する。 我々は,提案するHandNeRFのメリットを検証するための広範囲な実験を行い,その成果を報告する。
  論文  参考訳（メタデータ） (2023-03-24T06:19:19Z)
• Learning to Disambiguate Strongly Interacting Hands via Probabilistic Per-pixel Part Segmentation [84.28064034301445]
  自己相似性と、それぞれの手にピクセル観察を割り当てるあいまいさは、最終的な3Dポーズエラーの大きな原因である。 1つの単眼画像から2つの手の3次元ポーズを推定する新しい手法であるDIGITを提案する。 提案手法は,InterHand2.6Mデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-07-01T13:28:02Z)
• Measuring Generalisation to Unseen Viewpoints, Articulations, Shapes and Objects for 3D Hand Pose Estimation under Hand-Object Interaction [137.28465645405655]
  HANDS'19は、現在の3Dハンドポーズ推定器(HPE)がトレーニングセットのポーズを補間し、外挿する能力を評価するための課題である。 本研究では,最先端手法の精度が低下し,トレーニングセットから外れたポーズでほとんど失敗することを示す。
  論文  参考訳（メタデータ） (2020-03-30T19:28:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。