論文の概要: Weakly-Supervised 3D Hand Reconstruction with Knowledge Prior and Uncertainty Guidance

• arxiv url: http://arxiv.org/abs/2407.12307v1
• Date: Wed, 17 Jul 2024 04:05:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-18 18:27:38.694568
• Title: Weakly-Supervised 3D Hand Reconstruction with Knowledge Prior and Uncertainty Guidance
• Title（参考訳）: 知識の優先と不確実性を考慮した3次元手指再建術
• Authors: Yufei Zhang, Jeffrey O. Kephart, Qiang Ji,
• Abstract要約: 所要の3Dデータを取得することは、制御された環境に特殊な機器を配置することを必要とするため、完全教師付き単眼3Dハンドリコンストラクションは困難であることが多い。 本稿では,人間の手の構造や機能を理解する上で確立された基本原理を活用することによって,そのような要求を回避する弱教師付き手法を提案する。 提案手法は広く採用されている FreiHAND データセットに対して約21% の性能向上を実現する。
• 参考スコア（独自算出の注目度）: 27.175214956244798
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fully-supervised monocular 3D hand reconstruction is often difficult because capturing the requisite 3D data entails deploying specialized equipment in a controlled environment. We introduce a weakly-supervised method that avoids such requirements by leveraging fundamental principles well-established in the understanding of the human hand's unique structure and functionality. Specifically, we systematically study hand knowledge from different sources, including biomechanics, functional anatomy, and physics. We effectively incorporate these valuable foundational insights into 3D hand reconstruction models through an appropriate set of differentiable training losses. This enables training solely with readily-obtainable 2D hand landmark annotations and eliminates the need for expensive 3D supervision. Moreover, we explicitly model the uncertainty that is inherent in image observations. We enhance the training process by exploiting a simple yet effective Negative Log Likelihood (NLL) loss that incorporates uncertainty into the loss function. Through extensive experiments, we demonstrate that our method significantly outperforms state-of-the-art weakly-supervised methods. For example, our method achieves nearly a 21\% performance improvement on the widely adopted FreiHAND dataset.
• Abstract（参考訳）: 所要の3Dデータを取得することは、制御された環境に特殊な機器を配置することを必要とするため、完全教師付き単眼3Dハンドリコンストラクションは困難であることが多い。 本稿では,人間の手の構造や機能を理解する上で確立された基本原理を活用することによって,そのような要求を回避する弱教師付き手法を提案する。 具体的には, 生体力学, 機能解剖学, 物理など, 様々な情報源から手の知識を体系的に研究する。 我々は,これらの価値ある基礎的知見を,適切な訓練損失のセットを通じて3次元手指再建モデルに効果的に取り入れる。 これにより、容易に認識可能な2Dハンドランドマークアノテーションのみによるトレーニングが可能になり、高価な3D監視の必要性を排除できる。 さらに,画像観察に固有の不確かさを明示的にモデル化する。 損失関数に不確実性を組み込んだ単純な負のログ類似度(NLL)損失を利用することにより、トレーニングプロセスを強化する。 広範囲な実験により,本手法は最先端の弱教師付き手法を著しく上回っていることを示す。 例えば,提案手法は広く採用されている FreiHAND データセットにおいて,約 21 % の性能向上を実現している。

関連論文リスト

• FILP-3D: Enhancing 3D Few-shot Class-incremental Learning with Pre-trained Vision-Language Models [62.663113296987085]
  クラス増分学習(class-incremental learning)は、モデルが限られたデータに基づいて漸進的にトレーニングされている場合、破滅的な忘れの問題を軽減することを目的としている。 冗長特徴除去器(RFE)と空間ノイズ補償器(SNC)の2つの新しいコンポーネントを紹介する。 既存の3次元データセットの不均衡を考慮し、3次元FSCILモデルのより微妙な評価を提供する新しい評価指標を提案する。
  論文  参考訳（メタデータ） (2023-12-28T14:52:07Z)
• ODM3D: Alleviating Foreground Sparsity for Semi-Supervised Monocular 3D Object Detection [15.204935788297226]
  ODM3Dフレームワークは、トレーニング中にLiDARドメインの知識を単分子検出器に注入するために、様々なレベルでのクロスモーダルな知識蒸留を必要とする。 既存手法の準最適トレーニングの主要因として,前景の空間空間を同定することにより,LiDAR点に埋め込まれた正確な位置化情報を活用する。 KITTI検証とテストベンチマークの両方で1位にランクインし、教師付きまたは半教師付きである既存のモノクラー手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2023-10-28T07:12:09Z)
• AdvMono3D: Advanced Monocular 3D Object Detection with Depth-Aware Robust Adversarial Training [64.14759275211115]
  そこで本研究では,DART3Dと呼ばれるモノクル3次元物体検出のための,深度対応の頑健な対向学習法を提案する。 我々の敵の訓練アプローチは、本質的な不確実性に乗じて、敵の攻撃に対する堅牢性を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-09-03T07:05:32Z)
• Efficient Annotation and Learning for 3D Hand Pose Estimation: A Survey [23.113633046349314]
  3Dハンドポーズ推定は、ビデオ理解、AR/VR、ロボット工学などの様々な応用を可能にする可能性がある。 しかし、モデルの性能は、注釈付き3Dハンドポーズの品質と量に結びついている。 本研究では,自己教師付き事前学習,半教師付き学習,ドメイン適応など,注釈付きデータが不足している場合の3次元手振りの学習方法を検討する。
  論文  参考訳（メタデータ） (2022-06-05T20:18:52Z)
• Towards unconstrained joint hand-object reconstruction from RGB videos [81.97694449736414]
  ハンドオブジェクト操作の再構築は、ロボット工学と人間のデモから学ぶ大きな可能性を秘めている。 まず,手動物体の相互作用をシームレスに処理できる学習不要な手動物体再構成手法を提案する。
  論文  参考訳（メタデータ） (2021-08-16T12:26:34Z)
• Self Context and Shape Prior for Sensorless Freehand 3D Ultrasound Reconstruction [61.62191904755521]
  3DフリーハンドUSは、幅広い範囲とフリーフォームスキャンを提供することで、この問題に対処することを約束している。 既存のディープラーニングベースの手法は、スキルシーケンスの基本ケースのみに焦点を当てている。 複雑なスキルシーケンスを考慮したセンサレスフリーハンドUS再構成手法を提案する。
  論文  参考訳（メタデータ） (2021-07-31T16:06:50Z)
• Model-based 3D Hand Reconstruction via Self-Supervised Learning [72.0817813032385]
  シングルビューのRGB画像から3Dハンドを再構成することは、様々な手構成と深さのあいまいさのために困難である。 ポーズ, 形状, テクスチャ, カメラ視点を共同で推定できる, 自己教師型3Dハンド再構成ネットワークであるS2HANDを提案する。 初めて手動アノテーションを使わずに、正確な3D手の再構築ネットワークを訓練できることを実証しました。
  論文  参考訳（メタデータ） (2021-03-22T10:12:43Z)
• Neural Descent for Visual 3D Human Pose and Shape [67.01050349629053]
  入力RGB画像から3次元のポーズと形状を復元するディープニューラルネットワーク手法を提案する。 我々は最近導入された表現力のあるボディ統計モデルGHUMに頼っている。 我々の方法論の中心は、HUmanNeural Descent (HUND)と呼ばれるアプローチの学習と最適化である。
  論文  参考訳（メタデータ） (2020-08-16T13:38:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。