論文の概要: TempCLR: Reconstructing Hands via Time-Coherent Contrastive Learning

• arxiv url: http://arxiv.org/abs/2209.00489v1
• Date: Thu, 1 Sep 2022 14:19:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-02 13:54:41.961875
• Title: TempCLR: Reconstructing Hands via Time-Coherent Contrastive Learning
• Title（参考訳）: TempCLR: タイムコヒーレントなコントラスト学習による手作り
• Authors: Andrea Ziani, Zicong Fan, Muhammed Kocabas, Sammy Christen, Otmar Hilliges
• Abstract要約: 本研究では,3次元手再構成における構造化回帰課題に対して,時間コヒーレントなコントラスト学習手法であるTempCLRを紹介する。 本フレームワークでは,時間的一貫性を拡張方式で考慮し,時間的方向に沿ったポーズの違いを考慮に入れている。 本手法は, HO-3D と FreiHAND のデータセット上で, PA-V2V を 15.9% と 7.6% に改善する。
• 参考スコア（独自算出の注目度）: 30.823358555054856
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce TempCLR, a new time-coherent contrastive learning approach for the structured regression task of 3D hand reconstruction. Unlike previous time-contrastive methods for hand pose estimation, our framework considers temporal consistency in its augmentation scheme, and accounts for the differences of hand poses along the temporal direction. Our data-driven method leverages unlabelled videos and a standard CNN, without relying on synthetic data, pseudo-labels, or specialized architectures. Our approach improves the performance of fully-supervised hand reconstruction methods by 15.9% and 7.6% in PA-V2V on the HO-3D and FreiHAND datasets respectively, thus establishing new state-of-the-art performance. Finally, we demonstrate that our approach produces smoother hand reconstructions through time, and is more robust to heavy occlusions compared to the previous state-of-the-art which we show quantitatively and qualitatively. Our code and models will be available at https://eth-ait.github.io/tempclr.
• Abstract（参考訳）: 本研究では,3次元手再構成における構造化回帰課題に対して,時間コヒーレントなコントラスト学習手法であるTempCLRを紹介する。 従来の手のポーズ推定法とは異なり, 時間的一貫性を補足スキームで考慮し, 時間的方向に沿った手のポーズの違いを考慮に入れる。 データ駆動方式では,合成データや擬似ラベル,特殊なアーキテクチャに頼らずに,ラベルなしのビデオや標準cnnを活用する。 本手法は, HO-3D と FreiHAND のデータセット上で, PA-V2V が 15.9% と 7.6% 向上し, 新たな最先端性能が確立される。 最後に,本手法は時間を通じてよりスムーズな手再建を可能とし,定量的・定性的に示す先行技術に比べ,重咬合に対してより頑健であることを示す。 私たちのコードとモデルはhttps://eth-ait.github.io/tempclrで利用可能です。

関連論文リスト

• Reassessing the Limitations of CNN Methods for Camera Pose Regression [27.86655424544118]
  本稿では,カメラのポーズを直接画像から復元できるモデルを提案する。 まず、レグレッションメソッドがまだ最先端にある理由を分析し、新しいアプローチでパフォーマンスギャップを埋める。
  論文  参考訳（メタデータ） (2021-08-16T17:55:26Z)
• Real-time Pose and Shape Reconstruction of Two Interacting Hands With a Single Depth Camera [79.41374930171469]
  本稿では,2つの強く相互作用する手の位置と形状をリアルタイムに再現する新しい手法を提案する。 われわれのアプローチは、有利なプロパティの広範なリスト、すなわちマーカーレスを組み合わせている。 過去の研究で示された複雑性レベルを超える場面で、最先端の結果を示す。
  論文  参考訳（メタデータ） (2021-06-15T11:39:49Z)
• Unsupervised Domain Adaptation with Temporal-Consistent Self-Training for 3D Hand-Object Joint Reconstruction [131.34795312667026]
  サイクル生成逆数ネットワーク(CycleGAN)内の3次元幾何学的制約を利用してこの問題に対処する効果的なアプローチを提案する。 既存のほとんどの研究とは対照的に、ドメイン適応モデルを自己管理的に微調整するために、短期的および長期的時間的整合性を強制することを提案する。 本研究では,3つのベンチマークを用いて,最先端の3Dハンドオブジェ共同再建手法を上回っていることを実証する。
  論文  参考訳（メタデータ） (2020-12-21T11:27:56Z)
• SCFusion: Real-time Incremental Scene Reconstruction with Semantic Completion [86.77318031029404]
  本研究では,シーン再構成とセマンティックシーン補完を段階的かつリアルタイムに共同で行うフレームワークを提案する。 我々のフレームワークは、3Dグローバルモデルでセマンティックコンプリートを正確かつ効率的に融合させるために、占有マップを処理し、ボクセル状態を活用するように設計された新しいニューラルアーキテクチャに依存している。
  論文  参考訳（メタデータ） (2020-10-26T15:31:52Z)
• SeqHAND:RGB-Sequence-Based 3D Hand Pose and Shape Estimation [48.456638103309544]
  RGB画像に基づく3次元手ポーズ推定は長い間研究されてきた。 本研究では,人間の手の動きを模倣する合成データセットを生成する手法を提案する。 本研究では,3次元ポーズ推定における時間情報の利用により,一般的なポーズ推定が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-07-10T05:11:14Z)
• Reference Pose Generation for Long-term Visual Localization via Learned Features and View Synthesis [88.80710311624101]
  本稿では,3次元モデルのレンダリングと実画像の特徴マッチングに基づく参照ポーズを生成するための半自動アプローチを提案する。 我々は、Aachen Day-Nightデータセットの夜間参照ポーズを大幅に改善し、最先端の視覚的ローカライゼーション手法が、オリジナルの参照ポーズによって予測されるよりも優れた(最大47%の)性能を示すことを示した。
  論文  参考訳（メタデータ） (2020-05-11T15:13:07Z)
• Leveraging Photometric Consistency over Time for Sparsely Supervised Hand-Object Reconstruction [118.21363599332493]
  本稿では,ビデオ中のフレームの粗いサブセットに対してのみアノテーションが利用できる場合に,時間とともに光度整合性を活用する手法を提案する。 本モデルでは,ポーズを推定することにより,手や物体を3Dで共同で再構成するカラーイメージをエンドツーエンドに訓練する。 提案手法は,3次元手動画像再構成の精度向上に有効であることを示す。
  論文  参考訳（メタデータ） (2020-04-28T12:03:14Z)
• Hierarchical Kinematic Human Mesh Recovery [30.348060841242628]
  一つの画像から3次元メッシュのパラメトリックモデルを推定する問題を考察する。 本稿では,ヒトのパラメトリックモデルの回帰に関する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-03-09T16:15:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。