論文の概要: TempCLR: Reconstructing Hands via Time-Coherent Contrastive Learning

• arxiv url: http://arxiv.org/abs/2209.00489v1
• Date: Thu, 1 Sep 2022 14:19:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-02 13:54:41.961875
• Title: TempCLR: Reconstructing Hands via Time-Coherent Contrastive Learning
• Title（参考訳）: TempCLR: タイムコヒーレントなコントラスト学習による手作り
• Authors: Andrea Ziani, Zicong Fan, Muhammed Kocabas, Sammy Christen, Otmar Hilliges
• Abstract要約: 本研究では,3次元手再構成における構造化回帰課題に対して,時間コヒーレントなコントラスト学習手法であるTempCLRを紹介する。 本フレームワークでは,時間的一貫性を拡張方式で考慮し,時間的方向に沿ったポーズの違いを考慮に入れている。 本手法は, HO-3D と FreiHAND のデータセット上で, PA-V2V を 15.9% と 7.6% に改善する。
• 参考スコア（独自算出の注目度）: 30.823358555054856
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce TempCLR, a new time-coherent contrastive learning approach for the structured regression task of 3D hand reconstruction. Unlike previous time-contrastive methods for hand pose estimation, our framework considers temporal consistency in its augmentation scheme, and accounts for the differences of hand poses along the temporal direction. Our data-driven method leverages unlabelled videos and a standard CNN, without relying on synthetic data, pseudo-labels, or specialized architectures. Our approach improves the performance of fully-supervised hand reconstruction methods by 15.9% and 7.6% in PA-V2V on the HO-3D and FreiHAND datasets respectively, thus establishing new state-of-the-art performance. Finally, we demonstrate that our approach produces smoother hand reconstructions through time, and is more robust to heavy occlusions compared to the previous state-of-the-art which we show quantitatively and qualitatively. Our code and models will be available at https://eth-ait.github.io/tempclr.
• Abstract（参考訳）: 本研究では,3次元手再構成における構造化回帰課題に対して,時間コヒーレントなコントラスト学習手法であるTempCLRを紹介する。 従来の手のポーズ推定法とは異なり, 時間的一貫性を補足スキームで考慮し, 時間的方向に沿った手のポーズの違いを考慮に入れる。 データ駆動方式では,合成データや擬似ラベル,特殊なアーキテクチャに頼らずに,ラベルなしのビデオや標準cnnを活用する。 本手法は, HO-3D と FreiHAND のデータセット上で, PA-V2V が 15.9% と 7.6% 向上し, 新たな最先端性能が確立される。 最後に,本手法は時間を通じてよりスムーズな手再建を可能とし,定量的・定性的に示す先行技術に比べ,重咬合に対してより頑健であることを示す。 私たちのコードとモデルはhttps://eth-ait.github.io/tempclrで利用可能です。

関連論文リスト

• Hierarchical Temporal Context Learning for Camera-based Semantic Scene Completion [57.232688209606515]
  カメラによるセマンティックシーンの補完を改善するための,新たな時間的文脈学習パラダイムであるHTCLを提案する。 提案手法は,Semantic KITTIベンチマークで1st$をランク付けし,mIoUの点でLiDARベースの手法を超えている。
  論文  参考訳（メタデータ） (2024-07-02T09:11:17Z)
• HandBooster: Boosting 3D Hand-Mesh Reconstruction by Conditional Synthesis and Sampling of Hand-Object Interactions [68.28684509445529]
  HandBoosterは、データの多様性を向上し、3Dハンド・ミーシュ・リコンストラクションのパフォーマンスを向上する新しいアプローチである。 まず,多様な手やポーズ,ビュー,背景を持つリアルな画像を生成するために,拡散モデルを誘導する多目的コンテンツ認識条件を構築した。 そこで我々は,我々の類似性を考慮した分布サンプリング戦略に基づく新しい条件作成手法を設計し,トレーニングセットとは異なる,斬新で現実的なインタラクションのポーズを意図的に見つける。
  論文  参考訳（メタデータ） (2024-03-27T13:56:08Z)
• HiFiHR: Enhancing 3D Hand Reconstruction from a Single Image via High-Fidelity Texture [40.012406098563204]
  一つの画像から学習フレームワークのレンダリング・アンド・コンパレンスを利用する高忠実手再構成手法であるHiFiHRを提案する。 FreiHAND や HO-3D などの公開ベンチマークによる実験結果から, テクスチャ再構築における手作り工法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2023-08-25T18:48:40Z)
• Exploiting Spatial-Temporal Context for Interacting Hand Reconstruction on Monocular RGB Video [104.69686024776396]
  モノラルなRGBデータからインタラクションハンドを再構築することは、多くの干渉要因が伴うため、難しい作業である。 これまでの作業は、物理的に妥当な関係をモデル化することなく、単一のRGBイメージからの情報のみを活用する。 本研究は, 空間的時間的情報を明示的に活用し, より優れた対話的手指再建を実現することを目的としている。
  論文  参考訳（メタデータ） (2023-08-08T06:16:37Z)
• ACR: Attention Collaboration-based Regressor for Arbitrary Two-Hand Reconstruction [30.073586754012645]
  本稿では,ACR(Attention Collaboration-based Regressor)について述べる。 本手法は,種々の手指再建データセットを用いて評価する。
  論文  参考訳（メタデータ） (2023-03-10T14:19:02Z)
• SeqHAND:RGB-Sequence-Based 3D Hand Pose and Shape Estimation [48.456638103309544]
  RGB画像に基づく3次元手ポーズ推定は長い間研究されてきた。 本研究では,人間の手の動きを模倣する合成データセットを生成する手法を提案する。 本研究では,3次元ポーズ推定における時間情報の利用により,一般的なポーズ推定が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-07-10T05:11:14Z)
• Reference Pose Generation for Long-term Visual Localization via Learned Features and View Synthesis [88.80710311624101]
  本稿では,3次元モデルのレンダリングと実画像の特徴マッチングに基づく参照ポーズを生成するための半自動アプローチを提案する。 我々は、Aachen Day-Nightデータセットの夜間参照ポーズを大幅に改善し、最先端の視覚的ローカライゼーション手法が、オリジナルの参照ポーズによって予測されるよりも優れた(最大47%の)性能を示すことを示した。
  論文  参考訳（メタデータ） (2020-05-11T15:13:07Z)
• Leveraging Photometric Consistency over Time for Sparsely Supervised Hand-Object Reconstruction [118.21363599332493]
  本稿では,ビデオ中のフレームの粗いサブセットに対してのみアノテーションが利用できる場合に,時間とともに光度整合性を活用する手法を提案する。 本モデルでは,ポーズを推定することにより,手や物体を3Dで共同で再構成するカラーイメージをエンドツーエンドに訓練する。 提案手法は,3次元手動画像再構成の精度向上に有効であることを示す。
  論文  参考訳（メタデータ） (2020-04-28T12:03:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。