論文の概要: Multi-RoI Human Mesh Recovery with Camera Consistency and Contrastive Losses
- arxiv url: http://arxiv.org/abs/2402.02074v2
- Date: Tue, 01 Oct 2024 16:49:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-02 16:32:39.835459
- Title: Multi-RoI Human Mesh Recovery with Camera Consistency and Contrastive Losses
- Title(参考訳): カメラの一貫性とコントラスト損失を考慮したマルチロイ・ヒューマンメッシュ・リカバリ
- Authors: Yongwei Nie, Changzhen Liu, Chengjiang Long, Qing Zhang, Guiqing Li, Hongmin Cai,
- Abstract要約: 本稿では2次元再投射損失を計算するためのカメラを推定するために,複数RoIに基づくHuman Mesh Recovery (HMR)法を提案する。
キーとなるアイデアは、複数のRoIを入力として、複数のローカルカメラを推定し、追加の制約を設計し適用する機会を得る、ということです。
複数RoI HMR法の有効性と最近の先行技術に対する優位性を示す実験を行った。
- 参考スコア(独自算出の注目度): 34.95831682199947
- License:
- Abstract: Besides a 3D mesh, Human Mesh Recovery (HMR) methods usually need to estimate a camera for computing 2D reprojection loss. Previous approaches may encounter the following problem: both the mesh and camera are not correct but the combination of them can yield a low reprojection loss. To alleviate this problem, we define multiple RoIs (region of interest) containing the same human and propose a multiple-RoI-based HMR method. Our key idea is that with multiple RoIs as input, we can estimate multiple local cameras and have the opportunity to design and apply additional constraints between cameras to improve the accuracy of the cameras and, in turn, the accuracy of the corresponding 3D mesh. To implement this idea, we propose a RoI-aware feature fusion network by which we estimate a 3D mesh shared by all RoIs as well as local cameras corresponding to the RoIs. We observe that local cameras can be converted to the camera of the full image through which we construct a local camera consistency loss as the additional constraint imposed on local cameras. Another benefit of introducing multiple RoIs is that we can encapsulate our network into a contrastive learning framework and apply a contrastive loss to regularize the training of our network. Experiments demonstrate the effectiveness of our multi-RoI HMR method and superiority to recent prior arts. Our code is available at https://github.com/CptDiaos/Multi-RoI.
- Abstract(参考訳): 3Dメッシュの他に、Human Mesh Recovery(HMR)メソッドは、通常、2Dの再投影損失を計算するためのカメラを見積もる必要がある。
メッシュとカメラはどちらも正しくないが、それらの組み合わせは低い再投射損失をもたらす可能性がある。
この問題を緩和するために、同一の人間を含む複数のRoI(関心領域)を定義し、複数RoIに基づくHMR法を提案する。
キーとなるアイデアは、複数のRoIを入力として、複数のローカルカメラを推定し、カメラ間の追加制約を設計して適用して、カメラの精度を向上し、それに対応する3Dメッシュの精度を向上できるということです。
このアイデアを実現するために,全RoIが共有する3Dメッシュと,RoIに対応するローカルカメラを推定する,RoI対応機能融合ネットワークを提案する。
ローカルカメラをフルイメージのカメラに変換することで、ローカルカメラに課される追加制約として、ローカルカメラの一貫性損失を構築することができる。
複数のRoIを導入するもうひとつのメリットは、ネットワークをコントラスト的な学習フレームワークにカプセル化して、コントラスト的な損失を適用して、ネットワークのトレーニングを規則化できることです。
複数RoI HMR法の有効性と最近の先行技術に対する優位性を示す実験を行った。
私たちのコードはhttps://github.com/CptDiaos/Multi-RoI.comで公開されています。
関連論文リスト
- 3D Multimodal Image Registration for Plant Phenotyping [0.6697966247860049]
植物フェノタイピングのための複合マルチモーダルモニタリングシステムにおける複数のカメラ技術の利用は、有望な利益をもたらす。
クロスモーダルパターンの有効利用は、ピクセル・正確なアライメントを実現するために、正確な画像登録に依存する。
本稿では,飛行時間カメラからの深度情報を登録プロセスに統合することにより,これらの課題に対処する新しいマルチモーダル3D画像登録手法を提案する。
論文 参考訳(メタデータ) (2024-07-03T09:29:46Z) - AiOS: All-in-One-Stage Expressive Human Pose and Shape Estimation [55.179287851188036]
人間のポーズと形状の復元のための新しいオールインワンステージフレームワークであるAiOSを、追加の人間検出ステップなしで導入する。
まず、画像中の人間の位置を探索し、各インスタンスのグローバルな機能をエンコードするために、人間のトークンを使用します。
そして、画像中の人間の関節を探索し、きめ細かい局所的特徴を符号化するジョイント関連トークンを導入する。
論文 参考訳(メタデータ) (2024-03-26T17:59:23Z) - Human Mesh Recovery from Arbitrary Multi-view Images [57.969696744428475]
任意の多視点画像からU-HMR(Unified Human Mesh Recovery)を分離・征服する枠組みを提案する。
特にU-HMRは、分離された構造と、カメラとボディーデカップリング(CBD)、カメラポーズ推定(CPE)、任意のビューフュージョン(AVF)の2つの主要コンポーネントから構成されている。
我々は、Human3.6M、MPI-INF-3DHP、TotalCaptureの3つの公開データセットについて広範な実験を行った。
論文 参考訳(メタデータ) (2024-03-19T04:47:56Z) - SHARE: Single-view Human Adversarial REconstruction [23.655024290047308]
我々は既存のHPS技術の堅牢性を高めるための新しい微調整手法であるSHAREを紹介する。
我々は,HPS再建におけるカメラポーズの影響を包括的に分析する。
以上の結果から,シングルビューHPS技術における平均接合誤差の低減が示唆された。
論文 参考訳(メタデータ) (2023-12-30T23:01:31Z) - Break-A-Scene: Extracting Multiple Concepts from a Single Image [80.47666266017207]
テキストシーン分解の課題を紹介する。
本稿では,対象概念の存在を示すマスクを用いた入力画像の拡張を提案する。
次に、新しい2段階のカスタマイズプロセスを示す。
論文 参考訳(メタデータ) (2023-05-25T17:59:04Z) - DFNet: Enhance Absolute Pose Regression with Direct Feature Matching [16.96571417692014]
絶対ポーズ回帰(APR)と直接特徴マッチングを組み合わせたカメラ再局在パイプラインを導入する。
提案手法は,既存の1画像のAPR手法を最大56%上回る精度で3次元構造法に匹敵する精度を実現する。
論文 参考訳(メタデータ) (2022-04-01T16:39:16Z) - Lightweight Multi-person Total Motion Capture Using Sparse Multi-view
Cameras [35.67288909201899]
スパース多視点カメラのみを用いた多人数対話型シナリオのための軽量な総合的モーションキャプチャシステムを提案する。
本手法は,重度の閉塞時であっても,手と顔の効率的な位置決めと正確な関連付けが可能である。
本報告では, 高速, 頑健, 高精度な多対人モーションキャプチャ性能を実現するための, 初の軽量全モーションキャプチャシステムを提案する。
論文 参考訳(メタデータ) (2021-08-23T19:23:35Z) - Single-Image HDR Reconstruction by Learning to Reverse the Camera
Pipeline [100.5353614588565]
本稿では,LDR画像形成パイプラインの領域知識をモデルに組み込むことを提案する。
我々は,HDRto-LDR画像形成パイプラインを(1)ダイナミックレンジクリッピング,(2)カメラ応答関数からの非線形マッピング,(3)量子化としてモデル化する。
提案手法は,最先端の単一画像HDR再構成アルゴリズムに対して良好に動作することを示す。
論文 参考訳(メタデータ) (2020-04-02T17:59:04Z) - Rethinking the Distribution Gap of Person Re-identification with
Camera-based Batch Normalization [90.9485099181197]
本稿では,従来のReID手法の動作機構を再考する。
我々は、すべてのカメラの画像データを同じ部分空間に落とすように強制する。
幅広いReIDタスクの実験は、我々のアプローチの有効性を実証している。
論文 参考訳(メタデータ) (2020-01-23T17:22:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。