論文の概要: Multiple-Crop Human Mesh Recovery with Contrastive Learning and Camera
Consistency in A Single Image
- arxiv url: http://arxiv.org/abs/2402.02074v1
- Date: Sat, 3 Feb 2024 07:51:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 22:29:13.640845
- Title: Multiple-Crop Human Mesh Recovery with Contrastive Learning and Camera
Consistency in A Single Image
- Title(参考訳): コントラスト学習とカメラの整合性を考慮したマルチクロップ・ヒューマンメッシュ・リカバリ
- Authors: Yongwei Nie, Changzhen Liu, Chengjiang Long, Qing Zhang, Guiqing Li,
Hongmin Cai
- Abstract要約: シングルイメージヒューマンメッシュリカバリ(HMR)の課題に取り組む
本稿では,シングルクロップHMRを新しいマルチクロップHMRパラダイムにシフトする。
- 参考スコア(独自算出の注目度): 37.04238559131438
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We tackle the problem of single-image Human Mesh Recovery (HMR). Previous
approaches are mostly based on a single crop. In this paper, we shift the
single-crop HMR to a novel multiple-crop HMR paradigm. Cropping a human from
image multiple times by shifting and scaling the original bounding box is
feasible in practice, easy to implement, and incurs neglectable cost, but
immediately enriches available visual details. With multiple crops as input, we
manage to leverage the relation among these crops to extract discriminative
features and reduce camera ambiguity. Specifically, (1) we incorporate a
contrastive learning scheme to enhance the similarity between features
extracted from crops of the same human. (2) We also propose a crop-aware fusion
scheme to fuse the features of multiple crops for regressing the target mesh.
(3) We compute local cameras for all the input crops and build a
camera-consistency loss between the local cameras, which reward us with less
ambiguous cameras. Based on the above innovations, our proposed method
outperforms previous approaches as demonstrated by the extensive experiments.
- Abstract(参考訳): 単一像のHuman Mesh Recovery (HMR) の問題に対処する。
従来のアプローチは主に1つの作物に基づいている。
本稿では,シングルクロップHMRを新しいマルチクロップHMRパラダイムにシフトする。
オリジナルのバウンディングボックスのシフトとスケーリングによって、複数の画像から人間をトリミングすることは、実際に実現可能であり、実装が容易であり、無視できるコストが伴うが、すぐに利用可能な視覚詳細を豊かにする。
複数の作物を入力として,これらの作物間の関係を利用して識別的特徴を抽出し,カメラの曖昧さを低減した。
具体的には,(1)同一人の作物から抽出した特徴の類似性を高めるために,コントラスト学習方式を取り入れている。
2) 対象メッシュを回帰させるために, 複数作物の特徴を融合させる, 作物を意識した融合方式を提案する。
3)全ての入力作物に対して局所カメラを計算し,局所カメラ間のカメラコンシスタンス損失を発生させ,より曖昧度の低いカメラで報いる。
以上のイノベーションに基づき,提案手法は,広範な実験で示された従来の手法を上回っている。
関連論文リスト
- AiOS: All-in-One-Stage Expressive Human Pose and Shape Estimation [55.179287851188036]
人間のポーズと形状の復元のための新しいオールインワンステージフレームワークであるAiOSを、追加の人間検出ステップなしで導入する。
まず、画像中の人間の位置を探索し、各インスタンスのグローバルな機能をエンコードするために、人間のトークンを使用します。
そして、画像中の人間の関節を探索し、きめ細かい局所的特徴を符号化するジョイント関連トークンを導入する。
論文 参考訳(メタデータ) (2024-03-26T17:59:23Z) - Human Mesh Recovery from Arbitrary Multi-view Images [57.969696744428475]
任意の多視点画像からU-HMR(Unified Human Mesh Recovery)を分離・征服する枠組みを提案する。
特にU-HMRは、分離された構造と、カメラとボディーデカップリング(CBD)、カメラポーズ推定(CPE)、任意のビューフュージョン(AVF)の2つの主要コンポーネントから構成されている。
我々は、Human3.6M、MPI-INF-3DHP、TotalCaptureの3つの公開データセットについて広範な実験を行った。
論文 参考訳(メタデータ) (2024-03-19T04:47:56Z) - SHARE: Single-view Human Adversarial REconstruction [23.655024290047308]
我々は既存のHPS技術の堅牢性を高めるための新しい微調整手法であるSHAREを紹介する。
我々は,HPS再建におけるカメラポーズの影響を包括的に分析する。
以上の結果から,シングルビューHPS技術における平均接合誤差の低減が示唆された。
論文 参考訳(メタデータ) (2023-12-30T23:01:31Z) - Break-A-Scene: Extracting Multiple Concepts from a Single Image [80.47666266017207]
テキストシーン分解の課題を紹介する。
本稿では,対象概念の存在を示すマスクを用いた入力画像の拡張を提案する。
次に、新しい2段階のカスタマイズプロセスを示す。
論文 参考訳(メタデータ) (2023-05-25T17:59:04Z) - CHIMLE: Conditional Hierarchical IMLE for Multimodal Conditional Image
Synthesis [5.7789164588489035]
条件付き画像合成における永続的な課題は、同じ入力画像から多様な出力画像を生成することである。
モード崩壊を克服できるImplicit Conditional Likelihood Estimation Maximum(IMLE)を利用する。
高忠実度画像を生成するために、従来のIMLEベースの手法では大量のサンプルを必要とするが、これは高価である。
画像の忠実度とモードカバレッジの点で,CHIMLEは,先行する最高のIMLE,GAN,拡散に基づく手法よりも優れていた。
論文 参考訳(メタデータ) (2022-11-25T18:41:44Z) - DFNet: Enhance Absolute Pose Regression with Direct Feature Matching [16.96571417692014]
絶対ポーズ回帰(APR)と直接特徴マッチングを組み合わせたカメラ再局在パイプラインを導入する。
提案手法は,既存の1画像のAPR手法を最大56%上回る精度で3次元構造法に匹敵する精度を実現する。
論文 参考訳(メタデータ) (2022-04-01T16:39:16Z) - Lightweight Multi-person Total Motion Capture Using Sparse Multi-view
Cameras [35.67288909201899]
スパース多視点カメラのみを用いた多人数対話型シナリオのための軽量な総合的モーションキャプチャシステムを提案する。
本手法は,重度の閉塞時であっても,手と顔の効率的な位置決めと正確な関連付けが可能である。
本報告では, 高速, 頑健, 高精度な多対人モーションキャプチャ性能を実現するための, 初の軽量全モーションキャプチャシステムを提案する。
論文 参考訳(メタデータ) (2021-08-23T19:23:35Z) - Single-Image HDR Reconstruction by Learning to Reverse the Camera
Pipeline [100.5353614588565]
本稿では,LDR画像形成パイプラインの領域知識をモデルに組み込むことを提案する。
我々は,HDRto-LDR画像形成パイプラインを(1)ダイナミックレンジクリッピング,(2)カメラ応答関数からの非線形マッピング,(3)量子化としてモデル化する。
提案手法は,最先端の単一画像HDR再構成アルゴリズムに対して良好に動作することを示す。
論文 参考訳(メタデータ) (2020-04-02T17:59:04Z) - Rethinking the Distribution Gap of Person Re-identification with
Camera-based Batch Normalization [90.9485099181197]
本稿では,従来のReID手法の動作機構を再考する。
我々は、すべてのカメラの画像データを同じ部分空間に落とすように強制する。
幅広いReIDタスクの実験は、我々のアプローチの有効性を実証している。
論文 参考訳(メタデータ) (2020-01-23T17:22:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。