論文の概要: SHARE: Single-view Human Adversarial REconstruction

• arxiv url: http://arxiv.org/abs/2401.00343v1
• Date: Sat, 30 Dec 2023 23:01:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-03 17:55:48.342226
• Title: SHARE: Single-view Human Adversarial REconstruction
• Title（参考訳）: SHARE: 単一ビューの人間対人再構築
• Authors: Shreelekha Revankar, Shijia Liao, Yu Shen, Junbang Liang, Huaishu Peng, Ming Lin
• Abstract要約: 我々は既存のHPS技術の堅牢性を高めるための新しい微調整手法であるSHAREを紹介する。 我々は,HPS再建におけるカメラポーズの影響を包括的に分析する。 以上の結果から,シングルビューHPS技術における平均接合誤差の低減が示唆された。
• 参考スコア（独自算出の注目度）: 23.655024290047308
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The accuracy of 3D Human Pose and Shape reconstruction (HPS) from an image is progressively improving. Yet, no known method is robust across all image distortion. To address issues due to variations of camera poses, we introduce SHARE, a novel fine-tuning method that utilizes adversarial data augmentation to enhance the robustness of existing HPS techniques. We perform a comprehensive analysis on the impact of camera poses on HPS reconstruction outcomes. We first generated large-scale image datasets captured systematically from diverse camera perspectives. We then established a mapping between camera poses and reconstruction errors as a continuous function that characterizes the relationship between camera poses and HPS quality. Leveraging this representation, we introduce RoME (Regions of Maximal Error), a novel sampling technique for our adversarial fine-tuning method. The SHARE framework is generalizable across various single-view HPS methods and we demonstrate its performance on HMR, SPIN, PARE, CLIFF and ExPose. Our results illustrate a reduction in mean joint errors across single-view HPS techniques, for images captured from multiple camera positions without compromising their baseline performance. In many challenging cases, our method surpasses the performance of existing models, highlighting its practical significance for diverse real-world applications.
• Abstract（参考訳）: 画像からの3次元人物姿勢・形状再構成(HPS)の精度は徐々に向上している。 しかし、すべての画像歪みに対してロバストな手法は知られていない。 カメラのポーズの変化による問題に対処するため,既存のHPS技術の堅牢性を高めるために,逆データ拡張を利用した新しい微調整手法であるSHAREを導入する。 我々は,HPS再建におけるカメラポーズの影響を包括的に分析する。 まず,多様なカメラ視点から体系的に捉えた大規模画像データセットを作成した。 次に,カメラポーズとhps品質の関係を特徴付ける連続関数として,カメラポーズと再構成誤差のマッピングを確立した。 この表現を生かして,本手法の新たなサンプリング手法である rome (regions of maximal error) を提案する。 SHARE フレームワークは,HMR,SPIN,PARE,CLIFF,ExPose の様々な単一ビュー HPS メソッドで一般化可能である。 以上の結果から,複数のカメラ位置から撮影した画像がベースライン性能を損なうことなく,シングルビューHPS技術における平均関節誤差の低減を図った。 多くの困難なケースにおいて、本手法は既存のモデルの性能を上回っており、実世界の多様なアプリケーションにおける実用的重要性を強調している。

関連論文リスト

• VICAN: Very Efficient Calibration Algorithm for Large Camera Networks [49.17165360280794]
  ポースグラフ最適化手法を拡張する新しい手法を提案する。 我々は、カメラを含む二部グラフ、オブジェクトの動的進化、各ステップにおけるカメラオブジェクト間の相対変換について考察する。 我々のフレームワークは従来のPGOソルバとの互換性を維持しているが、その有効性はカスタマイズされた最適化方式の恩恵を受けている。
  論文  参考訳（メタデータ） (2024-03-25T17:47:03Z)
• Cameras as Rays: Pose Estimation via Ray Diffusion [54.098613859015856]
  カメラのポーズを推定することは3D再構成の基本的な課題であり、まばらにサンプリングされたビューを考えると依然として困難である。 本稿では,カメラを光束として扱うカメラポーズの分散表現を提案する。 提案手法は回帰法と拡散法の両方で,CO3Dのカメラポーズ推定における最先端性能を示す。
  論文  参考訳（メタデータ） (2024-02-22T18:59:56Z)
• CBARF: Cascaded Bundle-Adjusting Neural Radiance Fields from Imperfect Camera Poses [23.427859480410934]
  本稿では,カメラポーズの同時最適化を可能にする新しい3次元再構成フレームワークを提案する。 簡単に言えば、我々のフレームワークは、粗い方法でカメラのポーズを最適化し、修正されたポーズに基づいてシーンを再構築する。 CBARFモデルはポーズ最適化と新しいビュー合成の両方において最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2023-10-15T08:34:40Z)
• Enhanced Stable View Synthesis [86.69338893753886]
  本稿では,自由に動くカメラから撮影した画像から,新しいビュー合成を強化するアプローチを提案する。 導入されたアプローチは、正確な幾何学的足場とカメラのポーズの復元が困難な屋外シーンに焦点を当てている。
  論文  参考訳（メタデータ） (2023-03-30T01:53:14Z)
• PoseExaminer: Automated Testing of Out-of-Distribution Robustness in Human Pose and Shape Estimation [15.432266117706018]
  我々は人間のポーズのイメージの多様体を探索するために、きめ細かい方法で制御できるシミュレータを開発した。 本稿では,HPSアルゴリズムを自動診断するPoseExaminerという学習ベースのテスト手法を提案する。 我々のPoseExaminerは、現実のシナリオに関係のある現在の最先端モデルにおいて、様々な制限を発見できることを示す。
  論文  参考訳（メタデータ） (2023-03-13T17:58:54Z)
• Proactive Multi-Camera Collaboration For 3D Human Pose Estimation [16.628446718419344]
  本稿では,3次元人物位置推定におけるプロアクティブなマルチカメラ協調のためのマルチエージェント強化学習手法を提案する。 アクティブカメラは3次元再構成に最適な視点を求めるために、積極的にカメラのポーズを制御している。 我々は、環境ダイナミクスをよりよく捉えるために、複数の世界ダイナミクス学習タスクでモデルを共同で訓練する。
  論文  参考訳（メタデータ） (2023-03-07T10:01:00Z)
• Robust Single Image Dehazing Based on Consistent and Contrast-Assisted Reconstruction [95.5735805072852]
  画像復調モデルのロバスト性を改善するための新しい密度変分学習フレームワークを提案する。 具体的には、デハジングネットワークは、一貫性の規則化されたフレームワークの下で最適化されている。 我々の手法は最先端のアプローチを大きく上回っている。
  論文  参考訳（メタデータ） (2022-03-29T08:11:04Z)
• DeepMultiCap: Performance Capture of Multiple Characters Using Sparse Multiview Cameras [63.186486240525554]
  deep multicapは、スパースマルチビューカメラを用いたマルチパーソンパフォーマンスキャプチャのための新しい手法である。 本手法では,事前走査型テンプレートモデルを用いることなく,時間変化した表面の詳細をキャプチャできる。
  論文  参考訳（メタデータ） (2021-05-01T14:32:13Z)
• Single-Image HDR Reconstruction by Learning to Reverse the Camera Pipeline [100.5353614588565]
  本稿では,LDR画像形成パイプラインの領域知識をモデルに組み込むことを提案する。 我々は,HDRto-LDR画像形成パイプラインを(1)ダイナミックレンジクリッピング,(2)カメラ応答関数からの非線形マッピング,(3)量子化としてモデル化する。 提案手法は,最先端の単一画像HDR再構成アルゴリズムに対して良好に動作することを示す。
  論文  参考訳（メタデータ） (2020-04-02T17:59:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。