論文の概要: BlanketGen2-Fit3D: Synthetic Blanket Augmentation Towards Improving Real-World In-Bed Blanket Occluded Human Pose Estimation

• arxiv url: http://arxiv.org/abs/2501.12318v1
• Date: Tue, 21 Jan 2025 17:38:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:22:09.182863
• Title: BlanketGen2-Fit3D: Synthetic Blanket Augmentation Towards Improving Real-World In-Bed Blanket Occluded Human Pose Estimation
• Title（参考訳）: BlanketGen2-Fit3D:Blanket Augmentation to improveing Real-World In-Bed Blanket Obccluded Human Pose Estimation
• Authors: Tamás Karácsony, João Carmona, João Paulo Silva Cunha,
• Abstract要約: 単眼のRGB画像からのヒトのポス推定は, 生体内骨格に基づく行動認識に不可欠である。 合成フォトリアリスティック毛布を用いた1,217,312フレームを含むFit3Dデータセットの拡張であるBlanketGen2-Fit3Dを紹介する。
• 参考スコア（独自算出の注目度）: 1.0596160761674702
• License:
• Abstract: Human Pose Estimation (HPE) from monocular RGB images is crucial for clinical in-bed skeleton-based action recognition, however, it poses unique challenges for HPE models due to the frequent presence of blankets occluding the person, while labeled HPE data in this scenario is scarce. To address this we introduce BlanketGen2-Fit3D (BG2-Fit3D), an augmentation of Fit3D dataset that contains 1,217,312 frames with synthetic photo-realistic blankets. To generate it we used BlanketGen2, our new and improved version of our BlanketGen pipeline that simulates synthetic blankets using ground-truth Skinned Multi-Person Linear model (SMPL) meshes and then renders them as transparent images that can be layered on top of the original frames. This dataset was used in combination with the original Fit3D to finetune the ViTPose-B HPE model, to evaluate synthetic blanket augmentation effectiveness. The trained models were further evaluated on a real-world blanket occluded in-bed HPE dataset (SLP dataset). Comparing architectures trained on only Fit3D with the ones trained with our synthetic blanket augmentation the later improved pose estimation performance on BG2-Fit3D, the synthetic blanket occluded dataset significantly to (0.977 Percentage of Correct Keypoints (PCK), 0.149 Normalized Mean Error (NME)) with an absolute 4.4% PCK increase. Furthermore, the test results on SLP demonstrated the utility of synthetic data augmentation by improving performance by an absolute 2.3% PCK, on real-world images with the poses occluded by real blankets. These results show synthetic blanket augmentation has the potential to improve in-bed blanket occluded HPE from RGB images. The dataset as well as the code will be made available to the public.
• Abstract（参考訳）: 単眼のRGB画像からのHPE(Human Pose Estimation)は、臨床のベッド内骨格に基づく行動認識において重要であるが、このシナリオでは、HPEデータがラベル付けされているのに対して、人を含む毛布が頻繁に存在するため、HPEモデルに固有の課題が生じる。 これを解決するためにBlanketGen2-Fit3D (BG2-Fit3D)を紹介した。 BlanketGen2は、Skinned Multi-Person Linear Model(SMPL)メッシュを使用して合成毛布をシミュレートし、元のフレームの上に重ねられる透明なイメージとしてレンダリングするものです。 このデータセットは、オリジナルのFit3Dと組み合わせて、ViTPose-B HPEモデルを微調整し、合成毛布増強の有効性を評価するために使用された。 トレーニングされたモデルは、ベッド内HPEデータセット(SLPデータセット)を隠蔽した現実世界の毛布でさらに評価された。 Fit3Dのみをトレーニングしたアーキテクチャと、BG2-Fit3Dをトレーニングしたアーキテクチャを比較し、BG2-Fit3Dのポーズ推定性能を改良したアーキテクチャと比較すると、合成ブランケットを隠蔽したデータセットは、(0.977%)正しいキーポイント(PCK)、0.149正常化平均誤差(NME)、絶対4.4%のPCK増加を示した。 さらに,SLPを用いた実験結果から,実際の毛布に隠されたポーズを持つ実世界の画像に対して,絶対2.3%のPCKによる性能向上による合成データ拡張の有用性が示された。 以上の結果から,RGB画像から包接HPEを除去し,包接ブランケットを増強する可能性が示唆された。 データセットとコードが一般公開される予定だ。

関連論文リスト

• VI3DRM:Towards meticulous 3D Reconstruction from Sparse Views via Photo-Realistic Novel View Synthesis [22.493542492218303]
  視覚的等方性3D再構成モデル (VI3DRM) は、一貫した立体空間内で動作するスパースビュー3D再構成モデルである。 セマンティック情報、色、材料特性、照明の切り離しを容易にすることで、VI3DRMは極めてリアルな画像を生成することができる。
  論文  参考訳（メタデータ） (2024-09-12T16:47:57Z)
• GSLoc: Efficient Camera Pose Refinement via 3D Gaussian Splatting [25.780452115246245]
  本稿では,新しいテストタイムカメラ・ポーズ・リファインメントフレームワークGSLocを提案する。 このフレームワークは、最先端の絶対ポーズ回帰とシーン座標回帰法の局所化精度を高める。 GSLocは、RGBイメージを直接操作することで、特徴抽出器や記述器をトレーニングする必要がなくなる。
  論文  参考訳（メタデータ） (2024-08-20T17:58:23Z)
• CompGS: Efficient 3D Scene Representation via Compressed Gaussian Splatting [68.94594215660473]
  Compressed Gaussian Splatting (CompGS) という,効率的な3次元シーン表現を提案する。 我々は少数のアンカープリミティブを予測に利用し、プリミティブの大多数を非常にコンパクトな残留形にカプセル化することができる。 実験の結果,提案手法は既存の手法よりも優れており,モデル精度とレンダリング品質を損なうことなく,3次元シーン表現のコンパクト性に優れていた。
  論文  参考訳（メタデータ） (2024-04-15T04:50:39Z)
• HandBooster: Boosting 3D Hand-Mesh Reconstruction by Conditional Synthesis and Sampling of Hand-Object Interactions [68.28684509445529]
  HandBoosterは、データの多様性を向上し、3Dハンド・ミーシュ・リコンストラクションのパフォーマンスを向上する新しいアプローチである。 まず,多様な手やポーズ,ビュー,背景を持つリアルな画像を生成するために,拡散モデルを誘導する多目的コンテンツ認識条件を構築した。 そこで我々は,我々の類似性を考慮した分布サンプリング戦略に基づく新しい条件作成手法を設計し,トレーニングセットとは異なる,斬新で現実的なインタラクションのポーズを意図的に見つける。
  論文  参考訳（メタデータ） (2024-03-27T13:56:08Z)
• Robust Category-Level 3D Pose Estimation from Synthetic Data [17.247607850702558]
  CADモデルから生成されたオブジェクトポーズ推定のための新しい合成データセットであるSyntheticP3Dを紹介する。 逆レンダリングによるポーズ推定を行うニューラルネットワークモデルをトレーニングするための新しいアプローチ(CC3D)を提案する。
  論文  参考訳（メタデータ） (2023-05-25T14:56:03Z)
• BlanketGen - A synthetic blanket occlusion augmentation pipeline for MoCap datasets [0.0]
  BlanketGenは、合成毛布でビデオを拡大するパイプラインだ。 このパイプラインを用いて、ポーズ推定データセット3DPWの拡張版を生成した。 次に、この新たなデータセットを使用して、ディープラーニングモデルを微調整して、これらのシナリオのパフォーマンスを改善しました。
  論文  参考訳（メタデータ） (2022-10-21T15:27:58Z)
• Domain Adaptive 3D Pose Augmentation for In-the-wild Human Mesh Recovery [32.73513554145019]
  Domain Adaptive 3D Pose Augmentation (DAPA)は、Wildのシナリオにおけるモデルの一般化能力を向上するデータ拡張手法である。 DAPAによる微調整が3DPWとAGORAのベンチマークの結果を効果的に改善できることを定量的に示す。
  論文  参考訳（メタデータ） (2022-06-21T15:02:31Z)
• PoseTriplet: Co-evolving 3D Human Pose Estimation, Imitation, and Hallucination under Self-supervision [102.48681650013698]
  既存の自己監督型3次元ポーズ推定スキームは、学習を導くための弱い監督に大きく依存している。 そこで我々は,2D-3Dのポーズペアを明示的に生成し,監督を増強する,新しい自己監督手法を提案する。 これは、ポーズ推定器とポーズ幻覚器を併用して学習する強化学習ベースの模倣器を導入することで可能となる。
  論文  参考訳（メタデータ） (2022-03-29T14:45:53Z)
• UltraPose: Synthesizing Dense Pose with 1 Billion Points by Human-body Decoupling 3D Model [58.70130563417079]
  我々は,身体の発生を自由に制御できる,一連の分離されたパラメータを持つ新しい3次元人体モデルを導入する。 既存の手動注釈付きDensePose-COCOデータセットと比較して、合成されたUltraPoseは、アノテーションのコストと誤差を伴わずに、超高密度な画像-地上対応を持つ。
  論文  参考訳（メタデータ） (2021-10-28T16:24:55Z)
• AdaFuse: Adaptive Multiview Fusion for Accurate Human Pose Estimation in the Wild [77.43884383743872]
  本稿では,アダプティブなマルチビュー融合手法であるAdaFuseについて述べる。 我々は、Human3.6M、Total Capture、CMU Panopticの3つの公開データセットに対するアプローチを広く評価した。 また,大規模合成データセットOcclusion-Personを作成し,咬合関節の数値評価を行う。
  論文  参考訳（メタデータ） (2020-10-26T03:19:46Z)
• SparseFusion: Dynamic Human Avatar Modeling from Sparse RGBD Images [49.52782544649703]
  本稿では,RGBDフレームのスパース集合に基づく3次元人体形状の再構築手法を提案する。 主な課題は、これらのスパースフレームを標準的な3Dモデルにしっかりと融合させる方法だ。 私たちのフレームワークは柔軟で、潜在的なアプリケーションは形状の再構築を超えています。
  論文  参考訳（メタデータ） (2020-06-05T18:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。