論文の概要: WheelPose: Data Synthesis Techniques to Improve Pose Estimation Performance on Wheelchair Users
- arxiv url: http://arxiv.org/abs/2404.17063v1
- Date: Thu, 25 Apr 2024 22:17:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-29 14:24:03.764074
- Title: WheelPose: Data Synthesis Techniques to Improve Pose Estimation Performance on Wheelchair Users
- Title（参考訳）: WheelPose: 車椅子利用者のポース推定性能を改善するためのデータ合成技術
- Authors: William Huang, Sam Ghahremani, Siyou Pei, Yang Zhang,
- Abstract要約: 既存のポーズ推定モデルは、トレーニングデータに表現力の欠如があるため、車椅子利用者にはあまり役に立たない。
データ収集におけるこの相違に対処するためのデータ合成パイプラインを提案する。
我々のパイプラインは,Unityゲームエンジンでシミュレーションされたモーションキャプチャデータとモーション生成出力を用いて,車椅子利用者の合成データを生成する。
- 参考スコア（独自算出の注目度）: 5.057643544417776
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing pose estimation models perform poorly on wheelchair users due to a lack of representation in training data. We present a data synthesis pipeline to address this disparity in data collection and subsequently improve pose estimation performance for wheelchair users. Our configurable pipeline generates synthetic data of wheelchair users using motion capture data and motion generation outputs simulated in the Unity game engine. We validated our pipeline by conducting a human evaluation, investigating perceived realism, diversity, and an AI performance evaluation on a set of synthetic datasets from our pipeline that synthesized different backgrounds, models, and postures. We found our generated datasets were perceived as realistic by human evaluators, had more diversity than existing image datasets, and had improved person detection and pose estimation performance when fine-tuned on existing pose estimation models. Through this work, we hope to create a foothold for future efforts in tackling the inclusiveness of AI in a data-centric and human-centric manner with the data synthesis techniques demonstrated in this work. Finally, for future works to extend upon, we open source all code in this research and provide a fully configurable Unity Environment used to generate our datasets. In the case of any models we are unable to share due to redistribution and licensing policies, we provide detailed instructions on how to source and replace said models.
- Abstract（参考訳）: 既存のポーズ推定モデルは、トレーニングデータに表現力の欠如があるため、車椅子利用者にはあまり役に立たない。
データ収集におけるこの相違に対処するデータ合成パイプラインを提案し,その後,車椅子利用者のポーズ推定性能を改善した。
構成可能なパイプラインは,Unityゲームエンジンでシミュレーションされたモーションキャプチャデータとモーション生成出力を用いて車椅子利用者の合成データを生成する。
我々は、人間の評価を行い、認識されたリアリズム、多様性、および異なる背景、モデル、姿勢を合成するパイプラインから合成データセットのセットに対するAIパフォーマンス評価を検証した。
生成したデータセットは、人間の評価者によって現実的と見なされ、既存の画像データセットよりも多様性があり、既存のポーズ推定モデルに基づいて微調整された場合の人物検出とポーズ推定性能が改善された。
この研究を通じて、この研究で実証されたデータ合成技術を用いて、データ中心で人間中心の方法でAIの包摂性に取り組むための将来の努力の足場を構築したいと考えています。
最後に、今後の研究のために、この研究ですべてのコードをオープンソース化し、データセットを生成するのに使用する完全に構成可能なUnity環境を提供します。
再配布とライセンスポリシーのために共有できないモデルの場合、私たちは、そのモデルをソースし、置き換える方法について詳細な指示を与えます。
関連論文リスト
- Massively Annotated Datasets for Assessment of Synthetic and Real Data in Face Recognition [0.2775636978045794]
実データと合成データを用いて学習したモデルの性能のドリフトについて検討する。
属性集合上の実データと合成データセットの差について検討する。
興味深いことに、我々は実際のサンプルが合成分布を説明するのに十分であるにもかかわらず、その逆はもはや真実ではないことを検証した。
論文 参考訳（メタデータ） (2024-04-23T17:10:49Z) - LiveHPS: LiDAR-based Scene-level Human Pose and Shape Estimation in Free
Environment [59.320414108383055]
シーンレベルの人間のポーズと形状推定のための単一LiDARに基づく新しいアプローチであるLiveHPSを提案する。
多様な人間のポーズを伴う様々なシナリオで収集される巨大な人間の動きデータセットFreeMotionを提案する。
論文 参考訳（メタデータ） (2024-02-27T03:08:44Z) - Learning Human Action Recognition Representations Without Real Humans [66.61527869763819]
そこで本研究では,仮想人間を含む合成データを用いて,実世界の映像を活用してモデルを事前学習するベンチマークを提案する。
次に、このデータに基づいて学習した表現を、下流行動認識ベンチマークの様々なセットに転送可能であるかを評価する。
私たちのアプローチは、以前のベースラインを最大5%上回ります。
論文 参考訳（メタデータ） (2023-11-10T18:38:14Z) - Learning Defect Prediction from Unrealistic Data [57.53586547895278]
事前訓練されたコードのモデルは、コード理解と生成タスクに人気がある。
このようなモデルは大きい傾向があり、訓練データの総量を必要とする。
人工的に注入されたバグのある関数など、はるかに大きくてもより現実的なデータセットを持つモデルをトレーニングすることが一般的になった。
このようなデータで訓練されたモデルは、実際のプログラムでは性能が劣りながら、同様のデータでのみうまく機能する傾向にある。
論文 参考訳（メタデータ） (2023-11-02T01:51:43Z) - Improving 2D Human Pose Estimation in Rare Camera Views with Synthetic Data [24.63316659365843]
本稿では、ポーズとビューを包括的に制御した合成ヒトを生成するためのSMPLベースの手法であるRePoGenを紹介する。
トップビューデータセットの実験と、さまざまなポーズを持つ実画像の新しいデータセットにより、COCOデータセットにRePoGenデータを追加することは、以前のアプローチよりも優れていることが示されている。
論文 参考訳（メタデータ） (2023-07-13T13:17:50Z) - Exploring the Effectiveness of Dataset Synthesis: An application of
Apple Detection in Orchards [68.95806641664713]
本研究では,リンゴ樹の合成データセットを生成するための安定拡散2.1-baseの有用性について検討する。
我々は、現実世界のリンゴ検出データセットでリンゴを予測するために、YOLOv5mオブジェクト検出モデルを訓練する。
その結果、実世界の画像でトレーニングされたベースラインモデルと比較して、生成データでトレーニングされたモデルはわずかに性能が劣っていることがわかった。
論文 参考訳（メタデータ） (2023-06-20T09:46:01Z) - Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
生成過程が下流MLタスクにどのように影響するかを示す。
本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
論文 参考訳（メタデータ） (2023-05-16T07:30:29Z) - Learning from synthetic data generated with GRADE [0.6982738885923204]
本稿では,ロボット工学研究のための現実的なアニメーション動的環境(GRADE)を作成するためのフレームワークを提案する。
GRADEは、完全なシミュレーション制御、ROS統合、現実物理学をサポートし、高い視覚的忠実度画像と地上真実データを生成するエンジン内にある。
合成データのみを用いてトレーニングしても、同一のアプリケーション領域における実世界の画像によく当てはまることを示す。
論文 参考訳（メタデータ） (2023-05-07T14:13:04Z) - Development of a Realistic Crowd Simulation Environment for Fine-grained
Validation of People Tracking Methods [0.7223361655030193]
この研究は、群衆シミュレーションの拡張(CrowdSim2)を開発し、人追跡アルゴリズムの適用性を証明する。
シミュレータは非常に人気のあるUnity 3Dエンジンを使用して開発されており、特に環境におけるリアリズムの側面に焦点を当てている。
IOU-Tracker、Deep-Sort、Deep-TAMAという3つのトラッキング手法が生成されたデータセットの検証に使用された。
論文 参考訳（メタデータ） (2023-04-26T09:29:58Z) - TRoVE: Transforming Road Scene Datasets into Photorealistic Virtual
Environments [84.6017003787244]
本研究では、シミュレーションデータセットに存在する困難とドメインギャップに対処する合成データ生成パイプラインを提案する。
既存のデータセットからアノテーションや視覚的手がかりを利用すれば、自動マルチモーダルデータ生成が容易になることを示す。
論文 参考訳（メタデータ） (2022-08-16T20:46:08Z) - PeopleSansPeople: A Synthetic Data Generator for Human-Centric Computer
Vision [3.5694949627557846]
我々は人間中心の合成データ生成装置 PeopleSansPeople をリリースする。
シミュレーション可能な3Dアセット、パラメータ化照明とカメラシステム、および2Dおよび3Dバウンディングボックス、インスタンスとセマンティックセグメンテーション、COCOポーズラベルを生成する。
論文 参考訳（メタデータ） (2021-12-17T02:33:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。