論文の概要: CIMI4D: A Large Multimodal Climbing Motion Dataset under Human-scene Interactions

• arxiv url: http://arxiv.org/abs/2303.17948v1
• Date: Fri, 31 Mar 2023 10:26:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-03 14:34:29.714725
• Title: CIMI4D: A Large Multimodal Climbing Motion Dataset under Human-scene Interactions
• Title（参考訳）: CIMI4D:人間とシーンの相互作用による大規模マルチモーダルクライミングモーションデータセット
• Authors: Ming Yan, Xin Wang, Yudi Dai, Siqi Shen, Chenglu Wen, Lan Xu, Yuexin Ma, Cheng Wang
• Abstract要約: 我々は、13の異なるクライミングウォールを登る12人から、大きな岩のtextbfCltextbfImbing textbfMottextbfIonデータセットであるCIMI4Dを収集した。 データセットは、およそ180,000フレームのポーズ慣性測定、LiDARポイントクラウド、RGBビデオ、高精度な静的ポイントクラウドシーン、再構築されたシーンメッシュで構成されている。
• 参考スコア（独自算出の注目度）: 41.593477269767924
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Motion capture is a long-standing research problem. Although it has been studied for decades, the majority of research focus on ground-based movements such as walking, sitting, dancing, etc. Off-grounded actions such as climbing are largely overlooked. As an important type of action in sports and firefighting field, the climbing movements is challenging to capture because of its complex back poses, intricate human-scene interactions, and difficult global localization. The research community does not have an in-depth understanding of the climbing action due to the lack of specific datasets. To address this limitation, we collect CIMI4D, a large rock \textbf{C}l\textbf{I}mbing \textbf{M}ot\textbf{I}on dataset from 12 persons climbing 13 different climbing walls. The dataset consists of around 180,000 frames of pose inertial measurements, LiDAR point clouds, RGB videos, high-precision static point cloud scenes, and reconstructed scene meshes. Moreover, we frame-wise annotate touch rock holds to facilitate a detailed exploration of human-scene interaction. The core of this dataset is a blending optimization process, which corrects for the pose as it drifts and is affected by the magnetic conditions. To evaluate the merit of CIMI4D, we perform four tasks which include human pose estimations (with/without scene constraints), pose prediction, and pose generation. The experimental results demonstrate that CIMI4D presents great challenges to existing methods and enables extensive research opportunities. We share the dataset with the research community in http://www.lidarhumanmotion.net/cimi4d/.
• Abstract（参考訳）: モーションキャプチャーは長年の研究課題である。 何十年も研究されてきたが、ほとんどの研究は、歩行、座位、踊りなどの地面に基づく運動に焦点を当てている。 登山などのオフグラウンドでの行動はほとんど見過ごされている。 スポーツや消防の分野で重要なアクションとして、登山運動は複雑なバックポーズ、複雑な人間とシーンの相互作用、そして難しいグローバルローカライズのために捕獲するのが困難である。 研究コミュニティは、特定のデータセットが欠如しているため、登山行動を深く理解していない。 この制限に対処するために、13の異なるクライミングウォールを登る12人のデータセットから、大きなロックであるcimi4dを収集します。 データセットは、およそ180,000フレームのポーズ慣性測定、LiDARポイントクラウド、RGBビデオ、高精度な静的ポイントクラウドシーン、再構築されたシーンメッシュで構成されている。 さらに,タッチロックホールドのフレームワイドアノテートにより,人間とシーンのインタラクションを詳細に調査する。 このデータセットの中核はブレンディング最適化プロセスであり、それがドリフトするにつれてポーズを補正し、磁気条件に影響される。 CIMI4Dの利点を評価するために、人間のポーズ推定(シーン制約なし)、ポーズ予測、ポーズ生成を含む4つのタスクを実行する。 実験の結果,CIMI4Dは既存手法に大きな課題を呈し,広範な研究機会が得られた。 私たちはデータセットを研究コミュニティとhttp://www.lidarhumanmotion.net/cimi4d/で共有しています。

関連論文リスト

• Harmony4D: A Video Dataset for In-The-Wild Close Human Interactions [27.677520981665012]
  Harmony4Dは、レスリング、ダンス、MMAなどのフィールド内アクティビティを特徴とする人間と人間のインタラクションのためのデータセットである。 我々は、フレキシブルなマルチビューキャプチャシステムを用いて、これらのダイナミックなアクティビティを記録し、人間検出、追跡、2D/3Dポーズ推定、および密接な相互作用のある被験者のためのメッシュ回復のためのアノテーションを提供する。
  論文  参考訳（メタデータ） (2024-10-27T00:05:15Z)
• HiSC4D: Human-centered interaction and 4D Scene Capture in Large-scale Space Using Wearable IMUs and LiDAR [43.43745311617461]
  我々は,Human-centered Interactionと4D Scene Capture法であるHiSC4Dを紹介する。 ボディマウントのIMUとヘッドマウントのLiDARを利用することで、HiSC4Dは非拘束空間における自我中心の人間の動きを捉えることができる。 4つの大きなシーン(200〜5000ドル)に8つのシーケンスを含むデータセットを提示し、正確な4次元動作の36kフレームを提供する。
  論文  参考訳（メタデータ） (2024-09-06T16:43:04Z)
• LWIRPOSE: A novel LWIR Thermal Image Dataset and Benchmark [9.679771580702258]
  このデータセットは、2400以上の高品質なLWIR(熱)画像で構成されている。 それぞれの画像には2Dの人間のポーズが刻まれており、研究者や実践者にとって貴重なリソースとなっている。 我々は、その可能性を示すために、データセットの最先端ポーズ推定手法をベンチマークする。
  論文  参考訳（メタデータ） (2024-04-16T01:49:35Z)
• Revisit Human-Scene Interaction via Space Occupancy [55.67657438543008]
  HSI(Human-Scene Interaction)の生成は、さまざまな下流タスクに不可欠な課題である。 本研究では,シーンとのインタラクションが,抽象的な物理的視点からシーンの空間占有と本質的に相互作用していることを論じる。 純粋な動きシーケンスを、見えないシーン占有と相互作用する人間の記録として扱うことで、動きのみのデータを大規模にペア化された人間-占有相互作用データベースに集約することができる。
  論文  参考訳（メタデータ） (2023-12-05T12:03:00Z)
• CIRCLE: Capture In Rich Contextual Environments [69.97976304918149]
  そこで我々は,アクターが仮想世界において知覚し,操作する新たな動き獲得システムを提案する。 9つのシーンにわたる5人の被験者から10時間のフルボディ到達動作を含むデータセットであるCIRCLEを提示する。 このデータセットを用いて、シーン情報に基づいて人間の動きを生成するモデルを訓練する。
  論文  参考訳（メタデータ） (2023-03-31T09:18:12Z)
• BEHAVE: Dataset and Method for Tracking Human Object Interactions [105.77368488612704]
  マルチビューのRGBDフレームとそれに対応する3D SMPLとオブジェクトをアノテートしたアノテートコンタクトに適合させる。 このデータを用いて、自然環境における人間と物体を、容易に使用可能なマルチカメラで共同で追跡できるモデルを学ぶ。
  論文  参考訳（メタデータ） (2022-04-14T13:21:19Z)
• HSC4D: Human-centered 4D Scene Capture in Large-scale Indoor-outdoor Space Using Wearable IMUs and LiDAR [51.9200422793806]
  ボディマウントのIMUとLiDARのみを使用することで、HSC4Dは外部機器の制約なしに空間自由となり、マップ無しで事前に構築された地図を作成できる。 人間と環境の関係も研究され、対話をより現実的なものにしている。
  論文  参考訳（メタデータ） (2022-03-17T10:05:55Z)
• Toward Accurate Person-level Action Recognition in Videos of Crowded Scenes [131.9067467127761]
  我々は、シーンの情報を完全に活用し、新しいデータを集めることで、アクション認識を改善することに集中する。 具体的には、各フレームの空間的位置を検出するために、強い人間の検出器を採用する。 そして、行動認識モデルを適用して、HIEデータセットとインターネットから多様なシーンを持つ新しいデータの両方でビデオフレームから時間情報を学ぶ。
  論文  参考訳（メタデータ） (2020-10-16T13:08:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。