論文の概要: 3DArticCyclists: Generating Synthetic Articulated 8D Pose-Controllable Cyclist Data for Computer Vision Applications

• arxiv url: http://arxiv.org/abs/2410.10782v2
• Date: Wed, 12 Mar 2025 01:15:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 15:34:56.288740
• Title: 3DArticCyclists: Generating Synthetic Articulated 8D Pose-Controllable Cyclist Data for Computer Vision Applications
• Title（参考訳）: 3DArticCyclists: コンピュータビジョン応用のための合成人工8次元Pose-Controllable Cyclistデータの生成
• Authors: Eduardo R. Corral-Soto, Yang Liu, Tongtong Cao, Yuan Ren, Liu Bingbing,
• Abstract要約: 本稿では,異なるタスクのトレーニングデータを生成するために使用できる,合成動的3Dサイクリストデータアセットを生成するフレームワークを提案する。 我々は、選択可能な合成3D人物を再配置することにより、完全な合成3Dサイクリスト(自転車をペダリングするライダー)を構築する。 近年の拡散法と比べ,定性的かつ定量的な結果が得られた。
• 参考スコア（独自算出の注目度）: 10.047701675476986
• License:
• Abstract: In Autonomous Driving (AD) Perception, cyclists are considered safety-critical scene objects. Commonly used publicly-available AD datasets typically contain large amounts of car and vehicle object instances but a low number of cyclist instances, usually with limited appearance and pose diversity. This cyclist training data scarcity problem not only limits the generalization of deep-learning perception models for cyclist semantic segmentation, pose estimation, and cyclist crossing intention prediction, but also limits research on new cyclist-related tasks such as fine-grained cyclist pose estimation and spatio-temporal analysis under complex interactions between humans and articulated objects. To address this data scarcity problem, in this paper we propose a framework to generate synthetic dynamic 3D cyclist data assets that can be used to generate training data for different tasks. In our framework, we designed a methodology for creating a new part-based multi-view articulated synthetic 3D bicycle dataset that we call 3DArticBikes that we use to train a 3D Gaussian Splatting (3DGS)-based reconstruction and image rendering method. We then propose a parametric bicycle 3DGS composition model to assemble 8-DoF pose-controllable 3D bicycles. Finally, using dynamic information from cyclist videos, we build a complete synthetic dynamic 3D cyclist (rider pedaling a bicycle) by re-posing a selectable synthetic 3D person, while automatically placing the rider onto one of our new articulated 3D bicycles using a proposed 3D Keypoint optimization-based Inverse Kinematics pose refinement. We present both, qualitative and quantitative results where we compare our generated cyclists against those from a recent stable diffusion-based method.
• Abstract（参考訳）: 自律運転(AD)パーセプションでは、サイクリストは安全クリティカルなシーンオブジェクトと見なされる。 一般的に使用されるADデータセットは、車や車両のオブジェクトのインスタンスを多用するが、サイクリストのインスタンスは少ない。 このサイクリスト訓練データ不足問題は、サイクリストのセグメンテーション、ポーズ推定、およびサイクリスト横断意図予測のためのディープラーニング知覚モデルの一般化を制限するだけでなく、人間と音声オブジェクトの複雑な相互作用の下で、きめ細かなサイクリストポーズ推定や時空間分析などの新しいサイクリスト関連タスクの研究にも制限を与える。 このデータ不足問題に対処するために,本稿では,異なるタスクのトレーニングデータを生成するために使用できる,合成動的3Dサイクリストデータアセットを生成するフレームワークを提案する。 本研究では,3次元ガウス・スティング(3DGS)に基づく再構成・画像描画法をトレーニングするために3DArticBikesと呼ぶ,新しいパートベース多視点合成3D自転車データセットを作成する手法を設計した。 次に、8-DoFのポーズ制御可能な3D自転車を組み立てるためのパラメトリック自転車3DGS合成モデルを提案する。 最後に、サイクリストビデオからの動的情報を用いて、選択可能な合成3D人物を再配置し、提案した3Dキーポイント最適化ベースの逆キネマティクスを用いて、ライダーを新しい3D自転車の1つに自動的に配置することで、完全な合成3Dサイクリスト(自転車をペダリングするライダー)を構築する。 近年の安定拡散法と比べ, 定性的, 定量的な結果が得られた。

関連論文リスト

• EgoGaussian: Dynamic Scene Understanding from Egocentric Video with 3D Gaussian Splatting [95.44545809256473]
  エゴガウスアン(EgoGaussian)は、3Dシーンを同時に再構築し、RGBエゴセントリックな入力のみから3Dオブジェクトの動きを動的に追跡する手法である。 動的オブジェクトと背景再構築の品質の両面で,最先端技術と比較して大きな改善が見られた。
  論文  参考訳（メタデータ） (2024-06-28T10:39:36Z)
• AutoDecoding Latent 3D Diffusion Models [95.7279510847827]
  本稿では,3次元オートデコーダをコアとした静的・明瞭な3次元アセットの生成に対して,新しいアプローチを提案する。 3D Autodecoderフレームワークは、ターゲットデータセットから学んだプロパティを潜時空間に埋め込む。 次に、適切な中間体積潜在空間を特定し、ロバストな正規化と非正規化演算を導入する。
  論文  参考訳（メタデータ） (2023-07-07T17:59:14Z)
• HUM3DIL: Semi-supervised Multi-modal 3D Human Pose Estimation for Autonomous Driving [95.42203932627102]
  3Dの人間のポーズ推定は、自動運転車が歩行者の微妙で複雑な振る舞いを知覚し理解できるようにする新しい技術である。 提案手法は,これらの補完信号を半教師付き方式で効率的に利用し,既存の手法よりも大きなマージンで性能を向上する。 具体的には、LiDAR点を画素整列マルチモーダル特徴に埋め込み、トランスフォーマーの精細化段階を経る。
  論文  参考訳（メタデータ） (2022-12-15T11:15:14Z)
• 3D Segmentation of Humans in Point Clouds with Synthetic Data [21.518379214837278]
  本稿では,3次元人間の意味的セグメンテーション,インスタンスセグメンテーション,複数人体部分セグメンテーションの課題を提案する。 実際の3Dシーンと相互作用する合成人間のトレーニングデータを生成するためのフレームワークを提案する。 また,新しいトランスフォーマーモデルであるHuman3Dを提案する。
  論文  参考訳（メタデータ） (2022-12-01T18:59:21Z)
• Estimating 3D Motion and Forces of Human-Object Interactions from Internet Videos [49.52070710518688]
  一つのRGBビデオからオブジェクトと対話する人の3D動作を再構築する手法を提案する。 本手法では,被験者の3次元ポーズを物体のポーズ,接触位置,人体の接触力とともに推定する。
  論文  参考訳（メタデータ） (2021-11-02T13:40:18Z)
• D3D-HOI: Dynamic 3D Human-Object Interactions from Videos [49.38319295373466]
  本稿では,D3D-HOIについて紹介する。D3D-HOIは3次元オブジェクトのポーズ,形状,動きを,人間と物体の相互作用の時,地上の真理アノテーションを付加したモノクロビデオのデータセットである。 我々のデータセットは、様々な現実世界のシーンとカメラの視点から捉えた、いくつかの共通したオブジェクトで構成されている。 我々は、推定された3次元人間のポーズを利用して、物体の空間的レイアウトとダイナミクスをより正確に推定する。
  論文  参考訳（メタデータ） (2021-08-19T00:49:01Z)
• AcinoSet: A 3D Pose Estimation Dataset and Baseline Models for Cheetahs in the Wild [51.35013619649463]
  我々はAcinoSetと呼ばれる野生のフリーランニングチーターの広範なデータセットを提示する。 データセットには、119,490フレームのマルチビュー同期高速ビデオ映像、カメラキャリブレーションファイル、7,588フレームが含まれている。 また、結果の3D軌道、人間チェックされた3D地上真実、およびデータを検査するインタラクティブツールも提供される。
  論文  参考訳（メタデータ） (2021-03-24T15:54:11Z)
• Learning 3D Dynamic Scene Representations for Robot Manipulation [21.6131570689398]
  ロボット操作のための3Dシーン表現は、永続性、完全性、連続性という3つの重要なオブジェクト特性を捉えなければならない。 本研究では3次元動的表現(DSR)を導入し,オブジェクトを同時に検出,追跡,再構成し,そのダイナミクスを予測する。 本稿では,DSRを段階的に構築・洗練するために,複数の相互作用を通して視覚的観察を集約することを学ぶDSR-Netを提案する。
  論文  参考訳（メタデータ） (2020-11-03T19:23:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。