論文の概要: 3DArticCyclists: Generating Synthetic Articulated 8D Pose-Controllable Cyclist Data for Computer Vision Applications

• arxiv url: http://arxiv.org/abs/2410.10782v2
• Date: Wed, 12 Mar 2025 01:15:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 21:17:52.403984
• Title: 3DArticCyclists: Generating Synthetic Articulated 8D Pose-Controllable Cyclist Data for Computer Vision Applications
• Title（参考訳）: 3DArticCyclists: コンピュータビジョン応用のための合成人工8次元Pose-Controllable Cyclistデータの生成
• Authors: Eduardo R. Corral-Soto, Yang Liu, Tongtong Cao, Yuan Ren, Liu Bingbing,
• Abstract要約: 本稿では,異なるタスクのトレーニングデータを生成するために使用できる,合成動的3Dサイクリストデータアセットを生成するフレームワークを提案する。 我々は、選択可能な合成3D人物を再配置することにより、完全な合成3Dサイクリスト(自転車をペダリングするライダー)を構築する。 近年の拡散法と比べ,定性的かつ定量的な結果が得られた。
• 参考スコア（独自算出の注目度）: 10.047701675476986
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In Autonomous Driving (AD) Perception, cyclists are considered safety-critical scene objects. Commonly used publicly-available AD datasets typically contain large amounts of car and vehicle object instances but a low number of cyclist instances, usually with limited appearance and pose diversity. This cyclist training data scarcity problem not only limits the generalization of deep-learning perception models for cyclist semantic segmentation, pose estimation, and cyclist crossing intention prediction, but also limits research on new cyclist-related tasks such as fine-grained cyclist pose estimation and spatio-temporal analysis under complex interactions between humans and articulated objects. To address this data scarcity problem, in this paper we propose a framework to generate synthetic dynamic 3D cyclist data assets that can be used to generate training data for different tasks. In our framework, we designed a methodology for creating a new part-based multi-view articulated synthetic 3D bicycle dataset that we call 3DArticBikes that we use to train a 3D Gaussian Splatting (3DGS)-based reconstruction and image rendering method. We then propose a parametric bicycle 3DGS composition model to assemble 8-DoF pose-controllable 3D bicycles. Finally, using dynamic information from cyclist videos, we build a complete synthetic dynamic 3D cyclist (rider pedaling a bicycle) by re-posing a selectable synthetic 3D person, while automatically placing the rider onto one of our new articulated 3D bicycles using a proposed 3D Keypoint optimization-based Inverse Kinematics pose refinement. We present both, qualitative and quantitative results where we compare our generated cyclists against those from a recent stable diffusion-based method.
• Abstract（参考訳）: 自律運転(AD)パーセプションでは、サイクリストは安全クリティカルなシーンオブジェクトと見なされる。 一般的に使用されるADデータセットは、車や車両のオブジェクトのインスタンスを多用するが、サイクリストのインスタンスは少ない。 このサイクリスト訓練データ不足問題は、サイクリストのセグメンテーション、ポーズ推定、およびサイクリスト横断意図予測のためのディープラーニング知覚モデルの一般化を制限するだけでなく、人間と音声オブジェクトの複雑な相互作用の下で、きめ細かなサイクリストポーズ推定や時空間分析などの新しいサイクリスト関連タスクの研究にも制限を与える。 このデータ不足問題に対処するために,本稿では,異なるタスクのトレーニングデータを生成するために使用できる,合成動的3Dサイクリストデータアセットを生成するフレームワークを提案する。 本研究では,3次元ガウス・スティング(3DGS)に基づく再構成・画像描画法をトレーニングするために3DArticBikesと呼ぶ,新しいパートベース多視点合成3D自転車データセットを作成する手法を設計した。 次に、8-DoFのポーズ制御可能な3D自転車を組み立てるためのパラメトリック自転車3DGS合成モデルを提案する。 最後に、サイクリストビデオからの動的情報を用いて、選択可能な合成3D人物を再配置し、提案した3Dキーポイント最適化ベースの逆キネマティクスを用いて、ライダーを新しい3D自転車の1つに自動的に配置することで、完全な合成3Dサイクリスト(自転車をペダリングするライダー)を構築する。 近年の安定拡散法と比べ, 定性的, 定量的な結果が得られた。

関連論文リスト

• Drive-1-to-3: Enriching Diffusion Priors for Novel View Synthesis of Real Vehicles [81.29018359825872]
  本稿では,実世界の課題に対して,大規模な事前学習モデルを微調整するための一連の優れたプラクティスを統合する。 具体的には,合成データと実運転データとの相違を考慮に入れたいくつかの戦略を開発する。 我々の洞察は、先行芸術よりも新しいビュー合成のためのFIDを68.8%値下げする効果のある微調整につながる。
  論文  参考訳（メタデータ） (2024-12-19T03:39:13Z)
• SyntheOcc: Synthesize Geometric-Controlled Street View Images through 3D Semantic MPIs [34.41011015930057]
  SyntheOccは、2次元拡散モデルに対する条件入力として3次元幾何学情報を効率的にエンコードする方法の課題に対処する。 提案手法は,3次元意味的マルチプレーン画像(MPI)を革新的に組み込んで,包括的かつ空間的に整合した3次元シーン記述を提供する。
  論文  参考訳（メタデータ） (2024-10-01T02:29:24Z)
• CycleCrash: A Dataset of Bicycle Collision Videos for Collision Prediction and Analysis [21.584020544141797]
  CycleCrashは、3000のダッシュカムビデオと436,347フレームからなる新しいデータセットだ。 このデータセットは、サイクリストにとって潜在的に危険な条件に焦点を当てた、9つの異なるサイクリスト衝突予測と分類タスクを可能にする。 本稿では,ConvNeXt空間エンコーダと非定常トランスフォーマーを併用した新しい手法であるVidNeXtを提案する。
  論文  参考訳（メタデータ） (2024-09-30T04:46:35Z)
• EgoGaussian: Dynamic Scene Understanding from Egocentric Video with 3D Gaussian Splatting [95.44545809256473]
  エゴガウスアン(EgoGaussian)は、3Dシーンを同時に再構築し、RGBエゴセントリックな入力のみから3Dオブジェクトの動きを動的に追跡する手法である。 動的オブジェクトと背景再構築の品質の両面で,最先端技術と比較して大きな改善が見られた。
  論文  参考訳（メタデータ） (2024-06-28T10:39:36Z)
• CORE4D: A 4D Human-Object-Human Interaction Dataset for Collaborative Object REarrangement [20.520938266527438]
  提案するCORE4Dは,新規な大規模4次元人物体協調物体再構成である。 現実世界で捉えた1K個の人-物-人間の動作シーケンスにより、我々は様々な新しい物体に動きを増強するための反復的な協調戦略を寄与することにより、CORE4Dを豊かにする。 CORE4Dが提供する広範囲な動きパターンから、人間と物体の相互作用を生成するための2つのタスク、すなわち人-物体の動き予測と相互作用合成をベンチマークする。
  論文  参考訳（メタデータ） (2024-06-27T17:32:18Z)
• ParaHome: Parameterizing Everyday Home Activities Towards 3D Generative Modeling of Human-Object Interactions [11.32229757116179]
  そこで我々は,人間と物体の動的3次元運動を,共通のホーム環境内で捉えるために設計されたParaHomeシステムを紹介した。 ParaHomeシステムを利用することで、人間と物体の相互作用の大規模なデータセットを収集する。
  論文  参考訳（メタデータ） (2024-01-18T18:59:58Z)
• Pedestrian Environment Model for Automated Driving [54.16257759472116]
  歩行者の位置とポーズ情報を含む環境モデルを提案する。 画像から人間のポーズ推定器を用いて骨格情報を抽出する。 位置の3D情報を得るために,車両の位置と合わせて連続するフレームからデータを集約する。
  論文  参考訳（メタデータ） (2023-08-17T16:10:58Z)
• AutoDecoding Latent 3D Diffusion Models [95.7279510847827]
  本稿では,3次元オートデコーダをコアとした静的・明瞭な3次元アセットの生成に対して,新しいアプローチを提案する。 3D Autodecoderフレームワークは、ターゲットデータセットから学んだプロパティを潜時空間に埋め込む。 次に、適切な中間体積潜在空間を特定し、ロバストな正規化と非正規化演算を導入する。
  論文  参考訳（メタデータ） (2023-07-07T17:59:14Z)
• Bent & Broken Bicycles: Leveraging synthetic data for damaged object re-identification [59.80753896200009]
  変形や欠落による視覚的外観の変化と微妙なクラス内変化を区別することを目的とした,損傷対象の再識別の新たな課題を提案する。 我々は、コンピュータ生成画像のパワーを活用して、半自動で、損傷前後に同じ自転車の高品質な合成画像を作成する。 このタスクのベースラインとして,マルチタスクでトランスフォーマーをベースとしたディープネットワークであるTransReI3Dを提案する。
  論文  参考訳（メタデータ） (2023-04-16T20:23:58Z)
• 3D Data Augmentation for Driving Scenes on Camera [50.41413053812315]
  本稿では,Drive-3DAugと呼ばれる3次元データ拡張手法を提案する。 まずNeural Radiance Field(NeRF)を用いて,背景および前景の3次元モデルの再構成を行う。 そして、予め定義された背景の有効領域に適応した位置と向きの3Dオブジェクトを配置することにより、拡張駆動シーンを得ることができる。
  論文  参考訳（メタデータ） (2023-03-18T05:51:05Z)
• HUM3DIL: Semi-supervised Multi-modal 3D Human Pose Estimation for Autonomous Driving [95.42203932627102]
  3Dの人間のポーズ推定は、自動運転車が歩行者の微妙で複雑な振る舞いを知覚し理解できるようにする新しい技術である。 提案手法は,これらの補完信号を半教師付き方式で効率的に利用し,既存の手法よりも大きなマージンで性能を向上する。 具体的には、LiDAR点を画素整列マルチモーダル特徴に埋め込み、トランスフォーマーの精細化段階を経る。
  論文  参考訳（メタデータ） (2022-12-15T11:15:14Z)
• 3D Segmentation of Humans in Point Clouds with Synthetic Data [21.518379214837278]
  本稿では,3次元人間の意味的セグメンテーション,インスタンスセグメンテーション,複数人体部分セグメンテーションの課題を提案する。 実際の3Dシーンと相互作用する合成人間のトレーニングデータを生成するためのフレームワークを提案する。 また,新しいトランスフォーマーモデルであるHuman3Dを提案する。
  論文  参考訳（メタデータ） (2022-12-01T18:59:21Z)
• Estimating 3D Motion and Forces of Human-Object Interactions from Internet Videos [49.52070710518688]
  一つのRGBビデオからオブジェクトと対話する人の3D動作を再構築する手法を提案する。 本手法では,被験者の3次元ポーズを物体のポーズ,接触位置,人体の接触力とともに推定する。
  論文  参考訳（メタデータ） (2021-11-02T13:40:18Z)
• D3D-HOI: Dynamic 3D Human-Object Interactions from Videos [49.38319295373466]
  本稿では,D3D-HOIについて紹介する。D3D-HOIは3次元オブジェクトのポーズ,形状,動きを,人間と物体の相互作用の時,地上の真理アノテーションを付加したモノクロビデオのデータセットである。 我々のデータセットは、様々な現実世界のシーンとカメラの視点から捉えた、いくつかの共通したオブジェクトで構成されている。 我々は、推定された3次元人間のポーズを利用して、物体の空間的レイアウトとダイナミクスをより正確に推定する。
  論文  参考訳（メタデータ） (2021-08-19T00:49:01Z)
• Cyclist Trajectory Forecasts by Incorporation of Multi-View Video Information [2.984037222955095]
  本稿では,都市交差点に設置した広角ステレオカメラシステムによる映像データからの視覚的手がかりを,サイクリストの軌道予測に組み込む新しい手法を提案する。 本研究では,3次元畳み込みニューラルネットワーク(3D-ConvNet)を用いて画像および光学的流れ列から特徴を抽出し,その特徴をサイクリストの過去の軌道から抽出した特徴と組み合わせ,将来のサイクリストの位置を予測する。
  論文  参考訳（メタデータ） (2021-06-30T11:34:43Z)
• AcinoSet: A 3D Pose Estimation Dataset and Baseline Models for Cheetahs in the Wild [51.35013619649463]
  我々はAcinoSetと呼ばれる野生のフリーランニングチーターの広範なデータセットを提示する。 データセットには、119,490フレームのマルチビュー同期高速ビデオ映像、カメラキャリブレーションファイル、7,588フレームが含まれている。 また、結果の3D軌道、人間チェックされた3D地上真実、およびデータを検査するインタラクティブツールも提供される。
  論文  参考訳（メタデータ） (2021-03-24T15:54:11Z)
• Chained Representation Cycling: Learning to Estimate 3D Human Pose and Shape by Cycling Between Representations [73.11883464562895]
  本稿では,教師なし,あるいは教師なしの学習を容易にする新しいアーキテクチャを提案する。 本研究では,非ペア画像と無注釈画像から3次元人物のポーズと形状を学習することにより,その手法を実証する。 人間をモデル化するための結果を示す一方で、私たちの定式化は一般的であり、他の視覚問題にも適用できる。
  論文  参考訳（メタデータ） (2020-01-06T14:54:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。