論文の概要: Unified Human Localization and Trajectory Prediction with Monocular Vision

• arxiv url: http://arxiv.org/abs/2503.03535v1
• Date: Wed, 05 Mar 2025 14:18:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-06 15:51:15.526338
• Title: Unified Human Localization and Trajectory Prediction with Monocular Vision
• Title（参考訳）: 単眼視による統一的人物位置定位と軌道予測
• Authors: Po-Chien Luan, Yang Gao, Celine Demonsant, Alexandre Alahi,
• Abstract要約: MonoTransmotionはトランスフォーマーベースのフレームワークで、モノクロカメラのみを使用して、ローカライゼーションと予測タスクを共同で解決する。 両タスクを統合フレームワークで共同でトレーニングすることにより,ノイズの多い入力による実環境シナリオにおいて,我々の手法がより堅牢であることを示す。
• 参考スコア（独自算出の注目度）: 64.19384064365431
• License:
• Abstract: Conventional human trajectory prediction models rely on clean curated data, requiring specialized equipment or manual labeling, which is often impractical for robotic applications. The existing predictors tend to overfit to clean observation affecting their robustness when used with noisy inputs. In this work, we propose MonoTransmotion (MT), a Transformer-based framework that uses only a monocular camera to jointly solve localization and prediction tasks. Our framework has two main modules: Bird's Eye View (BEV) localization and trajectory prediction. The BEV localization module estimates the position of a person using 2D human poses, enhanced by a novel directional loss for smoother sequential localizations. The trajectory prediction module predicts future motion from these estimates. We show that by jointly training both tasks with our unified framework, our method is more robust in real-world scenarios made of noisy inputs. We validate our MT network on both curated and non-curated datasets. On the curated dataset, MT achieves around 12% improvement over baseline models on BEV localization and trajectory prediction. On real-world non-curated dataset, experimental results indicate that MT maintains similar performance levels, highlighting its robustness and generalization capability. The code is available at https://github.com/vita-epfl/MonoTransmotion.
• Abstract（参考訳）: 従来の人間の軌道予測モデルはクリーンなキュレートされたデータに依存しており、特殊な機器や手動ラベリングを必要とする。 既存の予測器は、ノイズの多い入力で使用する場合、その堅牢性に影響を与える観察をきれいにするために過度に適合する傾向にある。 本研究では,モノクロカメラのみを用いたトランスフォーマーベースのフレームワークであるMonoTransmotion (MT)を提案する。 我々のフレームワークには、Bird's Eye View (BEV) のローカライゼーションと軌道予測の2つの主要なモジュールがある。 BEVローカライゼーションモジュールは、よりスムーズなシーケンシャルなローカライゼーションのために、新しい方向損失によって強化された2次元人間のポーズを使用する人の位置を推定する。 軌道予測モジュールは、これらの推定から将来の動きを予測する。 両タスクを統合フレームワークで共同でトレーニングすることにより,ノイズの多い入力による実環境シナリオにおいて,我々の手法がより堅牢であることを示す。 MTネットワークをキュレートされたデータセットと非キュレートされたデータセットの両方で検証する。 算出されたデータセットでは、MTはBEVのローカライゼーションと軌道予測に基づいてベースラインモデルよりも約12%改善されている。 実世界の非キュレートデータセットでは、実験結果はMTが同様の性能レベルを維持しており、その堅牢性と一般化能力を強調していることを示している。 コードはhttps://github.com/vita-epfl/MonoTransmotion.comで公開されている。

関連論文リスト

• ASTRA: A Scene-aware TRAnsformer-based model for trajectory prediction [15.624698974735654]
  ASTRA (A Scene-aware TRAnsformer based model for trajectory prediction) は軽量な歩行者軌道予測モデルである。 我々は、U-Netベースの特徴抽出器を用いて、その潜在ベクトル表現を用いて、シーン表現をキャプチャし、グラフ対応トランスフォーマーエンコーダを用いて、ソーシャルインタラクションをキャプチャする。
  論文  参考訳（メタデータ） (2025-01-16T23:28:30Z)
• Multi-Transmotion: Pre-trained Model for Human Motion Prediction [68.87010221355223]
  マルチトランスモーション(Multi-Transmotion)は、モダリティ事前トレーニング用に設計された革新的なトランスフォーマーベースのモデルである。 提案手法は,下流タスクにおける各種データセット間の競合性能を示す。
  論文  参考訳（メタデータ） (2024-11-04T23:15:21Z)
• OPUS: Occupancy Prediction Using a Sparse Set [64.60854562502523]
  学習可能なクエリの集合を用いて、占有された場所とクラスを同時に予測するフレームワークを提案する。 OPUSには、モデルパフォーマンスを高めるための非自明な戦略が組み込まれている。 最も軽量なモデルではOcc3D-nuScenesデータセットの2倍 FPS に優れたRayIoUが得られる一方、最も重いモデルは6.1 RayIoUを上回ります。
  論文  参考訳（メタデータ） (2024-09-14T07:44:22Z)
• VisionTrap: Vision-Augmented Trajectory Prediction Guided by Textual Descriptions [10.748597086208145]
  本研究では,サラウンドビューカメラからの視覚入力を取り入れた新しい手法を提案する。 提案手法は,53msのレイテンシを実現し,リアルタイム処理を実現する。 実験の結果,視覚入力とテキスト記述の両方が軌跡予測性能の向上に寄与していることがわかった。
  論文  参考訳（メタデータ） (2024-07-17T06:39:52Z)
• Vectorized Representation Dreamer (VRD): Dreaming-Assisted Multi-Agent Motion-Forecasting [2.2020053359163305]
  マルチエージェント動作予測問題に対するベクトル化された世界モデルに基づくアプローチであるVRDを紹介する。 本手法では,従来のオープンループトレーニングシステムと,新しい夢のクローズループトレーニングパイプラインを組み合わせる。 本モデルでは,1つの予測ミスレート測定値に対して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-06-20T15:34:17Z)
• Knowledge-aware Graph Transformer for Pedestrian Trajectory Prediction [15.454206825258169]
  歩行者運動軌跡の予測は、自動運転車の経路計画と移動制御に不可欠である。 近年の深層学習に基づく予測手法は、主に軌跡履歴や歩行者間の相互作用などの情報を利用する。 本稿では,予測性能を向上させるためのグラフトランス構造を提案する。
  論文  参考訳（メタデータ） (2024-01-10T01:50:29Z)
• LOPR: Latent Occupancy PRediction using Generative Models [49.15687400958916]
  LiDARの生成した占有グリッドマップ(L-OGM)は、頑丈な鳥の視線シーンを表現している。 本稿では,学習空間内での表現学習と予測という,占有率予測を分離する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-10-03T22:04:00Z)
• Transforming Model Prediction for Tracking [109.08417327309937]
  トランスフォーマーは、誘導バイアスの少ないグローバルな関係を捉え、より強力なターゲットモデルの予測を学ぶことができる。 提案したトラッカーをエンドツーエンドにトレーニングし、複数のトラッカーデータセットに関する総合的な実験を行うことで、その性能を検証する。 我々のトラッカーは3つのベンチマークで新しい技術状態を設定し、挑戦的なLaSOTデータセットで68.5%のAUCを達成した。
  論文  参考訳（メタデータ） (2022-03-21T17:59:40Z)
• Injecting Knowledge in Data-driven Vehicle Trajectory Predictors [82.91398970736391]
  車両軌道予測タスクは、一般的に知識駆動とデータ駆動の2つの視点から取り組まれている。 本稿では,これら2つの視点を効果的に結合する「現実的残留ブロック」 (RRB) の学習を提案する。 提案手法は,残留範囲を限定し,その不確実性を考慮した現実的な予測を行う。
  論文  参考訳（メタデータ） (2021-03-08T16:03:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。